2017年9月6日晚，DTalk邀請到了沈國陽老師，他參與了美團用戶畫像服務從無到有的過程，進行了一次關于《美團點評沈國陽：我們在談用戶畫像的時候到底在談什么？》的微信群線上主題分享。
分享活動共分成兩個部分，第一部分是沈國陽老師分享關于用戶畫像大家關心的，第二部分是老師和大家的Q&A的互動環節。以下是活動內容的完整文字稿。
1、通?；ヂ摼W的用戶畫像是指什么？
用戶畫像這個詞在互聯網公司用得很廣泛，但是可能很多人沒有注意到，這個詞包 含了2種不同的含義。
User Persona：這是對一個用戶群體的整體抽象。產品原型設計階段的用戶畫像， 這是在前期的產品研發過程中對目標用戶進行定義的過程。這個工作的目標是充分 理解目標用戶，從而在產品功能的設計和取舍上作出正確的決策。這種用戶畫像的 具體執行方法，主要是通過深入用戶所在地區進行用戶訪談，或者線上的問卷調研 得到。
User Profile：這是對每一個個體的畫像。這是在產品用戶量有一定規模以后進行 的，利用用戶的行為數據或者填報的資料進行的用戶屬性標簽提取。這時候主要是 從在線數據上去提取標簽，或者利用在線數據進行用戶標簽的預測。這些標簽可以 應用到方方面面的工作中去?？梢杂玫侥男┓矫妫唧w的特征提取或者挖掘的方法 有哪些，如果評估特征提取的效果，這部分是我們接下來要重點展開介紹的。
2、User Profile 用戶畫像的業務場景
下面我們就重點談談User Profile類型的用戶畫像（后續簡稱“用戶畫像”）。從表面上來說，用戶畫像主要是標簽提取或者標簽預測的工作。然而，事實上，選擇哪些標簽，為什么要選擇那些標簽去提取，這背后的邏輯才是最重要的。在標簽集合的選擇上，可以依據一些理論知識和過往經驗去建立一套不重不漏的標簽體系。但這樣建立的標簽體系會過于龐雜，必須從中挑選出符合業務目標的標簽，按照一定的優先級去逐步實現。在互聯網企業里面，需要使用用戶畫像的業務場景非常多。下面用一個圖大致描述一下：
一方面，用戶畫像可以支持這么多業務，每一個業務方向都是對公司非常重要的方 向，可見用戶畫像對公司來說是非常重要的。另一方面，這么多方向都需要用戶畫 像，每個方向都有自己獨特的需求，這就要求用戶畫像團隊對支撐的業務要進行深 入的理解，了解什么樣的標簽對這個業務有幫助，從而做好價值排序，對業務進行 精準支持。
3、美團推薦系統是如何做用戶畫像的？
首先我們要了解一下推薦系統的業務目標。根據公司業務形態的不同，業務發展階段的不同，對推薦系統的要求也是不一樣的。早期的美團app是以交易為主導的一個本地生活服務平臺，因此，對于當時的美團推薦系統而言，我們會非常關注用戶的下單率指標，因此在做用戶畫像的時候，我們關注點也是，用戶的哪些屬性對達成交易有幫助。用戶的品類偏好屬性很關鍵。用戶喜歡中餐還是西餐還是日料，喜歡火鍋還是自助餐，如果抓不住用戶的品類偏好特征，我們的推薦很可能被用戶拒絕。
其次，作為一個本地生活服務平臺，用戶的地理位置也是非常關鍵的信息。一般來說，我們不能給他推薦離他非常遠的餐廳。我們可以在工作日給他們推薦公司附近的餐廳，而周末推薦居住地附近的餐廳。如果他離開了他的常住城市，他很可能需要尋找酒店或者旅游景點。用戶的消費水平也是很關鍵的信息。一個通常只吃20元左右快餐的用戶，頻繁給他推薦200元大餐，那也是大概率要被拒絕的。最后，用戶的一些基礎信息，例如年齡、性別、職業類型等，對推薦系統也有一定幫助，這些信息也有一定的必要進行補充。
當然，以上提到的特征是主要的幾類特征，事實上對這些特征的還可以做很多的優化，同時還有很多其他的特征可以進一步提取。在團隊精力有限的情況下，先把上述的特征做好就可以達到不錯的效果。
4、屬性標簽提取的方法
確定需要的用戶屬性標簽以后，對每個屬性標簽的提取方法，大體分為2類，一類是數據統計的方法；一類是模型預測的方法。
有些標簽只需要進行一些數據統計就可以，例如地理位置相關的標簽，工作地、居住地、常駐城市等，通常只要統計用戶不同時段頻繁出沒的地點和城市，并輔以一些人工的規則（比如在一個城市停留多久才把這個城市定位常駐城市，什么時段頻繁出沒算做工作地等）即可。年齡性別的標簽，很多公司可能需要通過用戶填寫的信息或者用戶問卷反饋信息來得到一些標注，后期進行模型的訓練來對未標注數據進行識別；而對于一些有支付能力的公司，可以從用戶填報的身份證信息中獲取年齡性別籍貫的信息（當然這里面就存在數據安全這樣重大的問題了）。而像前面提到的品類偏好標簽，我們有一種提取方法就是用模型去識別的。我們采用的建模方法，是根據用戶的歷史行為特征來預測他下一次會對哪個品類進行下單，這個品類就是他的品類偏好了。用戶的品類偏好實際上是在動態變化的，因此，不能只是統計他過去的下單情況，而要對未來進行預測。
5、效果評估的方法
用戶畫像團隊會開發大量屬性標簽，這些工作是需要耗費大量的時間和精力的。在追求結果導向的互聯網公司，工作量顯然不能成為評價工作的指標。那么用戶畫像的效果如何評價呢？
對于不同的具體任務來說，需要的評估指標是不一樣的。這里主要結合推薦系統、廣告營銷等類型的應用實踐來談談。用戶畫像標簽在推薦系統、廣告營銷這類場景上的應用，通常是作為轉化（點擊、下單等）率預估模型的特征來用。因此，我們主要關心標簽加入模型以后，對模型的效果提升有沒有幫助。標簽建好以后，首先進行離線評估。
對于統計類特征，離線評估有2個重要指標。一是覆蓋率指標，就是有多大比例的用戶我們能夠得到這個屬性標簽的標簽值。通常來說，標簽覆蓋率如果比較低的話（比如低于50%），這個標簽對模型效果的貢獻就會受到限制。二是標簽有效性指標，這類指標主要目的是衡量特征加入模型以后是否能夠在模型中起作用，以及起多大作用。這類指標一般在標簽使用方去考慮。但是如果用戶畫像團隊需要主動推動相關業務方使用自己產出的標簽的話，自己能計算會有更好的說服力。這個類型的指標較多，有各種相關性指標：余弦相似性、皮爾遜相關系數、卡方檢驗、互信息等，以及征信評分卡里面喜歡用的IV值等。還可以直接看模型中的特征權重。線性模型（LR，貝葉斯方法等）可以直接得到準確的權重值，樹模型一般也能夠給出特征權重的參考值（但是并不準確）。對于預測類指標，除了上述2種指標之外，還需要評估預測的準確性。如果是分類問題，例如性別、年齡段、職業類型等，一般用precision，recall，auc等指標；如果是回歸問題，則可以根據業務需求選用RMSE，MAPE，MAE等指標。
離線評估完成以后，如果結果符合預期，那么就應該進入線上實驗環節了。線上實驗一般采用ABtesting的方法。也就是把用戶均勻分成2組，一組是使用了該標簽的模型或者策略，一組是未使用該標簽的模型或者策略，然后看看2組用戶的指標差異如何。ABtesting其實是一個挺復雜的工作，從流量分割到數據跟蹤到效果評估指標計算，都有很多需要注意的地方。
6、對于非BAT的公司來說，用戶畫像事情怎么做，怎么衡量投入產 出比？
不管是什么公司，資源都是永遠不夠的，做任何事情都是需要衡量投入產出比的。用戶畫像是一個基礎工作，因此這個工作是否值得做，主要還是看有沒有相關的業務需求，在相關的業務里面能否發揮較大的作用。如果一開始大家判斷不好應不應該投入資源到用戶畫像工作里面去，或者不知道應該投入到用戶畫像的具體哪個任務里面去，那么可以和做過相關工作的公司或者團隊學習，了解用戶畫像的哪個方向的工作能夠產生的價值較大（例如美團的品類偏好屬性，LBS屬性就對推薦業務產生了很大的作用）。另外一定要多和業務感覺好的同學交流，這樣會得到很多有價值的信息，對用戶畫像的工作會有很好的指導。
以下是沈國陽老師回答提問部分的完整內容
Q1、「黃方勝：在用戶比較少的情況，user persona可能比較合適，這個實踐能分享下嗎？」
回答：這個主要是要找準目標用戶，然后去做深入的調研。我在百度移動互聯網事業部工作的時候，他們就很重視用戶調研，會到廣東的工廠去做大量的用戶訪談，因為當時移動互聯網的主要用戶群體之一就是農民工。另外還有一招是把目標用戶轉化成產品經理，百度早期喜歡從網吧里面尋找產品經理，就是這個道理。所以百度早期產品做得還不錯。
Q2、「 王小久-bi-游戲-上海: 想了解一下數據庫如何準備？初創團隊，目前只有日志的積累，如何邁出最初的第一步？」
【分享嘉賓】有日志的積累，這個就有基礎了。邁出第一步，關鍵就是尋找業務落腳點，你要看你準備在哪個場景用，然后和那個業務場景的負責人，研發人員溝通，看看他們最需要了解用戶哪方面的信息
【顧青 DTalk.org創始人】這個話題涉及數據采集（包括前端埋點、后端日志、數據清洗、數據標簽產品、數據分析產品、數據可視化產品等），但是首先你需要把數據采集和數據整合做好.
Q3、「 Courage_sen: 征信風控模型建模一般根據什么指標進行建?！?/p>
這個用戶歷史的征信記錄是重點，也會利用用戶在平臺上面的消費行為數據進行分析，還有其他一些獨特的特征，不過這種涉及公司安全是不能分享的。4、對于像汽車這類大宗，高額，低頻的品類會有哪些標簽更重要呢？
Q4、「 張天-博郡汽車-上海: 對于像汽車這類大宗，高額，低頻的品類會有哪些標簽更重要呢？ 」
這個比較專業了，我對這個業務接觸得不多。而且需要看具體業務場景。如果是做汽車推薦的話，我建議看看用戶的收入水平，消費能力，品牌偏好等
Q5、「 天祺: 怎樣保障用戶畫像的精確度？ 」
這個精確度我理解主要指預測類標簽的精確度。這種標簽的預測依賴于其他的特征/標簽，同時需要有準確的標注數據，有足夠的數據量，然后用合適的模型來建模預測。
Q6、「 沙沙-會員營銷-北京: 上線前如何評價推薦模型優劣？推薦產品和預訂產品的命中率？多少算達標呢？」
上線前的評估就是離線評估，離線評估的標注數據其實是來自于線上的真實數據。有了這些標注數據，我們會把模型預測的結果和標注的真實結果進行比較，計算precision,recall,或者auc等指標。推薦的命中率多少算達標應該沒有一個標準答案，一般是會給一個簡單的策略做baseline，后面迭代過程中不斷提高。早期應該會有倍數的提高
Q7、「李靜Jing-博郡汽車-上海：沈老師，請問用戶畫像的“個性”和“共性”怎么有效取舍或者結合？」
userprofile是對用戶個性的描述，但是放到模型里面去以后，模型會想辦法去把相似的用戶放到一起去思考，通過和這個用戶有共同特征的用戶來預測當前用戶的行為，我想這就是一種結合。不知道這是不是你想表達的意思
Q8、「letv-crm-茜茜：用戶未來喜好如何做預測？可否分享一下成功案例？」
我們之前做過一版是這樣的：把用戶過去一段時間（比如60天）的行為記錄作為特征（比較簡單的方法是把用戶對物品的點擊或者下單行為做成特征向量），把用戶接來下的發生行為的品類（例如：接下來下單的物品的品類） 作為用戶未來偏好的標注，這樣形成樣本作為模型的輸入，訓練好模型以后，把用戶最近60天的行為作為特征輸入給模型，就可以預測他下一次行為的偏好了。
Q9、「烽火普天-孫天祺-ImageQ負責人：這是已有數據的用戶最難突破的，各種渠道獲取的數據都是不一樣的格式，也很難做到統一。用戶畫像也是很多的，一個用戶多個畫像，怎樣確保是用一個人呢？」
確保每個用戶都對準確實比較困難，除非每個平臺上都用用戶的身份證號作為主鍵。如果沒有身份證號，可以利用手機號，銀行卡，郵箱等進行關聯。
Q10、「烽火普天-孫天祺-ImageQ負責人：關鍵在于目前用戶畫像大多都是都是分散的，匯總的也只是大概率是而已。除非征信數據是最靠譜的。除此之外真的好無法打通各自的數據壁壘?！?/p>
有賴于各個平臺制定統一標準。據我了解，央行征信接口是要求上報證件號的，如果每家都按照央行征信接口的規范來存儲數據（不管接入還是不接入央行征信），那么數據打通的問題就解決了。
Q11、「唐浮云：標簽的有效性指標中，提到了卡方檢驗等很多統計學的理論知識，這一部分在實際營銷過程中，有沒有例子可以參考學習那？謝謝老師～」
關于卡方檢驗，網上資料比較多。例如：https://segmentfault.com/a/1190000003719712
Q12、「復星大數據-姜辰希Selina：除了第一梯隊互聯網公司積累了海量數據以外，其他中小型企業數據積累有限。僅從自身場景進行挖掘出的畫像或標簽是否會存在嚴重偏差，是否能起到指導運營的效果？是否應著重考慮外部合作？」
我認為還是要立足自身，除非自己有很關鍵的數據是其他公司需要的，可以進行數據交換的合作，否則很難獲得其他公司的數據。據我了解，基本上大部分平臺的用戶的行為頻次都是服從長尾分布的，總有一些頭部用戶行為比較密集，大部分長尾用戶行為很稀疏。所以依賴統計的用戶畫像標簽總是只對部分人效果較好，對很大一部分人效果較差。
Q13、「 人民日報新媒體中心的產品趙宇威: 老師，您好，我的理解是對于用戶的喜好偏好實體集很好做，但是預測集就很難了，就像今日頭條，他會用數據來訓練模型，神經元，二分類，不斷矯正系數，但是如果沒有那么大量的數據訓練模型怎么辦？」
線下溝通了解到該用戶的實體集是指通過行為數據統計出來的用戶畫像標簽。預測集是指根據用戶的歷史行為預測他接下來可能喜歡什么。數據量不夠確實沒法做模型預測，需要不斷累積數據。
Q14、「 人民日報新媒體中心的產品趙宇威: 請教老師關于做征信，確定模型后，但是很多個體的數據源各個渠道，比如爬蟲啊等等，但是如果有拿不到的數據，那這個指標項在模型里怎么處理呢」
如果所有樣本都拿不到這一維度的數據，那就相當于整個模型少了一個維度。只要其他維度還在影響也不大。如果是只有一部分樣本拿不到這一維度的數據，那么是可以有缺失值處理的辦法的。常用的是中位數，平均數等進行填充。
干貨專訪和文章
【DTalk精華】網易鄭棟：前端數據采集與分析的那些事第一彈: 從數據埋點到AB測試
【DTalk精華】滴滴出行譙洪敏：前端數據采集與分析的那些事第二彈：企業如何選擇自動埋點和可視化埋點
【DTalk精華】滴滴出行譙洪敏：前端數據采集與分析的那些事第三彈：埋點需求整理原則于埋點流程規范
【DTalk專訪】彭圣才：AI超越人類大腦，是一場「別有用心者」的騙局嗎？
【DTalk專訪】翁嘉頎：AI行業現階段最需要什么樣的人才？
【DTalk專訪】趙華：攜程怎么把機器學習與實際業務相結合？
【DTalk專訪】網易鄭棟：BI、可視化數據產品和大數據的幾個核心問題
