常見深度學習點擊率預估模型

LR (Logistic Regression)

$\hat{y} = \sigma(W^TX+b)$

FM (Factorization Machines)

Rendle, S. (2010, December). Factorization machines. In 2010 IEEE International conference on data mining (pp. 995-1000). IEEE

ctr_fm.png

$y = w_0 + \sum_{i=1}^n w_i x_i + \sum_{i=1}^n \sum_{j=i+1}^n <\boldsymbol{v}_i, \boldsymbol{v}_j>x_i x_j$

$\boldsymbol{v}_i$ 是 $x_i$ 的向量 $k$ 維表示。

FM的原始表達式時間復雜度是 $O(kn^2)$ 。

對于二次項部分，

$\sum_{i=1}^n \sum_{j=i+1}^n <\boldsymbol{v}_i, \boldsymbol{v}_j>x_i x_j$

$= \frac{1}{2} \sum_{i=1}^n\sum_{j=1}^n <\boldsymbol{v}_i, \boldsymbol{v}_j>x_i x_j - \frac{1}{2} \sum_{i=1}^n <\boldsymbol{v}_i, \boldsymbol{v}_i>x_i x_i$

$= \frac{1}{2} \left( \sum_{i=1}^n\sum_{j=1}^n \sum_{f=1}^k v_{i,f}v_{j,f} x_i x_j - \sum_{i=1}^n \sum_{f=1}^k v_{i,f}v_{i,f} x_i x_i \right)$

$= \frac{1}{2} \sum_{f=1}^k \left( \left( \sum_{i=1}^n v_{i,f}x_i \right) \left( \sum_{j=1}^n v_{j,f}x_j \right) - \sum_{i=1}^n v_{i,f}^2 x_i^2 \right)$

$= \frac{1}{2} \sum_{f=1}^k \left( \left( \sum_{i=1}^n v_{i,f} x_i \right)^2 - \sum_{i=1}^n v_{i,f}^2 x_i^2 \right)$

時間復雜度變為了 $O(kn)$ .

Wide & Deep

Cheng, Heng-Tze, et al. "Wide & deep learning for recommender systems." Proceedings of the 1st workshop on deep learning for recommender systems. 2016.

ctr_wide_and_deep.jpg

$\hat{y} = \sigma( y_{wide} + y_{dense} + b)$

wide部分是輸入特征的線性加權結果，是個數值；wide部分一般處理的是數值類特征（包括原始特征以及人工交叉之后的數值特征）。

dense部分最后一層輸出層不加激活函數，也是個數值；dense部分輸入是特征的embedding表示。

FNN (Factorization-machine supported Neural Networks)

Weinan Zhang, Tianming Du, and Jun Wang. Deep learning over multi-field categorical data - - A case study on user response prediction. In ECIR, 2016.

ctr_fnn.jpg

假設一共有 $n$ 個field，embedding維度為 $K$ 。

FNN的最后幾層都是普通的輸出層與隱層，對于最后一個普通的隱層 $l_1$ ,

$l_1 = tanh(W_1 \boldsymbol{z} + \boldsymbol{b_1})$

$\boldsymbol{z} = (w_0, \boldsymbol{z_1}, ..., \boldsymbol{z}_n)$ , $\boldsymbol{z}_i \in \mathbb{R}^{K+1}$

$\boldsymbol{z}_i = \boldsymbol{W}_0^i \cdot \boldsymbol{x}[start_i: end_i] = (w_i, v_i^1, v_i^2, ..., v_i^K)$ , $\boldsymbol{W}_0^i \in \mathbb{R^{(K+1) \times (end_i - start_i + 1)}}$

其中 $w_i$ 與 $v_i$ 初始化來自FM，

$y_{FM} = \sigma(w_0 + \sum_{i=1}^N w_i x_i + \sum_{i=1}^N \sum_{j=i+1}^N <\boldsymbol{v}_i, \boldsymbol{v}_j> x_i x_j)$

也就是說，FNN是先用FM進行預訓練，得到每一個field的embedding向量表示 $\boldsymbol{v}_i$ 以及一階參數 $w_i$ ，用這些參數組成相應field新的向量表示，接入后續的DNN。

PNN (Product-based Neural Networks)

Yanru Qu, Han Cai, Kan Ren, Weinan Zhang, Yong Yu, Ying Wen, and Jun Wang. Product-
based neural networks for user response prediction. CoRR, abs/1611.00144, 2016.

ctr_pnn.jpg

PNN的輸出層與后面幾個隱層都是普通的DNN，主要貢獻在于有一個Product層。

輸入層對每一個field先做embedding，Product層由兩個信號構成，一個是線性信號 $\boldsymbol{l}_z$ ，一個是二階信號 $\boldsymbol{l}_p$ 。最后一個隱層 $\boldsymbol{l}_1$ 可以表示為：

$\boldsymbol{l}_1 = relu(\boldsymbol{l}_z + \boldsymbol{l}_p + \boldsymbol{b}_1)$

$\boldsymbol{l}_z = (l_z^1, l_z^2, ..., l_z^{D_1})$ ， $D_1$ 表示隱層 $\boldsymbol{l}_1$ 的輸入維度， $l_z^n = \boldsymbol{W}_z^n \odot \boldsymbol{z}$ , $\odot$ 在論文里被定義為先計算element-wise product再求和，即兩個向量或者矩陣對應下標的乘積之和，是一個數值。

$\boldsymbol{l}_p = (l_p^1, l_p^2, ..., l_p^{D_1})$ , $l_p^n = \boldsymbol{W}_p^n \odot \boldsymbol{p}$

$\boldsymbol{z} = (\boldsymbol{z}_1, \boldsymbol{z}_2, ..., \boldsymbol{z}_N) \triangleq (\boldsymbol{f}_1, \boldsymbol{f}_2, ..., \boldsymbol{f}_N)$ , $\boldsymbol{f}_i$ 是field $i$ 的embedding表示。

$\boldsymbol{p} = \{\boldsymbol{p}_{i,j}\}$ , $\boldsymbol{p}_{i,j}=g(\boldsymbol{f}_i, \boldsymbol{f}_j)$ 是二階的特征交叉。

其實就是，先對每一個field做embedding，然后把embedding經element-wise product得到數值concat到一起；然后把像FM一樣，對embedding做兩兩交叉，把結果經element-wise product得到數值也concat到一起。

IPNN (Inper Product-based Neural Networks)

PNN的 $\boldsymbol{p}$ 部分是field的embedding做兩兩交叉，根據向量交叉方式不同，PNN有兩個不同的形式IPNN與OPNN。

IPNN指向量交叉采用內積形式,

$g(\boldsymbol{f}_i, \boldsymbol{f}_j) = <\boldsymbol{f}_i, \boldsymbol{f}_j>$

OPNN (Outer Product-based Neural Networks)

OPNN指向量交叉采用外積形式,

$g(\boldsymbol{f}_i, \boldsymbol{f}_j) = \boldsymbol{f}_i \boldsymbol{f}_j ^ T$

DeepFM

H. Guo, R. Tang, Y. Ye, Z. Li, and X. He. Deepfm: a factorization- machine based neural network for ctr prediction. In IJCAI, 2017.

ctr_deepfm.jpg

$\hat{y} = \sigma(y_{FM} + y_{DNN})$

$y_{FM} = <w, x> + \sum_{i=1}^d \sum_{j=i+1}^d <V_i, V_j> x_i \cdot x_j$

DeepFM可以理解為將Wide&Deep模型的Wide部分替換為FM，從而可以對每一個wide特征增加了稀疏表示以及特征之間的兩兩交叉，相比Wide&Deep模型極大增強了表達能力，在工業界使用非常廣泛。

DeepCrossing

Y. Shan, T. R. Hoens, J. Jiao, H. Wang, D. Yu, and J. Mao. Deep crossing: Web-scale modeling without manually crafted combinatorial features. In KDD, 2016.

ctr_deepcrossing_overview.jpg

想法很直接：將residual從cv引入推薦系統。

ctr_deepcrossing_residual.jpg

DCN (Deep & Cross Network)

Wang R, Fu B, Fu G, et al. Deep & cross network for ad click predictions[M]//Proceedings of the ADKDD'17. 2017: 1-7.

ctr_deep_and_cross.jpg

顧名思義，一部分是正常的Deep網絡，另一部分是Cross網絡，最后將兩個網絡的輸出合并，得到輸出結果。論文真正的創新點在Cross網絡的設計。

ctr_deep_and_cross_visualization.jpg

假設 $\boldsymbol{x}_i$ 是第 $i$ 個Cross層的輸出，

$\boldsymbol{x}_{l+1} = \boldsymbol{x}_0 \boldsymbol{x}_l^T \boldsymbol{w}_l + \boldsymbol{b}_l + \boldsymbol{x}_l = f(\boldsymbol{x}_l, \boldsymbol{w}_l, \boldsymbol{b}_l) + \boldsymbol{x}_l$

每一個Cross層都與整個網絡的輸入 $\boldsymbol{x}_0$ 做一次交叉，再加上當前層的輸入 $\boldsymbol{x}_l$ （起到residual的作用）。這樣每加一個Cross層，就相當于加了一階交叉。

NFM

X. He and T.-S. Chua. Neural factorization machines for sparse predictive analytics. In SIGIR, 2017.

ctr_nfm.jpg

FM：

$\hat{y} = w_0 + \sum_{i=1}^n w_i x_i + \sum_{i=1}^n \sum_{j=i+1}^n <\boldsymbol{v}_i, \boldsymbol{v}_j>x_i x_j$

NFM：
$\hat{y} = w_0 + \sum_{i=1}^n w_i x_i + f(\boldsymbol{x})$

$f_{BI}(V_{\boldsymbol{x}}) = \sum_{i=1}^n\sum_{j=i+1}^n x_i \boldsymbol{v}_i \odot x_j \boldsymbol{v}_j$

與PNN $\odot$ 定義成得到數值（對element-wise product求和）不同，這里的 $\odot$ element-wise product得到的是一個向量。

與FM的區別：
FM是embedding兩兩交叉，直接向量內積計算得到一個數值。

NFM是兩兩交叉element-wise product，得到相同維度的embedding，后續再接DNN。

AFM

Xiao J, Ye H, He X, et al. Attentional factorization machines: Learning the weight of feature interactions via attention networks[J]. arXiv preprint arXiv:1708.04617, 2017.

ctr_afm.jpg

$f_{Att}(f_{PI}(\xi)) = \sum_{(i,j) \in R_x} a_{ij}(\boldsymbol{v}_i \odot \boldsymbol{v}_j)x_i x_j$

$\xi = \{ \boldsymbol{v}_i x_i\}_{i \in X}$ , $R_x = \{(i, j)_{i\in X, j \in X, j > i}\}$

$a(i,j)$ 是attention score，

$a_{i,j}' = \boldsymbol{h}^T ReLU(\boldsymbol{W}(\boldsymbol{v}_i \odot \boldsymbol{v}_j )x_i x_j + \boldsymbol{b})$

$a(i, j) = \frac{exp(a_{ij}')}{\sum_{i,j\in R_x}exp(a_{ij}')}$

AFM與NFM類似，對field的embedding，先兩兩交叉element-wise product，得到 $n(n-1)/2$ 對相同維度的向量（需要乘以特征原始值 $x_ix_j$ ）。

然后對些向量計算一次attention weights，最后再與所有向量本身加權求和。

綜合起來，AFM表示為，

$\hat{y}_{AFM}(\boldsymbol{x}) = w_0 + \sum_{i=1}^n w_i x_i + \boldsymbol{p}^T \sum_{i=1}^n \sum_{j=i+1}^n a_{ij} (\boldsymbol{v}_i \odot \boldsymbol{v}_j)x_i x_j$

xDeepFM

Lian, Jianxun, et al. "xdeepfm: Combining explicit and implicit feature interactions for recommender systems." Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018.

論文從DCN的基礎上改進，并且指出DCN雖然號稱學習到了高階交叉，但其實只是一種特殊形式的高階交叉；每一個隱層是輸入層 $\boldsymbol{x}_0$ 的數值倍數（不是線性的），從而DCN學習到的是有限的高階。

xDeepFM的核心是CIN （Compressed Interaction Network）。

$\boldsymbol{X}_k$ 表示CIN第 $k$ 層的輸出， $H_k$ 表示第 $k$ 層的embedding特征向量的個數， $H_0=m$ ，等于field的個數，embedding的維度為D。

$\boldsymbol{X}_{h, *}^k = \sum_{i=1}^{H_{k-1}} \sum_{j=1}^m \boldsymbol{W}_{ij}^{k, h} (\boldsymbol{X}_{i, *}^{k-1} \circ X_{j, *}^0)$

ctr_xdeepfm_cin.jpg

外積：輸入層 $\boldsymbol{X}_0$ 的每一個向量（embedding維度）都與 $\boldsymbol{X}_k$ 的每一個向量兩兩外積，最終得到一個維度為 $(H_k, m, D)$ 的tensor。
壓縮：將外積tensor $(H_k, m, D)$ 沿著embedding維度（D)，像CNN的每個feature map一樣，計算 $H_{k+1}$ 組卷積，每一組都將 $(H_k, m)$ 壓縮成1個數值。
CIN輸出：對每一個隱層先沿著embedding維度做sum pooling，得到 $K$ 個維度為 $H_k$ 的向量；然后將這 $K$ 個向量concat計算最后的輸出。

CIN既像RNN(每一個隱層 $\boldsymbol{X}_k$ 都依賴于上一個隱層的輸出 $\boldsymbol{X}_{k-1}$ 以及一個附加的輸入 $\boldsymbol{X}_0$ )，也像CNN（壓縮）。

ctr_xdeepfm_overview.jpg

AutoInt

Song W, Shi C, Xiao Z, et al. Autoint: Automatic feature interaction learning via self-attentive neural networks[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management. 2019: 1161-1170.

ctr_autoint.jpg

創新點：將Multi-Head Self-Attention從NLP引入推薦系統。

首先，得到每一個輸入field的embedding表示 $e_i$ ，對于head $h$ ，field $m$ 與 $k$ 的交叉關系表示為，

$\alpha_{m,k}^{(h)} = \frac{ exp(\varphi^{(h)} (\boldsymbol{e}_m \boldsymbol{e}_k )) } {\sum_{l=1}^M exp(\varphi^{(h)} (\boldsymbol{e}_m \boldsymbol{e}_l ))}$

$\varphi^{(h)} (\boldsymbol{e}_m \boldsymbol{e}_k ) = <W^{(h)}_{Query} \boldsymbol{e}_m, W^{(h)}_{Key} \boldsymbol{e}_k>$

然后field $m$ 的新的向量表示更新為，

$\widetilde{\boldsymbol{e}}_m = \sum_{k=1}^M \alpha_{m,k}^{(h)} (W^{(h)}_{Value} \boldsymbol{e}_k)$

AutoInt在工業界的推薦系統中效果非常好，應用廣泛。

最后編輯于：2021.07.11 20:24:02

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 228,119評論 6贊 531
死咒
序言：濱河連續發生了三起死亡事件，死亡現場離奇詭異，居然都是意外死亡，警方通過查閱死者的電腦和手機，發現死者居然都...
沈念sama閱讀 98,382評論 3贊 415
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事。” “怎么了？”我有些...
開封第一講書人閱讀 176,038評論 0贊 373
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長。經常有香客問我，道長，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 62,853評論 1贊 309
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮，結果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當我...
茶點故事閱讀 71,616評論 6贊 408
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著，像睡著了一般。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發上，一...
開封第一講書人閱讀 55,112評論 1贊 323
城市分裂傳說
那天，我揣著相機與錄音，去河邊找鬼。笑死，一個胖子當著我的面吹牛，可吹牛的內容都是我干的。我是一名探鬼主播，決...
沈念sama閱讀 43,192評論 3贊 441
雙鴛鴦連環套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 42,355評論 0贊 288
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后，有當地人在樹林里發現了一具尸體，經...
沈念sama閱讀 48,869評論 1贊 334
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 40,727評論 3贊 354
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發現自己被綠了。大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 42,928評論 1贊 369
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
沈念sama閱讀 38,467評論 5贊 358
?日本核電站爆炸內幕
正文年R本政府宣布，位于F島的核電站，受9級特大地震影響，放射性物質發生泄漏。R本人自食惡果不足惜，卻給世界環境...
茶點故事閱讀 44,165評論 3贊 347
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 34,570評論 0贊 26
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至，卻和暖如春，著一層夾襖步出監牢的瞬間，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 35,813評論 1贊 282
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。一個月前我還...
沈念sama閱讀 51,585評論 3贊 390
代替公主和親
正文我出身青樓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 47,892評論 2贊 372

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

常見深度學習點擊率預估模型

常見深度學習點擊率預估模型

LR (Logistic Regression)

FM (Factorization Machines)

Wide & Deep

FNN (Factorization-machine supported Neural Networks)

PNN (Product-based Neural Networks)

IPNN (Inper Product-based Neural Networks)

OPNN (Outer Product-based Neural Networks)

DeepFM

DeepCrossing

DCN (Deep & Cross Network)

NFM

AFM

xDeepFM

AutoInt

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

常見深度學習點擊率預估模型

LR (Logistic Regression)

FM (Factorization Machines)

Wide & Deep

FNN (Factorization-machine supported Neural Networks)

PNN (Product-based Neural Networks)

IPNN (Inper Product-based Neural Networks)

OPNN (Outer Product-based Neural Networks)

DeepFM

DeepCrossing

DCN (Deep & Cross Network)

NFM

AFM

xDeepFM

AutoInt

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频