Title：Disentangled Self-Attentive Neural Networks for Click-Through Rate Prediction
Link：https://arxiv.org/pdf/2101.03654.pdf
1 背景
鑒于CTR預(yù)估數(shù)據(jù)具有稀疏和高維的特點(diǎn)，對(duì)高階特征交叉建模是進(jìn)行有效預(yù)估的關(guān)鍵，通過自注意神經(jīng)網(wǎng)絡(luò)(self-attention)對(duì)特征向量進(jìn)行點(diǎn)積計(jì)算，是一種有效方式，但點(diǎn)積是在兩個(gè)特征之間進(jìn)行，忽視了單個(gè)特征域(field)的影響。
針對(duì)上述問題，論文提出 DESTINE結(jié)構(gòu)，將一元(unary)特征重要性計(jì)算，從二階特征交叉(pairwise interaction)解耦出來：一元項(xiàng)學(xué)習(xí)單個(gè)特征相對(duì)其他特征的重要度，二階交叉項(xiàng)單純地學(xué)習(xí)每個(gè)特征對(duì)的影響。
2 解耦自注意模型
詳細(xì)講解和推導(dǎo)可參考以下鏈接，下面進(jìn)行簡(jiǎn)單介紹。
Disentangled Non-Local Neural Networks
2.1 自注意模型分解
2.2 相加方式聯(lián)合
2.3 key解耦
3 DESTINE模型
3.1 符號(hào)說明
3.2 解耦自注意網(wǎng)絡(luò)
4 實(shí)驗(yàn)
（1）與特征交叉模型進(jìn)行對(duì)比
（2）采用兩層DNN，與深度交叉模型進(jìn)行對(duì)比
（3）DESTINE不同項(xiàng)、不同組合方式對(duì)比
更多精彩：
【1】2021年「頂會(huì)論文」特征交叉相關(guān)CTR模型匯總
