更多精彩內容歡迎關注公眾號：緘默筆記
論文:?ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding
Link: https://arxiv.org/pdf/2107.12025.pdf
在NLP領域，通過embedding可以把word從離散空間映射到語義空間，早期階段Word2vec、GloVe等算法，沒有考慮上下文信息，每個word學習得到一個固定的embedding，對于一些多義詞，在不同語境意思是不同的（如“蘋果”，喜歡蘋果手機、喜歡蘋果香蕉），針對該問題，ELMO、Bert等算法，利用上下文信息動態預測embedding表示。
受此啟發，利用上下文信息，逐層動態優化(dynamically refine)特征embedding向量，也是非常重要的。本文提出通過上下文信息動態優化特征embedding的CTR預估框架ContextNet，主要由兩部分構成：
（1）Contextual embedding模塊：對每個特征的上下文信息進行聚合
（2）ContextNet block：把上下文高階特征交叉信息融入特征embedding，動態優化特征embedding；
