1、對比學(xué)習(xí)、度量學(xué)習(xí)、bert
自監(jiān)督的度量學(xué)習(xí)
simclr moco swav
2、基于對比學(xué)習(xí)的推薦模型
微博：
粗粒度:娛樂
細(xì)粒度:劉德華
中間粒度：劉德華北京開演唱會（話題）
實踐：
（1）提取中間粒度數(shù)據(jù)，如話題
（2）
推薦系統(tǒng)：
雙塔實際上是對比學(xué)習(xí)的變體。
self-supervised learning for large-scale item recommendations
contrastive self-supervised sequential recommendation with robust augmentation
multi-sample based contrastive loss for top-k recommendation
方向：
一、超長用戶興趣建模-sim模型，ubr4ctr，eta模型
張俊林最看好的方向，魔改，如何從超長興趣中找出和target最像的k個來
nlp走在最前面，已經(jīng)證明了自監(jiān)督能走通，bert。
何凱明 mae 最近很熱
二、鏈路一致性 知識蒸餾
end to end user behavior retreval in click-through rate prediction model
知識蒸餾在推薦系統(tǒng)的應(yīng)用
阿里媽媽ldm
三、特征embedding自適應(yīng) nis模型
谷歌nis：
1、強化學(xué)習(xí)進行資源分配
2、決策點：哪些特征值的分配空間，以及最優(yōu)的embeddingsize是多大
neural input search for large scale recommendation models
3、amtl
最近效果的進展來自于兩個方面：
a、模型容量、參數(shù)越來越大
b、預(yù)訓(xùn)練給了更多的數(shù)據(jù)
現(xiàn)在nlp最前沿，圖像次之，推薦最垃圾
推薦的特性走預(yù)訓(xùn)練不好走通。
