發(fā)簡(jiǎn)信
IP屬地：吉林
-
Transformer的一些理解
最近又認(rèn)真的看了一遍T(mén)ransformer，但是研究的越多，反而也看不清真相了。 為啥這樣的一些設(shè)計(jì)，竟然能讓模型記住那么多信息。如今各大廠(chǎng)競(jìng)相...
-
真正的利器：對(duì)比學(xué)習(xí)SimCSE最近看了一篇最新的Sentence Embedding論文，今年4月份的，丹琦大神發(fā)表的《Simple Contrastive Learning...
-
Faiss那點(diǎn)事~最近看了下Faiss的原因，今天讓我們來(lái)Faiss那點(diǎn)事~全名叫Facebook AI Similarity Search。顧名思義，F(xiàn)aceb...
-
偏差（Bias）、方差（Variance）、噪聲、泛化誤差聊到這幾個(gè)概念，一般人如果不認(rèn)真看，還真容易搞混?？瓷先ッ菜坪芨叽蟮男g(shù)語(yǔ)，其實(shí)理解后很簡(jiǎn)單。接下來(lái)，咱們就看下。 偏差 是指在同一份數(shù)據(jù)集上，訓(xùn)...
-
Hard Negtive題目 試想有一份數(shù)據(jù)集，有99個(gè)負(fù)樣本，1個(gè)正樣本?，F(xiàn)在我們要學(xué)習(xí)一個(gè)模型，怎么學(xué)？ 分析 看上去，直接學(xué)，模型會(huì)擬合大量負(fù)樣本的特性。根本學(xué)不...
-
深度語(yǔ)言模型-AlBertGoogle在2020年提出了AlBert模型。模型是對(duì)Bert的改進(jìn)，效果肯定要好，不然怎么是改進(jìn)呢，貌似說(shuō)的是廢話(huà)。閑言碎語(yǔ)不要講，直接上結(jié)...
-
DropOut技術(shù)簡(jiǎn)述
DropOut的概念首次在2012年，論文《Improving neural networks by preventing co-adaptat...
-
UDA（Unsupervised Data Augmentation 無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)）Google在2019年提出了UDA方法（Unsupervised Data Augmentation 無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)），這是一種半監(jiān)督學(xué)習(xí)方法...
-
采樣
對(duì)于樣本分布不平衡的分類(lèi)，如果按照0.5閾值分類(lèi)，容易造成虛假的指標(biāo)。因?yàn)槟Ｐ鸵恢倍荚趯W(xué)習(xí)大樣本類(lèi)，這樣最后預(yù)測(cè)的結(jié)果，傾向于大樣本類(lèi)。因此可以...