一、前言 1、什么是分詞 在講分詞算法之前,先來研究一下什么是分詞?分詞是將語句按照語境,以字詞為單位劃分的一個過程,如下圖所示: 2、為什么需...
一、前言 詞袋模型是早些年使用的詞向量模型,該模型假設每個詞都是獨立的,僅僅使用詞在文章中的頻率來決定如何表達詞,并將每個詞的表達通過組合來表征...
一、簡要說明 Bert火遍了2019,不少修行者躍躍欲試,然而訓練bert模型是一次很昂貴的過程,想簡單地先享受一下成果變得有些困難。幸而goo...
一、引言 偶然有了個歪主意,想看看群里哪些人交流較為頻繁,哪些人更傾向于潛水,同時觀察哪些人喜歡用哪些詞聊天,于是找了個死黨群,導出了一份QQ群...
一、引言 在NLP-統計語言模型中已經簡要介紹過語言模型的相關知識,該文中已闡述語言模型的應用場景和一些傳統的實現方式,本文接著演示n-gram...
一、引言 本文借助Q-learning簡單的實現一個機器人認錯的demo,先一睹效果: 為了簡化問題,筆者給它預設了三個答案: ['你管我', ...
一、引言 在NLP-統計語言模型中簡要介紹了統計語言模型的原理和實現方法,以bigram為例,計算了 的概率,這是比較理想的情況,而現實與理想的...
一、問題引出 有時候比較懶,各種文件都堆積在桌面或者某個文件夾,想整理的時候發現已是滿屏,不知如何下手!!!筆者最近又遇見此問題,哎,要是能寫個...
一、數學模型 1、由來 語言模型起初是為了計算句子的合理性。在我們看來一句話是否合理主要還是判斷其是否合乎語法,表達清晰,通俗的來講就是:說的是...