TextRank自動摘要提取

? ? 所謂自動摘要,就是從文章中自動抽取關鍵句。何謂關鍵句?人類的理解是能夠概括文章中心的句子,機器的理解只能模擬人類的理解,即擬定一個權重的評分標準,給每個句子打分,之后給出排名靠前的幾個句子。

1.TextRank公式

? ? TextRank的打分思想依然是從PageRank的迭代思想衍生過來的,如下公式所示:

? ? 等式左邊表示一個句子的權重(WS是weight_sum的縮寫),右側的求和表示每個相鄰句子對本句子的貢獻程度,一般認為一篇文檔中全部句子都是相鄰的。求和的分母wji表示兩個句子的相似程度,分母又是一個weight_sum,而WS(Vj)代表上次迭代j的權重,整個公式是一個迭代的過程。

2.相似程度的計算

? ? 而相似程度wji的計算使用BM25,BM25算法是一種常見用來做相關度打分的公式,思路比較簡單,主要就是計算一個query里面所有詞和文檔的相關度,然后再把分數做累加操作,而每個詞的相關度分數主要還是受到tf/idf的影響。公式如下:


? ? fi是詞在文檔中的出現次數,dl是文檔長度,avgdl是文檔平均長度,可以看出如果其他因素一樣,dl越大,相關度越低,這個也符合結論。至于會除以一個avgdl,我想是拿本篇文檔長度和整體文檔長度水平做比較,以免單獨取dl值時過大。


? ? N是文檔總數,n(qi)是包含該詞的文檔數,0.5是調教系數,避免n(qi)為0的情況,從這個公式可以看出N越大,n(qi)越小的,idf值越大,這也符合了"詞的重要程度和其出現在總文檔集合里的頻率成反比"的思想,取個log是為了讓idf的值受N和n(qi)的影響更加平滑。

影響BM25公式的因數有:

1 idf,idf越高分數越高

2 tf,tf越高分數越高

3 dl/avgdl如果該文檔長度在文檔水平中越高則分數越低。

4 k1,b為分數的調節因子,其中k1,b都是調節因子,一般k1=2, b=0.75


3.引用

1.https://my.oschina.net/letiantian/blog/351154

2.http://www.hankcs.com/nlp/textrank-algorithm-java-implementation-of-automatic-abstract.html

3.http://www.cnblogs.com/hdflzh/p/4034602.html

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,572評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,071評論 3 414
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,409評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,569評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,360評論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,895評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,979評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,123評論 0 286
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,643評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,559評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,742評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,250評論 5 356
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 43,981評論 3 346
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,363評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,622評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,354評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,707評論 2 370

推薦閱讀更多精彩內容

  • 前面的文章主要從理論的角度介紹了自然語言人機對話系統所可能涉及到的多個領域的經典模型和基礎知識。這篇文章,甚至之后...
    我偏笑_NSNirvana閱讀 13,966評論 2 64
  • 這個系列的第六個主題,主要談一些搜索引擎相關的常見技術。 1995年是搜索引擎商業公司發展的重要起點,《淺談推薦系...
    我偏笑_NSNirvana閱讀 6,678評論 3 24
  • 原理 BM25算法,通常用來作搜索相關性平分。一句話概況其主要思想:對Query進行語素解析,生成語素qi;然后,...
    Jlan閱讀 67,853評論 5 42
  • 已被查封房產被抵押 黑龍江省慶安縣居民李某成因鐘某彬欠款不還,申請法院強制執行。2015年11月13日,慶安縣人民...
    房天使閱讀 313評論 0 0
  • 剛才客戶那邊一個管理員加我QQ,看到他的簽名,覺得很甜蜜,可能是90后小伙伴吧
    jam_sun閱讀 487評論 0 51