如何用Python做中文分詞?

打算繪制中文詞云圖?那你得先學會如何做中文文本分詞。跟著我們的教程,一步步用Python來動手實踐吧。

需求

在《如何用Python做詞云》一文中,我們介紹了英文文本的詞云制作方法。大家玩兒得可還高興?

文中提過,選擇英文文本作為示例,是因為處理起來最簡單。但是很快就有讀者嘗試用中文文本做詞云了。按照前文的方法,你成功了嗎?

估計是不成功的。因為這里面缺了一個重要的步驟。

觀察你的英文文本。你會發現英文單詞之間采用空格作為強制分隔符。

例如:

Yes Minister is a satirical British sitcom written by Sir Antony Jay and Jonathan Lynn that was first transmitted by BBC Television between 1980 and 1984, split over three seven-episode series.

但是,中文的文本就沒有這種空格區隔了。為了做詞云,我們首先需要知道中文文本里面都有哪些“詞”。

你可能覺得這根本不是問題——我一眼就能看出詞和詞之間的邊界!

對,你當然可以。你可以人工處理1句、100句,甚至是10000句話。但是如果給你100萬句話呢?

這就是人工處理和電腦自動化處理的最顯著區別——規模。

別那么急著放棄啊,你可以用電腦來幫忙。

你的問題應該是:如何用電腦把中文文本正確拆分為一個個的單詞呢?

這種工作,專業術語叫做分詞。

在介紹分詞工具及其安裝之前,請確認你已經閱讀過《如何用Python做詞云》一文,并且按照其中的步驟做了相關的準備工作,然后再繼續依照本文的介紹一步步實踐。

分詞

中文分詞的工具有很多種。有的免費,有的收費。有的在你的筆記本電腦里就能安裝使用,有的卻需要聯網做云計算。

今天給大家介紹的,是如何利用Python,在你的筆記本電腦上,免費做中文分詞。

我們采用的工具,名稱很有特點,叫做“ 結巴分詞 ”。

為什么叫這么奇怪的名字?

讀完本文,你自己應該就能想明白了。

我們先來安裝這款分詞工具。回到你的“終端”或者“命令提示符”下。

進入你之前建立好的demo文件夾。

輸入以下命令:

pip install jieba

好了,現在你電腦里的Python已經知道該如何給中文分詞了。

數據

在《如何用Python做詞云》一文中,我們使用了英劇”Yes, minister“的維基百科介紹文本。這次我們又從維基百科上找到了這部英劇對應的中文頁面。翻譯名稱叫做《是,大臣》。

將網頁正文拷貝下來之后,存入文本文件yes-minister-cn.txt,并且將這個文件移動到我們的工作目錄demo下面。

好了,我們有了用于分析的中文文本數據了。

先別忙著編程序。正式輸入代碼之前,我們還需要做一件事情,就是下載一份中文字體文件。

請到 這個網址 下載simsun.ttf。

下載后,將這個ttf字體文件也移動到demo目錄下,跟文本文件放在一起。

代碼

在命令行下,執行:

jupyter notebook

瀏覽器會自動開啟,并且顯示如下界面。

這里還有上一次詞云制作時咱們的勞動成果。此時目錄下多了一個文本文件,是"Yes, Minister"的中文介紹信息。

打開這個文件,瀏覽一下內容。

我們確認中文文本內容已經正確存儲。

回到Jupyter筆記本的主頁面。點擊New按鈕,新建一個筆記本(Notebook)。在Notebooks里面,請選擇Python 2選項。

系統會提示我們輸入Notebook的名稱。為了和上次的英文詞云制作筆記本區別,就叫它wordcloud-cn好了。

我們在網頁里唯一的代碼文本框里,輸入以下3條語句。輸入后,按Shift+Enter鍵執行。

filename = "yes-minister-cn.txt"
with open(filename) as f:
 mytext = f.read()

然后我們嘗試顯示mytext的內容。輸入以下語句之后,還是得按Shift+Enter鍵執行。

print(mytext)

顯示的結果如下圖所示。

既然中文文本內容讀取沒有問題,我們就開始分詞吧。輸入以下兩行語句:

import jieba
mytext = " ".join(jieba.cut(mytext))

系統會提示一些信息,那是結巴分詞第一次啟用的時候需要做的準備工作。忽略就可以了。

分詞的結果如何?我們來看看。輸入:

print(mytext)

你就可以看到下圖所示的分詞結果了。

單詞之間已經不再緊緊相連,而是用空格做了區隔,就如同英文單詞間的自然劃分一樣。

你是不是迫不及待要用分詞后的中文文本作詞云了?

可以,輸入以下語句:

from wordcloud import WordCloud
wordcloud = WordCloud().generate(mytext)
%pylab inline
import matplotlib.pyplot as plt
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off"

激動地期待著中文詞云的出現?

可惜,你看到的詞云是這個樣子的。

你是不是非常憤怒,覺得這次又掉坑里了?

別著急,出現這樣的結果,并不是分詞或者詞云繪制工具有問題,更不是因為咱們的教程步驟有誤,只是因為字體缺失。詞云繪制工具wordcloud默認使用的字體是英文的,不包含中文編碼,所以才會方框一片。解決的辦法,就是把你之前下載的simsun.ttf,作為指定輸出字體。

輸入以下語句:

from wordcloud import WordCloud
wordcloud = WordCloud(font_path="simsun.ttf").generate(mytext)
%pylab inline
import matplotlib.pyplot as plt
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")

這次你看到的輸出圖形就變成了這個樣子:

這樣一來,我們就通過中文詞云的制作過程,體會到了中文分詞的必要性了。

這里給你留個思考題,對比一下此次生成的中文詞云,和上次做出的英文詞云:

這兩個詞云對應的文本都來自維基百科,描述的是同樣一部劇,它們有什么異同?從這種對比中,你可以發現維基百科中英文介紹內容之間,有哪些有趣的規律?

討論

掌握了本方法后,你自己做出了一張什么樣的中文詞云圖?除了做詞云以外,你還知道中文分詞的哪些其他應用場景?歡迎留言,分享給大家。我們共同交流討論。

喜歡請點贊。還可以微信關注和置頂我的公眾號“玉樹芝蘭”(nkwangshuyi)

如果你對數據科學感興趣,不妨閱讀我的系列教程索引貼《如何高效入門數據科學?》,里面還有更多的有趣問題及解法。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,786評論 6 534
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,656評論 3 419
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,697評論 0 379
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,098評論 1 314
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,855評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,254評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,322評論 3 442
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,473評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,014評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,833評論 3 355
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,016評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,568評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,273評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,680評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,946評論 1 288
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,730評論 3 393
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,006評論 2 374

推薦閱讀更多精彩內容