上一篇已經對本體構建模塊涉及到的概念和技術做了簡單的介紹，這一篇原本是想更為詳細的講解本體構建模塊的具體實現，但是在寫百度百科結構分析部分時寫的內容過多，為了讓文章更好閱讀，這一篇就先只講百度百科結構分析這一部分。
百度百科結構分析
百度百科是 Answer 系統本體庫的主要數據來源，我們將利用 WebMagic 從百度百科抓取數據并利用 Jena 來構建本體庫。
之所以選擇百度百科作為構建本體庫的數據源，是因為其具有半結構化的特點，這降低了從中抽取知識的難度。下面就舉幾個栗子來分析百科頁面的結構特點:
- "周杰倫" 百科頁面
- "美人魚" （周杰倫創作歌曲）百科頁面
對比兩個頁面可以發現，不同詞條的頁面具有不同的結構。雖然兩個頁面都具有基本的關于詞條的簡介，但是 "周杰倫" 頁面具有 "代表作品"、"明星關系"等內容，而作為歌曲的 "美人魚" 則沒有。
所以對于百度百科來說，每個頁面的內容并不是按照嚴格而統一的結構來描述的，頁面結構將會因詞條的不同而有所變化。
但與一般的互聯網頁面相比，百科頁面又具有較為明顯的結構性，如 "周杰倫" 頁面中，頁面開頭為關于 "周杰倫" 的簡介，之后是 "代表作品" 和 "明星關系"。之后還有如下內容：
從上圖中可以查看到 "周杰倫" 的一些基本信息，如 "中文名"、"外文名"、"別名" 等。這種結構化的重要意義就是為我們提供了數據以及數據的語義。而這本質上就是我們需要抽取的知識，如對于屬性"別名: 周董"，我們就可以將其構造成知識 "周杰倫-別名-周董"，并將其插入到本體庫中。
但是在插入 "周杰倫-別名-周董" 這條知識到本體庫之前我們忽略了一個問題。在頁面中 "中文名"、"外文名" 其實都是一些文本數據，而 "別名" 同樣是其中一個 "文本" 而已。我們如何知道 "別名" 這個文本代表屬性名？ "別名" 這個文本難道不能是詞條的簡介嗎？
其實這里還需要對本文數據進行語義標識，但是幸運的是已經有人幫我們做了，雖然不徹底，但是勉強能用，他就是 —— HTML 標簽。
實際上 HTML 數據本身就可以視為一種半結構化數據，例如 <title>Hello Coder!</title> 標簽就為文本 "Hello Coder!" 提供了語義，我們可以通過 <title> 標簽識別出文本 "Hello Coder!" 是網頁的標題。
同理，我們可以通過 HTML 標簽來標識頁面中 "簡介"、"基本信息"、"屬性名" 等內容。例如百科中標簽 <dt class="basicInfo-item name">中文名</dt> 標識屬性名（如上文提到的中文名、外文名、別名等），<dd class="basicInfo-item value">周杰倫</dd> 標識屬性值（如周杰倫、Jay Chou、周董等）。
但是在我們采用 HTML 來標識文本時需要注意的是 HTML 本身主要是用來定義資源的表現結構、格式和樣式的，另外用戶可通過 HTML 來發布和獲取信息。但是對數據本身進行語義標注并不是 HTML 的工作。
如上提到的 <dt class="basicInfo-item name">中文名</dt> 標簽其實也只是程序員為了更好的重用和分類樣式，才在 dt 標簽中加入 class 屬性，而我們現在只是有點取巧的拿來當做文本的語義標注。所以必須意識到這種方式是存在很大局限性的，頁面中極有可能存在 <dt class="basicInfo-item name">語義不明的一些文本</dt>，如果我們把該文本解釋為屬性名自然是有誤的。但是幸運的是百度百科中這種情況較少，HTML 標簽具有較強標識性，姑且可采用 HTML 標簽來識別文本語義。
在具體實現中，WebMagic 提供了 Xsoup（一款XPath解析器），Xsoup 可以讓我們通過定義元素路徑 Xpath，快速提取我們所想要的 HTML 數據。具體實現在下一篇中介紹。
一點補充: 語義網
其實在上述的分析過程中，你是否有這樣的想法和思考。既然 HTML 描述萬維網中資源的表現結構、格式和樣式，那能不能創造一種語言來表達資源的語義？
舉一個栗子，如發布一段文本 "周杰倫（Jay Chou），1979年1月18日出生于臺灣省新北市"。在發布時，我們可以使用 HTML 發布，那么就需要加上 <html>、<title>、<body> 等標簽，為的是表達這段文本的表現格式和結構，這也是為了讓人更容易閱讀。但是如果我們在發布時也按照某種規范描述了這段文本中數據的語義，如 "Jay Chou" 是周杰倫的別名， "1979年1月18日" 是周杰倫的出生日期，"臺灣省新北市" 是周杰倫的出生地，那么這將使得這段本文能夠被計算機閱讀和理解。每個資源發布者如果都能按照這種規范發布資源，那么資源網絡不僅能夠讓人閱讀和理解，也可以讓機器閱讀和理解。他不僅僅是資源的網絡，同時也是知識的網絡。Excited !
實際上面所述便是語義網的概念，而語義網的提出者也正是萬維網的發明者-蒂姆·伯納斯·李。蒂姆·伯納斯·李早在 1998 年就提出語義網，但是語義網的復雜度較高，距離真正的廣泛工業應用還有一定的距離。感興趣的同學可以查閱相關資料了解。
但話又說回來，在語義網還未完全實現之前，我們面對的依然是無語義的萬維網，我們能抓取的大部分網頁是無語義的文本內容，那么對于這些網頁或者說非結構化文本如何提取知識并構建本體庫呢？其實這是目前學術界還在研究的問題，自然語言處理、機器學習等技術自然是該領域比較常見的解決方法，但是效果依然非常不理想。
從嚴格意義上講，從任意非結構化文本抽取出知識，這依然是當前技術無法實現的。試想一下，如果給定一段文本，計算機能夠正確理解這段文本中每個數據背后的語義，這是多么恐怖的一件事，這從某種程度上講意味著計算機真正具有了智能。
而目前還沒有什么技術和現象表明我們有能力創造出人工智能，這里的人工智能指強人工智能，也就是大眾理解的人工智能。實際上我認為人工智能這個詞就應該只能指強人工智能，現在的弱人工智能應該用另外的詞來表達，比如機器智能？計算機智能？人工函數擬合？人工統計學習？......不然大眾和專業領域關于人工智能這個詞的理解一直存在著本質上的區別，討論的都不是一個東西，還相互討論的那么熱烈......如今的 "人工智能" 就和當年的 "黑客" 一樣，不同之處在于以前是大眾和媒體濫用 "黑客"，現在是專業領域人員濫用 "人工智能"......
相對于利用所謂的 "人工智能" 實現從非結構化文本抽取知識，我還是更加看好實現語義網后推動機器智能的發展。
下一篇
下一篇真正開始介紹本體構建模塊的實現細節。
汪
汪.
