此學習筆記整理于 Ryan Mitchell Web Scraping with Python- Collecting Data from the Modern Web (2015) Chapter 8 Reading and writing natural languages
天啦嚕！這個筆記真是讓人興奮不已啊！代碼寫得太好了作者。不多說了，上代碼和解釋。
1，首先，新建database，這一段代碼直接在mysql里寫的。
值得學習的地方有：1）并沒有create database Wikipedia；這個過程，直接上table，然后后面跟著‘Wikipedia’.‘pages’.厲害了，我的書。
然后依次是名稱，類型，默認值，還有其他，比如第一個是自動增加，第三個是系統時間。
最后加上primary key是哪一個。
2. 開始從wiki的一個頁面開始爬取wiki內部鏈接并存儲起來。
從上面的database結構我們可以看出，存儲的內容主要分為兩個部分：鏈接地址url和鏈接之間的關系（links from onepage to the other one）
還是一個函數一個函數看吧。
insertpageifnotexits函數
在數據庫找url這個鏈接，如果沒有（rowcount=0）,那就把這個鏈接存到database里面的pages。cur.commit() 確認更改。返回pages的最后一行，就是我們新存進去的那個鏈接所在的行。如果存在的話就返回cur.fetchone()[0],這個【0】是代表pages這個table的第一列即是id這一列。id是自動編號的，所以id的值等于其所在行的行數。
insertLink函數
看鏈接是否存在，如果不存在插入并確認保存。跟上面一個函數類似，就不多說了。
getLinks函數
先看打開這個一個站點，找到所有的內部鏈接，然后是把內部鏈接存儲起來，再把link存儲起來。然后空的pages，如果發現的新頁面沒有研究過再進入這個新頁面并向下一層.最多向下走4層，總共走到第5層（第5層也分析了。）。
這個getlinks也可以這么寫。
P.S.：沒能上車的小伙伴歡迎留言，如果我會我直接回答你！如果不會，我谷歌后回答你！如果要加我微信，不行。
