這是Python爬蟲系列的第一篇文章。之前學了一段時間的Python，在網上搜到爬蟲系列的教程，但是由于網站更新可能會導致代碼改變，使得以前的正則表達式無法使用，因此對原教程中的代碼進行了一些修改，將自己的理解寫在這里，方便理解。
本文參考教程 Python爬蟲實戰一之爬取糗事百科段子。作者崔慶才寫了很多關于Python爬蟲的文章，大家有興趣的話可以去他的個人博客靜覓學習。
爬蟲介紹
維基百科中對網絡爬蟲的解釋是
網絡爬蟲（英語：web crawler），也叫網絡蜘蛛（spider），是一種用來自動瀏覽萬維網的網絡機器人。其目的一般為編纂網絡索引。
如果覺得以上定義難理解，還有百度百科中的解釋
網絡爬蟲，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。
在Chrome或者Mozilla瀏覽器中，按f12可以進入開發者模式查看網頁源代碼，以 糗事百科 為例
點開源代碼中的不同標簽，發現其實網頁中顯示的各種段子其實都在以下的幾行代碼之間
<div class="content">
<span>
</span>
所以，當我們知道了自己想要的信息保存在哪個部分之后，我們就可以通過正則表達式（稍后會介紹）將這一部分信息提取出來，比如很多人爬的豆瓣電影，可以將Top250或者自己感興趣的影片信息批量導出，或者把一些網站中的圖片批量下載下來。
其實，像谷歌、百度這些搜索引擎也可以看成是網絡爬蟲，但是它們爬的是整個互聯網上的信息，并且要在很短的時間內將結果顯示出來，這就涉及到算法和優化的問題，而今天爬取糗事百科段子的程序只是一個很簡單的爬蟲，算是入門。
源代碼放在我的GitHub主頁上，下面主要是對具體代碼的理解和分析。
注意：使用Python2.7版本
代碼中用到了urllib2和re兩個庫，前一個用來獲取網頁的源代碼，后一個使用正則表達式提取我們想要的信息，這也是我們的代碼主要做的兩件事情。
獲取網頁源代碼
url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
request = urllib2.Request(url, headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'})
response = urllib2.urlopen(request)
pageCode = response.read().decode('utf-8')
url是我們想要爬的網頁地址，request是請求網頁，urllib2.Request(url, headers)中的第一個參數url即為網頁地址，第二個參數headers是身份，有的網站服務器會靠這個參數識別是否是瀏覽器發出的請求，如果不是則不響應，urllib2默認的身份是“Python-urllib/2.7”，所以最好將身份改為瀏覽器，可以在瀏覽器開發者工具的網絡模塊中查看瀏覽器的類型。response.read().decode('utf-8')中，response對象有一個read方法，可以讀取網頁的內容，由于網頁是中文，利用decode('utf-8')將字符串變為'utf-8'編碼格式，防止亂碼。
正則表達式
首先上圖
正則表達式有很多語法，最好在實際使用中邊用邊學。我們的代碼中提取內容的部分為
pattern = re.compile('h2>(.*?)</h2.*?content">.*?<span>(.*?)</.*?number">(.*?)</.*?number">(.*?)</',re.S)
items = re.findall(pattern,pageCode)
pageStories = []
for item in items:
pageStories.append([item[0].strip(),item[1].strip(),item[2].strip(),item[3].strip()])
先看網頁與源代碼對應的部分
從
<h2>一直到最后的</a>，這其中包括了發布人、內容、好笑數和評論數，我們可以將這四部分提取出來。pattern = re.compile('h2>(.*?)</h2.*?content">.*?<span>(.*?)</.*?number">(.*?)</.*?number">(.*?)</',re.S)是匹配模式，.匹配除換行符‘\n’之外的字符，re.S代表(dot matchs all)，.也匹配換行符，.*和.*?的區別是前者是貪婪匹配，后者是非貪婪匹配。
比如說匹配輸入串A: 101000000000100
使用 1.*1 將會匹配到1010000000001, 匹配方法: 先匹配至輸入串A的最后, 然后向前匹配, 直到可以匹配到1, 稱之為貪婪匹配。
使用 1.*?1 將會匹配到101, 匹配方法: *匹配下一個1之前的所有字符, 稱之為非貪婪匹配。
注: 翻譯自StackOverflow回答
(.*?)代表一個分組，是我們想要提取出的信息，re.findall(pattern,pageCode)表示以pattern尋找pageCode中能匹配的所有子串，并以列表形式返回子串。item[0]、item[1]、item[2]、item[3]分別代表發布人、內容、好笑數和評論數，.strip()表示刪除字符串開頭和末尾的所有空白符（包括'\n'、'\t'、'\r'、' '）。'\n'換行，表示光標移到下一行，'\t'水平制表位，相當于按了鍵盤上的TAB鍵，'\r'回車，相當于光標回到該行首的位置。
getPage函數得到頁面的代碼，getPageItem獲得頁面中我們想要的內容，儲存在列表中，loadPage函數在內容不夠時加載新頁面，并添加到self.stories變量中，getOneStory函數輸入‘Q’退出程序，按回車顯示一條內容，其中self.enable變量用來判斷程序是否結束。
