20170531
這幾天重新拾起了爬蟲，算起來有將近5個月不碰python爬蟲了。
對照著網(wǎng)上的程序和自己以前寫的抓圖的程序進行了重寫，發(fā)現(xiàn)了很多問題。總結(jié)和歸納和提高學(xué)習(xí)效果的有效手段，因此對于這些問題做個歸納和總結(jié)，一方面總結(jié)學(xué)習(xí)成果，使之成為自己的東西，另一方面希望能夠給其他初學(xué)爬蟲的人一些啟發(fā)。
爬蟲程序核心是對網(wǎng)頁進行解析，從中提取出自己想要的信息數(shù)據(jù)。這些數(shù)據(jù)可能是網(wǎng)址（url、href）、圖片（image）、文字（text）、語音（MP3）、視頻（mp4、avi……），它們隱藏在網(wǎng)頁的html數(shù)據(jù)中，在各級等級分明的element里面，通常是有跡可循的，否則就沒有爬取的必要了。提取的手段主要有三種：xpath、BeautifulSoup、正則表達(dá)式（Re）。下面分別進行介紹：
（一）BeautifulSoup
從本心來說，我更喜歡用BeautifulSoup。因為它更符合直觀語義特性，find（）和find_all（）函數(shù)已經(jīng)基本上足夠提取出任何的信息，對于身份證號、QQ號等特征特別明顯的數(shù)據(jù)，頂多再加上一個正則表達(dá)式就完全OK了。
Beautiful Soup提供一些簡單的、python式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數(shù)據(jù)，因為簡單，所以不需要多少代碼就可以寫出一個完整的應(yīng)用程序。
Beautiful Soup自動將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼。你不需要考慮編碼方式，除非文檔沒有指定一個編碼方式，這時，Beautiful Soup就不能自動識別編碼方式了。然后，你僅僅需要說明一下原始編碼方式就可以了。Beautiful Soup已成為和lxml、html6lib一樣出色的python解釋器，為用戶靈活地提供不同的解析策略或強勁的速度。
pip install beautifulsoup4 ? ? ? ? ? ? ? ? #pip方式安裝bs4
pip install lxml ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #pip方式安裝 lxml 解析工具
具體介紹參見：
BeautifulSoup 的結(jié)構(gòu)和用法簡介
靜下心來看完這篇博文才了解到原來BeautifulSoup有這么多的用法，特別是find_all（）和find（），下面是一些實例：
#實例
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}
html = requests.get(url, headers=headers)
soup = BeautifulSoup(html.text, 'lxml') ?#以上是網(wǎng)絡(luò)獲取html
soup=BeautifulSoup(open('index.html')) # 讀取本地的html，加個open函數(shù)即可
print（soup.prettify()） ?# 用標(biāo)準(zhǔn)html 顯示方法打印html
#soup.find_all()方法介紹 ，soup.find()與之基本類似，只是返回的是第一個值
find_all( name , attrs , recursive , text , **kwargs )
soup.find_all('b') ?#查找所有的b標(biāo)簽，返回列表
soup.find_all(re.compile("^b")) # 正則表達(dá)式
soup.find_all(["a", "b"]) ?#傳入列表參數(shù)，找到所有的a標(biāo)簽和b標(biāo)簽
soup.find_all(id='link2') ?#傳入id是link2的參數(shù),Beautiful Soup會搜索每個tag的”id”屬性
soup.find_all(href=re.compile("elsie")) #傳入正則表達(dá)式，查找所有的href標(biāo)簽內(nèi)容中含有 elsie 的內(nèi)容
soup.find_all(href=re.compile("elsie"), id='link1') # 多層過濾，除了href進行限定之外，對id標(biāo)簽的內(nèi)容也做了限定
soup.find_all("div", class_="sister") #最常用的查找技巧，這里之所以加‘_=’是因為‘class’不僅是html中的tag，也是python語法的關(guān)鍵詞，其他的不用加下劃線
data_soup.find_all(attrs={"data-foo": "value"}) # 針對html5里面的data- 進行的專項查找
soup.find_all(text="Elsie") # 對text內(nèi)容進行查找
soup.find_all(text=["Tillie", "Elsie", "Lacie"]) # 列表形式進行查找，與上面name類似
soup.find_all(text=re.compile("Dormouse")) # 正則表達(dá)式形式，與上面類似
soup.find_all("a", limit=2) # 找到前兩個a標(biāo)簽， limit用來限定次數(shù)(
還有一個select()函數(shù)比較有用，基本用法如下：
# 我們在寫 CSS 時，標(biāo)簽名不加任何修飾，類名前加點，id名前加 #，在這里我們也可以利用類似的方法來篩選元素，用到的方法是soup.select()，返回類型是list
（1）通過標(biāo)簽名查找
soup.select('title')
（2）通過類名查找
soup.select('.sister')
（3）通過 id 名查找
soup.select('#link1')
（4）組合查找
組合查找即和寫 class 文件時，標(biāo)簽名與類名、id名進行的組合原理是一樣的，例如查找 p 標(biāo)簽中，id 等于 link1的內(nèi)容，二者需要用空格分開
soup.select('p #link1')
（5）屬性查找
查找時還可以加入屬性元素，屬性需要用中括號括起來，注意屬性和標(biāo)簽屬于同一節(jié)點，所以中間不能加空格，否則會無法匹配到。
soup.select('a[class="sister"]')
soup.select('a[)
get_text()方法可以用來獲取內(nèi)容，請看下面代碼：
soup = BeautifulSoup(html.text, 'lxml')
print (type(soup.select('title')))
print (soup.select('title')[0].get_text()) ?# 獲取第一個title標(biāo)簽的對應(yīng)內(nèi)容
for title in soup.select('title'):
? ? ? ? ? ?print (title.get_text()) # 獲取列表中的title對應(yīng)內(nèi)容
好了，BeautifulSoup的用法基本介紹到這里，除了速度上比較雞肋之外，BeautifulSoup的查找方法做到了堪稱人性化，給人以非常直觀的語義理解。
（二）Xpath的介紹和用法
XPath 是一門在 XML 文檔中查找信息的語言。XPath 可用來在 XML 文檔中對元素和屬性進行遍歷。結(jié)構(gòu)關(guān)系包括 父、子、兄弟、先輩、后代等。
這里主要參考這篇博文：
表達(dá)式 ? ? ? ? ? ? ? ? ? ? ? ? 功能描述
nodename ? ? ? 選取此節(jié)點的所有子節(jié)點。
/ ? ? ? ? ? ? ? ? ? ? ? ?從根節(jié)點選取。
// ? ? ? ? ? ? ? ? ? ? ? 從匹配選擇的當(dāng)前節(jié)點選擇文檔中的節(jié)點，而不考慮它們的位置。
. ? ? ? ? ? ? ? ? ? ? ? ?選取當(dāng)前節(jié)點。
.. ? ? ? ? ? ? ? ? ? ? ?選取當(dāng)前節(jié)點的父節(jié)點。
@ ? ? ? ? ? ? ? ? ? ? 選取屬性。
實例
在下面的表格中，我們已列出了一些路徑表達(dá)式以及表達(dá)式的結(jié)果：
路徑表達(dá)式 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 結(jié)果
bookstore ? ? ? ? ? ? ? ? ? ? ? ? ? ?選取 bookstore 元素的所有子節(jié)點。
/bookstore ? ? ? ? ? ? ? ? ? ? ? ? ? 選取根元素 bookstore。注釋：假如路徑起始于正斜杠( / )，則此路徑始 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?終代表到某元素的絕對路徑！
bookstore/book ? ? ? ? ? ? ? ? ?選取屬于 bookstore 的子元素的所有 book 元素。
//book ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?選取所有 book 子元素，而不管它們在文檔中的位置。
bookstore//book ? ? ? ? ? ? ? ?選擇屬于 bookstore 元素的后代的所有 book 元素，而不管它們位于 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?bookstore 之下的什么位置。
//@lang ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 選取名為 lang 的所有屬性。
謂語（Predicates）
謂語用來查找某個特定的節(jié)點或者包含某個指定的值的節(jié)點。謂語被嵌在 方括號 中。
實例
在下面的表格中，我們列出了帶有謂語的一些路徑表達(dá)式，以及表達(dá)式的結(jié)果：
路徑表達(dá)式 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?結(jié) ?果
/bookstore/book[1] ? ? ? ? ? ? ? ? ? ? ? 選取屬于 bookstore 子元素的第一個 book 元素。
/bookstore/book[last()] ? ? ? ? ? ? ? ? 選取屬于 bookstore 子元素的最后一個 book 元素。
/bookstore/book[last()-1] ? ? ? ? ? ? 選取屬于 bookstore 子元素的倒數(shù)第二個 book 元素。
/bookstore/book[position()<3] ? ? 選取最前面的兩個屬于 bookstore 元素的子元素的 book 元素。
//title[@lang] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?選取所有擁有名為 lang 的屬性的 title 元素。
//title[@lang=’eng’] ? ? ? ? ? ? ? ? ? ? ? ?選取所有 title 元素，且這些元素?fù)碛兄禐?eng 的 lang 屬性。
/bookstore/book[price>35.00] ? ? 選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?須大于 35.00。
/bookstore/book[price>35.00]/title ? ? 選取 bookstore 元素中的 book 元素的所有 title 元素，且其中 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 的 price 元素的值須大于 35.00。
路徑表達(dá)式 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?結(jié)果
/bookstore/* ? ? ? ? ? ? ? ? ? 選取 bookstore 元素的所有子元素。
//* ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?選取文檔中的所有元素。
//title[@*] ? ? ? ? ? ? ? ? ? ? ? ?選取所有帶有屬性的 title 元素。
選取若干路徑
通過在路徑表達(dá)式中使用“|”運算符，您可以選取若干個路徑。
實例
在下面的表格中，我們列出了一些路徑表達(dá)式，以及這些表達(dá)式的結(jié)果：
路徑表達(dá)式 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?結(jié)果
//book/title | //book/price ? ? ? ? ? ? ? ? ? ? ? ?選取 book 元素的所有 title 和 price 元素。
//title | //price ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?選取文檔中的所有 title 和 price 元素。
/bookstore/book/title | //price ? ? ? ? ? ? ? ? 選取屬于 bookstore 元素的 book 元素的所有 title 元素，以及 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文檔中所有的 price 元素。
用法簡介：
from lxml import etree
html = etree.parse(html.text)
result = etree.tostring(html, pretty_print=True)
print(result)
（1）獲取所有的標(biāo)簽
result = html.xpath('//li')
（2）獲取標(biāo)簽的所有 class
result = html.xpath('//li/@class')
（3）獲取標(biāo)簽下 href 為 link1.html 的標(biāo)簽
result = html.xpath('//li/a[@href="link1.html"]')
（4）獲取標(biāo)簽下的所有標(biāo)簽
result = html.xpath('//li//span') #因為span 只是在li 標(biāo)簽下面，并不是父子關(guān)系
（5）獲取所有l(wèi)i標(biāo)簽下的a標(biāo)簽中的所有 class的值，
result = html.xpath('//li/a//@class')
（6）獲取最后一個li標(biāo)簽的a標(biāo)簽中的 href
result = html.xpath('//li[last()]/a/@href')
（7）獲取倒數(shù)第二個元素的內(nèi)容
result = html.xpath('//li[last()-1]/a')
print result[0].text
（8）獲取 class 為 bold 的標(biāo)簽名
result = html.xpath('//*[@class="bold"]')
print result[0].tag
通過以上實例的練習(xí)，相信大家對 XPath 的基本用法有了基本的了解。
也可以利用 text 方法來獲取元素的內(nèi)容。
下面是一些在程序中見到的表達(dá)式，大家有興趣的話可以解析一下：
response.xpath('//div[@class="moco-course-wrap"]/a[@target="_blank"]')
找到所有 div 標(biāo)簽下 class 名為moco-course-wrap的類，并且具有target="_blank"的子標(biāo)簽 a標(biāo)簽
box.xpath('.//@href')
找到當(dāng)前節(jié)點下，選取href屬性
box.xpath('.//img/@alt').extract()[0]
找到當(dāng)前節(jié)點下，所有的img標(biāo)簽（不一定是子標(biāo)簽），選取alt屬性，提取文本內(nèi)容
box.xpath('.//@src').extract()[0]
找到當(dāng)前節(jié)點下，所有的src屬性，提取內(nèi)容
box.xpath('.//span/text()').extract()[0].strip()[:-3]
找到當(dāng)前節(jié)點下，所有的span標(biāo)簽下的文本內(nèi)容
box.xpath('.//p/text()').extract()[0].strip()
當(dāng)前節(jié)點下，p標(biāo)簽的文本內(nèi)容
url = response.xpath("http://a[contains(text(),'下一頁')]/@href").extract()
所有包含有 “下一頁” 這個文本內(nèi)容的a標(biāo)簽，提取這個a標(biāo)簽中的href屬性值
爬取糗百CR版的名稱和圖片地址，果然非常好用。
nodes_title = page.xpath('//div[@class="mtitle"]//text()')
print(len(nodes_title))
#8
print(nodes_title[0])
#老板，出個價吧
nodes_imgurl = page.xpath('//div[@style="text-align: center;"]//img/@src')
#http://wx2.sinaimg.cn/mw690/8903e1f3gy1ffq18eskojg20b4069e81.gif
（三）正則表達(dá)式
最為頭痛，最不直觀的正則表達(dá)式，下次再寫吧。
參考博文：
Python爬蟲入門（7）：正則表達(dá)式 ? ? ? ? ? ? ? ? ? 在線正則表達(dá)式測試
今天又鼓搗了幾個小時的正則表達(dá)式，從基礎(chǔ)到應(yīng)用都看了半天，哎，正則表達(dá)式，能少用盡量少用吧，容錯率太低了，一點點錯了位置，可能都獲取不到正確的數(shù)據(jù)。先來看看正則表達(dá)式的基礎(chǔ)吧：
正則表達(dá)式(regular expression)描述了一種字符串匹配的模式（pattern），可以用來檢查一個串是否含有某種子串、將匹配的子串替換或者從某個串中取出符合某個條件的子串等。
構(gòu)造正則表達(dá)式的方法和創(chuàng)建數(shù)學(xué)表達(dá)式的方法一樣。也就是用多種元字符與運算符可以將小的表達(dá)式結(jié)合在一起來創(chuàng)建更大的表達(dá)式。正則表達(dá)式的組件可以是單個的字符、字符集合、字符范圍、字符間的選擇或者所有這些組件的任意組合。
正則表達(dá)式是由普通字符（例如字符 a 到 z）以及特殊字符（稱為"元字符"）組成的文字模式。模式描述在搜索文本時要匹配的一個或多個字符串。正則表達(dá)式作為一個模板，將某個字符模式與所搜索的字符串進行匹配。
普通字符
普通字符包括沒有顯式指定為元字符的所有可打印和不可打印字符。這包括所有大寫和小寫字母、所有數(shù)字、所有標(biāo)點符號和一些其他符號。
非打印字符
非打印字符也可以是正則表達(dá)式的組成部分。下表列出了表示非打印字符的轉(zhuǎn)義序列：
字符 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 描 ?述
\cx ? ? ? ? 匹配由x指明的控制字符。例如， \cM 匹配一個 Control-M 或回車符。x 的值必須為 A-Z 或 ? ? ? ? ? ? ? ? a-z 之一。否則，將 c 視為一個原義的 'c' 字符。
\f ? ? ? ? ? ?匹配一個換頁符。等價于 \x0c 和 \cL。
\n ? ? ? ? ? 匹配一個換行符。等價于 \x0a 和 \cJ。
\r ? ? ? ? ? ?匹配一個回車符。等價于 \x0d 和 \cM。
\s ? ? ? ? ? ?匹配任何空白字符，包括空格、制表符、換頁符等等。等價于 [ \f\n\r\t\v]。
\S ? ? ? ? ? ?匹配任何非空白字符。等價于 [^ \f\n\r\t\v]。
\t ? ? ? ? ? ? ?匹配一個制表符。等價于 \x09 和 \cI。
\v ? ? ? ? ? ? 匹配一個垂直制表符。等價于 \x0b 和 \cK。
特殊字符
所謂特殊字符，就是一些有特殊含義的字符。若要匹配這些特殊字符，必須首先使字符"轉(zhuǎn)義"，即，將反斜杠字符\放在它們前面。下表列出了正則表達(dá)式中的特殊字符：
特別字符描述
$ ? ? ? ? ? ? ? ? ? ? ?匹配輸入字符串的結(jié)尾位置。如果設(shè)置了 RegExp 對象的 Multiline 屬性，則 $ 也匹配 '\n' 或 '\r'。要匹配 $ 字符本身，請使用 \$。
( ) ? ? ? ? ? ? ? ? ? ? 標(biāo)記一個子表達(dá)式的開始和結(jié)束位置。子表達(dá)式可以獲取供以后使用。要匹配這些字符，請使用 \( 和 \)。
* ? ? ? ? ? ? ? ? ? ? ? ?匹配前面的子表達(dá)式零次或多次。要匹配 * 字符，請使用 \*。
+ ? ? ? ? ? ? ? ? ? ? ? 匹配前面的子表達(dá)式一次或多次。要匹配 + 字符，請使用 \+。
. ? ? ? ? ? ? ? ? ? ? ? ? 匹配除換行符 \n 之外的任何單字符。要匹配 . ，請使用 \. 。
[ ? ? ? ? ? ? ? ? ? ? ? ? 標(biāo)記一個中括號表達(dá)式的開始。要匹配 [，請使用 \[。
? ? ? ? ? ? ? ? ? ? ? ? ?匹配前面的子表達(dá)式零次或一次，或指明一個非貪婪限定符。要匹配 ? 字符，請使 ? ? ? ? ? ? ? ? ? ? ? ? ? 用 \?。
\ ? ? ? ? ? ? ? ? ? ? ? ? ?將下一個字符標(biāo)記為或特殊字符、或原義字符、或向后引用、或八進制轉(zhuǎn)義符。例 ? ? ? ? ? ? ? ? ? ? ? ? ? ?如， 'n' 匹配字符 'n'。'\n' 匹配換行符。序列 '\\' 匹配 "\"，而 '\(' 則匹配 "("。
^ ? ? ? ? ? ? ? ? ? ? ? ? ?匹配輸入字符串的開始位置，除非在方括號表達(dá)式中使用，此時它表示不接受該字 ? ? ? ? ? ? ? ? ? ? ? ? ? ?符集合。要匹配 ^ 字符本身，請使用 \^。
{ ? ? ? ? ? ? ? ? ? ? ? ? ?標(biāo)記限定符表達(dá)式的開始。要匹配 {，請使用 \{。
| ? ? ? ? ? ? ? ? ? ? ? ? ? 指明兩項之間的一個選擇。要匹配 |，請使用 \|。
限定符
限定符用來指定正則表達(dá)式的一個給定組件必須要出現(xiàn)多少次才能滿足匹配。有*或+或?或{n}或{n,}或{n,m}共6種。
正則表達(dá)式的限定符有：
字符 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?描述
* ? ? ? ? ? ? ? ? ? ? ? ?匹配前面的子表達(dá)式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等價于{0,}。
+ ? ? ? ? ? ? ? ? ? ? ? 匹配前面的子表達(dá)式一次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等價于 {1,}。
? ? ? ? ? ? ? ? ? ? ? ? ?匹配前面的子表達(dá)式零次或一次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等價于 {0,1}。
{n} ? ? ? ? ? ? ? ? ? ? ?n 是一個非負(fù)整數(shù)。匹配確定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的兩個 o。
{n,} ? ? ? ? ? ? ? ? ? ? n 是一個非負(fù)整數(shù)。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等價于 'o+'。'o{0,}' 則等價于 'o*'。
{n,m} ? ? ? ? ? ? ? ? ?m 和 n 均為非負(fù)整數(shù)，其中n <= m。最少匹配 n 次且最多匹配 m 次。例 ? ? ? ? ? ? ? ? 如，"o{1,3}" 將匹配 "fooooood" 中的前三個 o。'o{0,1}' 等價于 'o?'。請注意在逗號和兩個數(shù)之間不能有空格。
定位符
定位符使您能夠?qū)⒄齽t表達(dá)式固定到行首或行尾。它們還使您能夠創(chuàng)建這樣的正則表達(dá)式，這些正則表達(dá)式出現(xiàn)在一個單詞內(nèi)、在一個單詞的開頭或者一個單詞的結(jié)尾。
定位符用來描述字符串或單詞的邊界，^和$分別指字符串的開始與結(jié)束，span class="marked">\b 描述單詞的前或后邊界，span class="marked">\B 表示非單詞邊界。
正則表達(dá)式的限定符有：
字符描述
^ ? ? ? ? ? ? ? ? ? ? ? ? 匹配輸入字符串開始的位置。如果設(shè)置了 RegExp 對象的 Multiline 屬性，^ 還會與 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?\n 或 \r 之后的位置匹配。
$ ? ? ? ? ? ? ? ? ? ? ? ?匹配輸入字符串結(jié)尾的位置。如果設(shè)置了 RegExp 對象的 Multiline 屬性，$ 還會與 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?\n 或 \r 之前的位置匹配。
\b ? ? ? ? ? ? ? ? ? ? ? ?匹配一個字邊界，即字與空格間的位置。
\B ? ? ? ? ? ? ? ? ? ? ? ?非字邊界匹配。
反義字符
有時需要查找不屬于某個能簡單定義的字符類的字符。比如想查找除了數(shù)字以外，其它任意字符都行的情況，這時需要用到反義：
常用的反義代碼
代碼/語法 ? ? ? ? ? ? ? ? ? ? ? ? ? 說明
\W ? ? ? ? ? ? ? ? ? ? ? ?匹配任意不是字母，數(shù)字，下劃線，漢字的字符
\S ? ? ? ? ? ? ? ? ? ? ? ? 匹配任意不是空白符的字符
\D ? ? ? ? ? ? ? ? ? ? ? ? 匹配任意非數(shù)字的字符
\B ? ? ? ? ? ? ? ? ? ? ? ? ?匹配不是單詞開頭或結(jié)束的位置
[^x] ? ? ? ? ? ? ? ? ? ? ? ?匹配除了x以外的任意字符
[^aeiou] ? ? ? ? ? ? ? ?匹配除了aeiou這幾個字母以外的任意字符
例子：\S+匹配不包含空白符的字符串。
]+>匹配用尖括號括起來的以a開頭的字符串。
舉個例子，學(xué)習(xí)一下：
var str = "https://www.runoob.com:80/html/html-tutorial.html";
var patt1 = /(\w+):\/\/([^/:]+)(:\d*)?([^# ]*)/;
arr = str.match(patt1);
for (var i = 0; i < arr.length ; i++)
{ ? ?document.write(arr[i]); ? ?
? ? ? ? ? ? ? document.write(" ?br ?");
}
第一個括號子表達(dá)式捕獲 Web 地址的協(xié)議部分。該子表達(dá)式匹配在冒號和兩個正斜杠前面的任何單詞。
第二個括號子表達(dá)式捕獲地址的域地址部分。子表達(dá)式匹配 / 和 : 之外的一個或多個字符。
第三個括號子表達(dá)式捕獲端口號（如果指定了的話）。該子表達(dá)式匹配冒號后面的零個或多個數(shù)字。只能重復(fù)一次該子表達(dá)式。
最后，第四個括號子表達(dá)式捕獲 Web 地址指定的路徑和 / 或頁信息。該子表達(dá)式能匹配不包括 # 或空格字符的任何字符序列。
將正則表達(dá)式應(yīng)用到上面的 URI，各子匹配項包含下面的內(nèi)容：
第一個括號子表達(dá)式包含"http"
第二個括號子表達(dá)式包含"www.runoob.com"
第三個括號子表達(dá)式包含":80"
第四個括號子表達(dá)式包含"/html/html-tutorial.html"
在html中查找，在每一行的結(jié)尾，都要加上一個\s*進行匹配，\s匹配非空白字符，從上一行末尾到下一行的起始中間，有可能是換行符，有可能是制表符，有可能一個或者多個，都可以用\s*進行匹配。
來上幾個例子吧，大家可以試著破解一下，我覺得盡量還是不要用正則，或者是配合著BeautifulSoup用正則，的確是比較坑。
這個是好不容易測試成功的第一個自己寫的正則表達(dá)式，發(fā)現(xiàn)用正則的時候，不敢越級查找，哪怕子節(jié)點里面沒有我們需要的數(shù)據(jù)，也要用.*?來把這個內(nèi)容表示出來，上面這個式子這么一大堆，其實只是提取了我們需要的兩個數(shù)據(jù)而已， 發(fā)帖作者和圖片地址，如果用soup去查找，那是相當(dāng)清楚明白。
后來又試了一下，好像也不要，關(guān)鍵是后面的re.S，連同‘\n’這個換行字符考慮進去，要不然在html.text里面，各種換行符，確實是無從查找。
result 本身是list類型的，而它的分量 result[0]是元組（tuple）類型的，即不可更改的列表。這些提取出來的信息，被保存或者重組，然后進行下一步的處理。或者item代替result比較好，因為更加貼近scrapy的用法。(item是scrapy里面的一個類，用來保存提取出的信息，結(jié)構(gòu)類型為字典）
參考文獻：
（四）總結(jié)
通過寫這篇博文，對于html網(wǎng)頁數(shù)據(jù)的三種查找方法進行了重溫和了解，其中正則表達(dá)式耗時最多，總是出現(xiàn)這樣那樣的問題，當(dāng)解決之后，還是比較有成就感的。xpath也并不太難用，介于soup和正則表達(dá)式之間吧，甚至某些時候比soup還要方便一些。
tips：
（1）在Xpath查找中，//代表所有 /代表子節(jié)點， ?如果越級查找的話，要用// ，如果沒有越級的話，/比較合適
（2）正則表達(dá)式中，可以分開寫每個要提取的信息，最后再合在一起，要不然太長了。如果非要寫在一起，建議每一個（.*?）占據(jù)一行，做好標(biāo)注，要不出錯了很難排錯的。
