一. BeautifulSoup簡介
通過BeautifulSoup可以方便的獲取結構化的數據。
1.get_text()方法
2.BeautifulSoup的find()和findAll()方法
3.其它BeautifulSoup對象
4.導航樹
1. get_text()方法
在獲取到BeautifulSoup對象后,調用其.get_text()會把該對象里面的所有標簽都全部去掉,以文本字符串的形式返回里面的內容。
2. BeautifulSoup的find()和findAll()方法
findAll(tag,attribute,recursive,text,limit,keywords)
(1)標簽參數tag可以是一個標簽的名稱也可以是一個列表例如查找一個html中的所有標題標簽.findAll(['h1','h2','h3','h4','h5']).findAll('h1')
(2)屬性參數attributes是用一個字典封裝一個標簽的若干屬性和對應的屬性值。返回HTML文檔中里所有的紅色與綠色標簽.findAll("span",{"class":["green","red"]})
(3)遞歸參數recursive是一個布爾變量。True會查找所有的后代標簽False只查找子標簽
(4)文本參數text是對標簽里面的文本內容做匹配。
例如查找標簽中the prince的標簽數量nameList=obj.findAll(text="the prince")printlen(nameList)(5)限制參數limit當指定limit=1,便是find()方法.只返回第一個查找到的對象(6)關鍵字參數keywords如bsObj.findAll(id="text")返回id為text的對象,由于屬性關鍵字可以完全是實現其功能所以不推薦使用該參數,且有時使用該參數時會發生奇怪的錯誤。
3. 其它BeautifulSoup對象
NavigableString對象用來表示標簽里的文字而非標簽Comment對象用來表示HTML文檔的注釋標簽
4. 導航樹
(1)處理子標簽和其他后代標簽children屬性獲取所有子標簽descendant屬性獲取所有后代標簽。
(2)處理兄弟標簽beautifulsoup對象的next_sibings屬性(獲取之后的所有兄弟標簽)加上get_text()方法使得處理表格十分的方便。
(3)處理父標簽parent屬性。
二. 正則表達式與BeautifulSoup
正則表達式可以作為beautifulsoup的語句的任一個參數使用,讓目標元素的查找更加的方便。例如查找圖片中的src屬性值以../img/gifts/img開頭,以.jpg結尾。需要注意的是，各種環境下的正則表達式是不同的。
images = bsObj.findAll("img":
{"src":re.compile("\.\.\/img\/gifts/img.*\.jpg")})
三. 獲取屬性
獲取一個標簽對象的全部屬性返回一個字典，且對象的屬性值為列表的形式
myTag.attrs ? ?獲取某一個屬性
myTag.attrs["someAttr"][0]
四. Lambda表達式
BeautifulSoup允許我們把一個lambda表達式當做findAll函數的參數。唯一的限制條件是必須把一個標簽作為參數且返回的結果是布爾類型。beautifulsoup用這個函數來判斷它遇到的每一個標簽對象，最后把評估結果為“真”的標簽保留,把其他標簽去除。
例如： 獲取有兩個屬性的標簽
bsobj.findAll(lambda tag: len(tag.attrs)==2)
五. 類似的BeautifulSoup庫
l1.xml
和beautifulsoup一樣優秀,里面的xpath甚至比beautifulsoup還要快速方便,并且xpath里面的路徑可以直接通過chrome來獲取。
2.PyQuery
pyquery 可讓用jQuery的語法來對xml進行操作。非常像jQuery API而已。
3.HTML parser
python自帶的解析庫,不用安裝可以直接使用。
