靜態頁面的爬取相對來說比較容易，通過請求獲取到靜態頁面資源進行解析就可以拿到我們想要的，但很多網站通常會用到Ajax和動態HTML技術，因而只是使用基于靜態頁面爬取的方法是行不通的。
對于動態頁面信息的爬取，一般分為兩種方法:
1.一種是直接從異步請求中采集數據、需要自己去手動分析異步請求的規律，然后模擬出對應的請求進行采集
2.另一種是直接通過selenium+webdriver從瀏覽器中采集已經加載好的數據
因為有些網站是通過js代碼動態生成的內容比如搜索引擎
所有異步請求中根本沒有返回json等可以識別的數據包，很顯然采用了動態HTML技術
我們只能通過selenium和webdriver來模擬瀏覽器行為來進行采集
準備工作
1.python環境3.x
2.安裝selenium依賴
3.下載webdriver（本文以Chrome瀏覽器的driver為例）
以上環境安裝不再贅述
模擬瀏覽器
我們來爬取百度搜索"hello"的查詢結果
1.加載瀏覽器
driver = webdriver.Chrome("C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe")
2.打開百度首頁
driver.get("http://www.baidu.com")
3.輸入hello并點擊提交
driver.find_element_by_id('kw').send_keys('hello')
driver.find_element_by_id('kw').submit()
4.根據xpath提取內容
shopName = driver.find_element_by_xpath(".//*[@id='"+str(i)+"']/h3/a").text
print( shopName)
完整代碼
from selenium import webdriver
import time
# 將控制的webdriver的Firefox賦值給driver；獲得了瀏覽器對象才可以啟動瀏覽器，打開網址，操作頁面
driver = webdriver.Chrome("C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe")
# 獲得瀏覽器對象后，通過get()方法，可以向瀏覽器發送網址
driver.get("http://www.baidu.com")
#等待打開網頁2S
time.sleep(2)
# 這里通過 id = kw 定位到搜索框，并通過鍵盤方法send_keys向輸入框里輸入'hello'并提交
driver.find_element_by_id('kw').send_keys('hello')
driver.find_element_by_id('kw').submit()
time.sleep(3)
# 循環采集內容
for i in range(1,12):
try:
shopName = driver.find_element_by_xpath(".//*[@id='"+str(i)+"']/h3/a").text
print( shopName)
except:
h=1
#采集完成關閉瀏覽器
driver.close()
最后
理論上來講，這種方法可以應對各種動態加載，因為模擬人對瀏覽器行為，所以一些登錄什么的都可以進行模擬，模擬的核心在于selenium
Selenium是一種自動化測試工具，Selenium 測試直接在瀏覽器中運行，就像真實用戶所做的一樣。Selenium 測試可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Chrome和 Firefox 中運行。其他測試工具都不能覆蓋如此多的平臺。
上述方式有兩個缺點：
1.每次執行都要打開桌面上的Chrome瀏覽器（自動化測試需要）
2.瀏覽器的各個操作步驟都需要sleep幾秒進行等待，效率低
解決這兩個問題的具體辦法可以參考這篇爬取動態網頁python+Web kit
