這是簡(jiǎn)易數(shù)據(jù)分析系列的第 5 篇文章。
原文首發(fā)于博客園：Web Scraper 翻頁(yè)——控制鏈接批量抓取數(shù)據(jù)
上篇文章我們爬取了豆瓣電影 TOP250 前 25 個(gè)電影的數(shù)據(jù)，今天我們就要在原來(lái)的 Web Scraper 配置上做一些小改動(dòng)，讓爬蟲把 250 條電影數(shù)據(jù)全部爬取下來(lái)。
前面我們同時(shí)說(shuō)了，爬蟲的本質(zhì)就是找規(guī)律，當(dāng)初這些程序員設(shè)計(jì)網(wǎng)頁(yè)時(shí)，肯定會(huì)依循一些規(guī)則，當(dāng)我們找到規(guī)律時(shí)，就可以預(yù)測(cè)他們的行為，達(dá)到我們的目的。
今天我們就找找豆瓣網(wǎng)站的規(guī)律，想辦法抓取全部數(shù)據(jù)。今天的規(guī)律就從常常被人忽略的網(wǎng)址鏈接開(kāi)始。
1.鏈接分析
我們先看看第一頁(yè)的豆瓣網(wǎng)址鏈接：
-
https://movie.douban.com這個(gè)很明顯就是個(gè)豆瓣的電影網(wǎng)址，沒(méi)啥好說(shuō)的 -
top250這個(gè)一看就是網(wǎng)頁(yè)的內(nèi)容，豆瓣排名前 250 的電影，也沒(méi)啥好說(shuō)的 -
?后面有個(gè)start=0&filter=，根據(jù)英語(yǔ)提示來(lái)看，好像是說(shuō)篩選（filter），從 0 開(kāi)始（start）
再看看第二頁(yè)的網(wǎng)址鏈接，前面都一樣，只有后面的參數(shù)變了，變成了 start=25，從 25 開(kāi)始；
我們?cè)倏纯吹谌?yè)的鏈接，參數(shù)變成了 start=50，從 50 開(kāi)始；
分析 3 個(gè)鏈接我們很容易得出規(guī)律：
start=0，表示從排名第 1 的電影算起，展示 1-25 的電影
start=25，表示從排名第 26 的電影算起，展示 26-50 的電影
start=50，表示從排名第 51 的電影算起，展示 51-75 的電影
…...
start=225，表示從排名第 226 的電影算起，展示 226-250 的電影
規(guī)律找到了就好辦了，只要技術(shù)提供支持就行。隨著深入學(xué)習(xí)，你會(huì)發(fā)現(xiàn) Web Scraper 的操作并不是難點(diǎn)，最需要思考的其實(shí)還是這個(gè)找規(guī)律。
2.Web Scraper 控制鏈接參數(shù)翻頁(yè)
Web Scraper 針對(duì)這種通過(guò)超鏈接數(shù)字分頁(yè)獲取分頁(yè)數(shù)據(jù)的網(wǎng)頁(yè)，提供了非常便捷的操作，那就是范圍指定器。
比如說(shuō)你想抓取的網(wǎng)頁(yè)鏈接是這樣的：
http://example.com/page/1http://example.com/page/2http://example.com/page/3
你就可以寫成 http://example.com/page/[1-3]，把鏈接改成這樣，Web Scraper 就會(huì)自動(dòng)抓取這三個(gè)網(wǎng)頁(yè)的內(nèi)容。
當(dāng)然，你也可以寫成 http://example.com/page/[1-100]，這樣就可以抓取前 100 個(gè)網(wǎng)頁(yè)。
那么像我們之前分析的豆瓣網(wǎng)頁(yè)呢？它不是從 1 到 100 遞增的，而是 0 -> 25 -> 50 -> 75 這樣每隔 25 跳的，這種怎么辦？
http://example.com/page/0http://example.com/page/25http://example.com/page/50
其實(shí)也很簡(jiǎn)單，這種情況可以用 [0-100:25] 表示，每隔 25 是一個(gè)網(wǎng)頁(yè)，100/25=4，爬取前 4 個(gè)網(wǎng)頁(yè)，放在豆瓣電影的情景下，我們只要把鏈接改成下面的樣子就行了；
https://movie.douban.com/top250?start=[0-225:25]&filter=
這樣 Web Scraper 就會(huì)抓取 TOP250 的所有網(wǎng)頁(yè)了。
3.抓取數(shù)據(jù)
解決了鏈接的問(wèn)題，接下來(lái)就是如何在 Web Scraper 里修改鏈接了，很簡(jiǎn)單，就點(diǎn)擊兩下鼠標(biāo)：
1.點(diǎn)擊 Stiemaps，在新的面板里點(diǎn)擊 ID 為 top250 的這列數(shù)據(jù)；
2.進(jìn)入新的面板后，找到 Stiemap top250 這個(gè) Tab，點(diǎn)擊，再點(diǎn)擊下拉菜單里的 Edit metadata；
3.修改原來(lái)的網(wǎng)址，圖中的紅框是不同之處：
修改好了超鏈接，我們重新抓取網(wǎng)頁(yè)就好了。操作和上文一樣，我這里就簡(jiǎn)單復(fù)述一下：
- 點(diǎn)擊
Sitemap top250下拉菜單里的Scrape按鈕 - 新的操作面板的兩個(gè)輸入框都輸入 2000
- 點(diǎn)擊
Start scraping藍(lán)色按鈕開(kāi)始抓取數(shù)據(jù) - 抓取結(jié)束后點(diǎn)擊面板上的
refresh藍(lán)色按鈕，檢測(cè)我們抓取的數(shù)據(jù)
如果你操作到這里并抓取成功的話，你會(huì)發(fā)現(xiàn)數(shù)據(jù)是全部抓取下來(lái)了，但是順序都是亂的。
我們這里先不管順序問(wèn)題，因?yàn)檫@個(gè)屬于數(shù)據(jù)清洗的內(nèi)容了，我們現(xiàn)在的專題是數(shù)據(jù)抓取。先把相關(guān)的知識(shí)點(diǎn)講完，再攻克下一個(gè)知識(shí)點(diǎn)，才是更合理的學(xué)習(xí)方式。
這期講了通過(guò)修改超鏈接的方式抓取了 250 個(gè)電影的名字。下一期我們說(shuō)一些簡(jiǎn)單輕松的內(nèi)容換換腦子，講講 Web Scraper 如何導(dǎo)入別人寫好的爬蟲文件，導(dǎo)出自己寫好的爬蟲軟件。
