上次挖了一個坑，今天終于填上了，還記得之前我們做的拉勾爬蟲嗎？那時我們實現了一頁的爬取，今天讓我們再接再厲，實現多頁爬取，順便實現職位和公司的關鍵詞搜索功能。

之前的內容就不再介紹了，不熟悉的請一定要去看之前的文章，代碼是在之前的基礎上修改的

【圖文詳解】scrapy爬蟲與動態頁面——爬取拉勾網職位信息（1）

開始

還是回到我們熟悉的頁面，這里，我們熟練的打開了Newwork標簽，我們點下一頁，看會出來什么結果

果然還是跳出來一個頁面，但是貌似。。網址一樣，我打開看一下

和之前不一樣也！

一樣的網址，結果不一樣的結果，這怎么可能！！小伙伴是不是也和我一樣，一臉懵B!

別急，我們繼續看看別的信息
在preview我們看到了Pageno.2 說明確實不是同樣的內容

看看Header

我們繼續看header，貌似發現了不起的東西。

這個pn不就是pageno的簡寫嗎？（什么，你怎么不知道有這個縮寫？）我們可以再打開一個網頁看看，事實證明，我是對的。

好的，我們現在知道頁碼信息在這里了，那要怎么把這個信息附加上呢？？

Get or Post??

我們知道網頁有兩種方式傳輸數據，get和post，get是把需要傳輸的數據寫到URL上，用戶可以直觀看見，就是我們之前一直使用的（比如搜索城市，工作經驗，學歷什么的）。post是通過HTTP post機制，將表單內各個字段與其內容放置在HTML HEADER內一起傳送到ACTION屬性所指的URL地址。用戶看不到這個過程。

scrapy實現post

看來我們得想辦法用scrapy實現post了。
如果你還記得我們之前講request的時候講了request是可以輕松實現post的，那scrapy有request嗎？毫無疑問是有的。我們在文檔中找到了一個叫FormRequest的對象，它能實現post功能，并給出了例子

我們在我們的之前代碼中的class中加入一個start_requests函數

def start_requests(self):
        return [scrapy.http.FormRequest('http://www.lagou.com/jobs/positionAjax.json?px=new&city=%E5%8C%97%E4%BA%AC',
                                        formdata={'pn':'2'},callback=self.parse)]

運行一下，出錯了，才發現，原來目前拉勾的json結構改了，中間加了一個positionResult

修改代碼：

        jcontent = jdict["content"]
        jposresult = jcontent["positionResult"]
        jresult = jposresult["result"]

再運行一下，和第2頁的一致，說明成功了

這里再說下，如果你在關鍵詞里搜索，你會發現鏈接也不會變化，說明什么？？說明也是用的post，比如我搜索大數據，可以看到kd變成了大數據，所以我們也可以構造特定關鍵詞的爬蟲了。

實現自動翻頁

我們只要能控制pn就行了，我們新增一個變量curpage讓它運行一次自加1，然后我們還是用之前的yield的方法

if self.curpage <= self.totalPageCount:
    self.curpage += 1
yield scrapy.http.FormRequest('http://www.lagou.com/jobs/positionAjax.json?px=new&city=%E5%8C%97%E4%BA%AC',                                        formdata={'pn':str(self.curpage)},callback=self.parse)

要說明的是，之前json文件里是有個totalPageCount屬性的，目前沒了！所以不能直接從json文件中獲取頁數信息了，怎么辦呢？如果你要細心觀察就可以發現有個totalCount屬性，你做實驗可以發現，每頁都是15個，頁數就是totalCount/15取整，如果頁數大于30，只顯示30頁。

  self.totalPageCount = jposresult['totalCount'] /15;
        if  self.totalPageCount > 30:
            self.totalPageCount = 30;

這里我們爬所有北京有關“大數據”的工作

 formdata={'pn':str(self.curpage),'kd':'大數據'}

好了大工告成！享受你的成果吧！！

這個工程我上傳到了github，有興趣的同學可以下載下來看看：
https://github.com/hk029/LagouSpider