1.Scrapy的命令行命令
- 創建一個Scrapy工程
終端輸入:
scrapy startproject <project_name> [project_dir]
//在project_dir下創建一個Scrapy項目,如果project_dir省略的話,
//會創建一個和<project_name>同名的文件夾內,項目放在當前的文件路徑下
- PyCharm 下直接運行 Scrapy
Scrapy提供了一個cmdline模塊,使Python的模塊直接可以運行命令行
方法如下:
在目錄的頂層(非必須,主要是為了和業務代碼分開),單獨創建main.py文件.直接運行該文件, exampleName替換為你的Spider的名字 ,即 你的spider的name屬性的內容
main.py文件內容如下
# -*- coding=utf8 -*-from scrapy import
from scrapy import cmdline
cmdline.execute("scrapy crawl exampleName".split())
2.目錄分類:
* 模擬登陸
* XPath和CSS的選擇器的使用
* Scrapy整體運行流程
* Python的setter和getter方法的創建
* Scrapy如何管理Request隊列
* item pipeline的使用
* Request
* 驗證碼識別
2.1 模擬登陸
1.如何快速定位POST的數據格式
```
1.使用抓包工具進行解析
```
2.表單數據的Scrapy的數據提交和回調
def start_requests(self):
""" 登陸頁面 獲取xrsf """
return [Request( "https://www.zhihu.com/#signin", \
meta={'cookiejar': 1},\
callback=self.post_login\
)]
//Scrapy 通過start_requests方法返回Request的請求list來進行請求,
//通過callback參數來確定回調方法,默認的回調方法是 parser.
//如果不重寫start_requests方法,那就必須要提供start_urls 類的變量,
//官方說法是start_urls如果為空才調用start_requests方法生成請Request
//但是我測試的時候是start_requests會覆蓋掉start_urls的請求列表
不同回調方法官方示例:
import scrapy
class AuthorSpider(scrapy.Spider):
name = 'author'
start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
# follow links to author pages
for href in response.css('.author+a::attr(href)').extract():
yield scrapy.Request(response.urljoin(href),
callback=self.parse_author)
# follow pagination links
next_page = response.css('li.next a::attr(href)').extract_first()
if next_page is not None:
next_page = response.urljoin(next_page)
yield scrapy.Request(next_page, callback=self.parse)
def parse_author(self, response):
def extract_with_css(query):
return response.css(query).extract_first().strip()
yield {
'name': extract_with_css('h3.author-title::text'),
'birthdate': extract_with_css('.author-born-date::text'),
'bio': extract_with_css('.author-description::text'),
}
2.2XPath和CSS的選擇器的使用
1.XPath和CSS的語法
詳情看專門章節
2.XPath和CSS選擇器
scrapy官方建議采用XPath選擇器,因為CSS選擇器的底層也是采用的XPath實現的.
response.css("xxx")
// 該方法返回一個類似list的SelectorList對象.
response.css('title::text').extract()
//直接獲取text便簽下的內容
response.css('title::text').extract_first()
和response.css('title::text')[0].extract() 是相同功能.但extract_first(),在訪問的對象不存在是返回None,但后者卻是直接拋出異常.
response.css('title::text').re(r'Quotes.*')
response.css('title::text').re(r'(\w+) to (\w+)')
// re( )方法可以通過正則表達式,獲取需要的對象.
CSS和XPath可以相互轉換
from scrapy import Selector
sel = Selector(text='<div class="hero shout"><div class="mmm">dffdf</div><time datetime="2014-07-23 19:00">Special date</time></div>')
print(sel.css('.shout').xpath('./time/@datetime').extract())
print(sel.xpath('.//div')[1].css('.mmm').extract())
輸出:
['2014-07-23 19:00']
['<div class="mmm">dffdf</div>']
2.3item pipeline的使用
1 . item
item 類提供了一個類似dict的API ,用來提取/存儲數據.也就是說你可以把它當做dict來用.
聲明方法:
import scrapy
class Product(scrapy.Item):
name = scrapy.Field()
price = scrapy.Field()
stock = scrapy.Field()
last_updated = scrapy.Field(serializer=str)
//Field()簡單理解為初始化方法
創建方法:
product = Product(name='Desktop PC', price=1000)
print product
#Product(name='Desktop PC', price=1000)
值獲取:
>>> product['name']
Desktop PC
>>> product.get('name')
Desktop PC
>>> product['price']
1000
>>> product['last_updated']Traceback (most recent call last):
...
KeyError: 'last_updated'>>> product.get('last_updated', 'not set')
not set
>>> product['lala'] # getting unknown fieldTraceback (most recent call last):
...
KeyError: 'lala'
>>> product.get('lala', 'unknown field')
'unknown field'
>>> 'name' in product # is name field populated?
True
>>> 'last_updated' in product # is last_updated populated?
False
>>> 'last_updated' in product.fields # is last_updated a declared field?
True
快速賦值:
>>> product2 = Product
(product)
>>> print product2Product
(name='Desktop PC', price=1000)
>>> product3 = product2.copy()
>>> print product3Product
(name='Desktop PC', price=1000)
ItemLoaders 提供解析是快速賦值,有時間再看
2 . Item Pipeline
Pipeline類默認方法
def process_item(self, item, spider)
#這個方法是每一個parse函數(callback)都會調用(必須實現方法)
返回值是后面之中之一:包含數據的字典,Item的類,raise DropItem exception
def open_spider(self, spider)
#爬蟲開始執行時調用
def close_spider(self, spider)
#爬蟲結束時調用
def from_crawler(cls, crawler)
#生成這個單例類用的配置方法,必須返回一個 Crawler 實例
激活 Item Pipeline 模塊
在設置模塊中添加如下代碼:
ITEM_PIPELINES = { 'myproject.pipelines.PricePipeline': 300,
'myproject.pipelines.JsonWriterPipeline': 800,
}
#后面的 300, 800 是調用的優先級,范圍: 0 ~ 1000
* Scrapy如何管理Request隊列
這有一點未弄清楚,就是分析出的URLs再次加入爬取隊列的邏輯.
engine會判斷返回的數據類型(item或者是Requst)分別交給item pipline或者是Scheduler將要請求的列表 詳細看 4.Scrapy整體運行流程
3 . Request
只寫提交表單的FormRequest
import scrapy
class LoginSpider(scrapy.Spider):
name = 'example.com'
start_urls = ['http://www.example.com/users/login.php']
def parse(self, response):
return scrapy.FormRequest.from_response(response, formdata={'username': 'john', 'password': 'secret'}, callback=self.after_login)
def after_login(self, response):
if "authentication failed" in response.body:
self.logger.error("Login failed")
return
# continue scraping with authenticated session...
4. Scrapy整體運行流程
數據流向圖:
Data_flow.png
在Scrapy中,數據流被執行Engine控制著,運行方式如下:
- Engine 從Spider獲取初始化的Requests.
- Engine 把Requests傳遞給Scheduler ,并詢問下一個需要爬取得請求 Requests.
- Scheduler 返回下一個Requests 給 Engine
- Engine 把3中獲得的Requests通過中間件 (
Downloader Middlewares先調用process_request()函數)發送給Downloader. - 當頁面下載完成,Dowenloader會生成一個Response,并把這個Response通過中間件(
Downloader Middlewares先調用process_response()函數)發送給 Engine. - Engine 獲得Dowenloader 生成的Response,然后通過中間件(
Spider Middleware先調用process_spider_input()函數)發送給Spider - Spider 處理這個Response,然后通過中間件(
Spider Middleware先調用process_spider_output()函數)返回抽取生成的items和Reqeusts(網頁中需要爬取得連接生成的請求) - Engine 發送處理過的items給Item Piplines,然后發送 7中生成的請求到Scheduler并詢問下一個需要爬取的請求.
- 重復步驟1 , 直到Scheduler中沒有請求
4.1 中間件
Downloader Middlewares 和Spider Middleware
中間件其實就是個Python的class文件,實現對應的方法并在配置文件中聲明注冊即可
Downloader Middlewares 中間件 :
process_request() :如果要在爬取請求沒有開始前對請求進行處理.可選這個函數
process_response():頁面返回的數據統需要處理,可以選著個函數.
下載中間件使用場景:
- 需要在請求發送到Downloader之前需要處理請求
- 需要在相應被發送給spider之前改變的響應的內容
- 靜默的丟棄一些請求
Spider Middleware 中間件:
process_spider_input() :如果需要在Spider沒有處理Response強處理響應的話,可以調用這個函數
process_spider_output():如果需要在Spider的parse的函數解析后處理數據,可以調用這個函數
Spider Middleware 中間件使用場景:
- 處理spider的callback的返回內容 -改變/添加/移除items或Requests
- 處理開始請求
- 處理spider的異常
- call errback instead of callback for some of the requests based on response content.
激活下載中間件
在配置文件中注冊:
DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.CustomDownloaderMiddleware': 543,
}
Scrapy 中有內建的中間件如下
{
'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddlewar': 300,
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500,
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560,
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware': 830,
'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}
后面的數字是調用順序.你注冊的中間件會按照數值合并到系統默認的表中(也就是上邊的表).
自定義下載中間件需要實現下面的一個或多個方法:
process_request(request, spider)
每一個經過下載中心的請求都會調用這個函數:返回值 可能是None, Response, Request, 或者IgnoreRequest.
* 返回 None: Scrapy會繼續處理這個請求,知道請求結束
* 返回 Response ,Scrapy 不會調用 其他的process_request() or process_exception() 以及下載方法.直接返回 這個Response. 但是 process_response() 什么時候都會被調用
* 返回 Request ,Scrapy 將會停止調用 process_request 方法 并重新安排這個返回的請求.(這個方法未知)
* 返回 IgnoreRequest, process_exception() 方法會被調用.如果沒有被調用,err back方法被調用. 仍然沒有,就會被忽略
process_response(request, response, spider)
返回一個Response 對象,或一個Request 對象,或者拋出一個IgnoreRequest 異常.
返回 Response: 將會被下一個中間件鏈中的 process_response() 處理.
返回 Request : 中間件鏈將會終止,這個請求會被重新安排到下載中心.這個行為類似process_request()的返回Request.
返回 IgnoreRequest: Request.errback 函數會被調用,如果沒有處理這個異常,這個異常將會被忽略并且不會有log輸出(不同于其他的異常).
激活請求中間件
方法和下載中間件類似,在配置文件中注冊
SPIDER_MIDDLEWARES = { 'myproject.middlewares.CustomSpiderMiddleware': 543,
}
process_spider_input(response, spider)
每一個請求響應在返回Spider被處理之前調用這個方法. 方法返回 None 或拋出一個異常.
返回 None : Scrapy 繼續執行余下流程
拋出一個異常: Scrapy 將終止調用其他的 spider 中間件的 process_spider_input
方法,并調用 request errback函數. 這個err back 函數返回的結果會被
process_spider_output() 函數處理,如果err back也拋出一個異常.
,則process_spider_exception()函數會被調用.
process_spider_output(response, result, spider)
這個方法會在response被spider處理后調用.
process_spider_output() 必須返回一個Request, dict or Item objects
process_spider_exception(response, exception, spider)
當 一個spider 或者process_spider_input()(來自其他spider的中間件) 方法拋出一個異常
process_spider_exception() 應該返回一個 None 或一個可迭代的 Response, dict 或Item objects.
返回 None :Scrapy 繼續處理這個異常.執行余下流程中的其他的中間件process_spider_exception() 函數,直到沒有中間件.最終這個異常會到達engine(將會有log)
返回一個可迭代的對象: 異常鏈終止
Spider Middleware 內建中間件
{
'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}
