scrapy簡介：
scrapy是一個基于Twisted的異步處理框架，是純python實現的爬蟲框架，其架構清晰，模塊之間的耦合程度低，可擴展性極強。可以靈活的完成各種需求。我們只要定制開發幾個模塊就可以輕松的實現一個爬蟲！
!!!擴展:
Twisted是用Python實現的基于事件驅動的網絡引擎框架，Twisted支持許多常見的傳輸及應用層協議，包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一樣，Twisted也具有“內置電池”（batteries-included）的特點。Twisted對于其支持的所有協議都帶有客戶端和服務器實現，同時附帶有基于命令行的工具，使得配置和部署產品級的Twisted應用變得非常方便。
scrapy的架構介紹：
engine：引擎，處理整個系統的數據流處理，觸發事務、是整個框架的核心。
item：項目，它定義了爬取結果的數據結構，爬取的數據結構會被賦值成Item對象
Scheduler：調度器，接受引擎發過來的請求并將其加入隊列當中，在引擎再次請求的時候將請求提供給引擎
Downloader：下載器, 下載網頁內容返回給蜘蛛（spiders）。
Spider（爬蟲）：它負責處理所有Responses,從中分析提取數據，獲取Item字段需要的數據，并將需要跟進的URL提交給引擎，再次進入Scheduler(調度器)，
Item Pipeline(管道)：它負責處理Spider中獲取到的Item，并進行進行后期處理（詳細分析、過濾、存儲等）的地方.
Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件。
Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴展和操作引擎和Spider中間通信的功能組件（比如進入Spider的Responses;和從Spider出去的Requests）
scrapy框架的使用
#創建一個爬蟲項目
scrapy startproject 項目名稱
#在項目中創建爬蟲文件
scrapy genspider 爬蟲文件名稱 爬取網站域名
#例： scrapy genspider baidu baidu.com
1.scrapy中的解析方法
xpath選擇器和css選擇器:
在scrapy 中我們可以直接通過response.xpath('') 和 response.css('')直接調用,并通過extract（）方法，將取到的selector對象轉換為字符串（在一個列表中）
2.scrapy shell
我們可以在終端scrapy shell http://xxxx.xxx.xxx 命令進入到scrapy shell 模式 進行調試
3.scrapy spider
Spider類定義了如何爬取某個(或某些)網站。包括了爬取的動作(例如:是否跟進鏈接)以及如何從網頁的內容中提取結構化數據(爬取item)。 換句話說，Spider就是您定義爬取的動作及分析某個網頁(或者是有些網頁)的地方。
class scrapy.Spider是最基本的類，所有編寫的爬蟲必須繼承這個類。
主要用到的函數及調用順序為：
init() : 初始化爬蟲名字和start_urls列表
start_requests() 調用make_requests_from url():生成Requests對象交給Scrapy下載并返回response
parse():解析response，并返回Item或Requests（需指定回調函數）。
Item傳給Item pipline(item管道)持久化 ， 而Requests交由Scrapy下載，并由指定的回調函數處理（默認parse())，一直進行循環，直到處理完所有的數據為止。
Scrapy Settings.py文件配置
Scrapy設置(settings)提供了定制Scrapy組件的方法。可以控制包括核心(core)，插件(extension)，pipeline及spider組件。比如 設置 Pipeliine、LOG_LEVEL等。
BOT_NAME：(也是項目名稱)。 使用 startproject 命令創建項目時會被自動賦值。
SPIDER_MODULES = ['ziruproject.spiders']
NEWSPIDER_MODULE = 'ziruproject.spiders' 爬蟲的文件路徑
USER_AGENT：用戶代理，一般設置這個參數用來偽裝瀏覽器請求
ROBOTSTXT_OBEY：是否遵守ROBOT協議，為False時，表示不遵守，為True時表示遵守（默認為True）
CONCURRENT_REQUESTS：默認: 16,Scrapy downloader(下載器) 處理的最大的并發請求數量。
DOWNLOAD_DELAY：下載延遲的秒數，用來限制訪問的頻率
CONCURRENT_REQUESTS_PER_DOMAIN：每個域名下能夠被執行的最大的并發請求數據量，默認為８
CONCURRENT_REQUESTS_PER_IP：默認: 0，對單個IP進行并發請求的最大值。
1.如果非0，則忽略CONCURRENT_REQUESTS_PER_DOMAIN 設定,使用該設定。
也就是說，并發限制將針對IP，而不是網站。
2.該設定也影響 DOWNLOAD_DELAY: 如果CONCURRENT_REQUESTS_PER_IP 非0，
下載延遲應用在IP而不是網站上。
COOKIES_ENABLED：是否要攜帶cookies，一般情況下，不是必須要攜帶cookies的請求，我們將這個參數設置為False，(默認為True)
TELNETCONSOLE_ENABLED：默認: True表明 telnet 終端 (及其插件)是否啟用的布爾值。通過Telnet可以監聽當前爬蟲的狀態、信息，操作爬蟲等...。
DEFAULT_REQUEST_HEADERS：默認: 如下
{
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
}
用于Scrapy HTTP請求的默認標頭
EXTENSIONS：我們可以在這個參數下自定義擴展
ITEM_PIPELINES：設置并激活管道文件，為了存儲數據使用，
后面的數字表示優先級，數字越小，優先級越高
DOWNLOAD_TIMEOUT：默認: 180，下載器超時時間(單位: 秒)。自動限速（AutoThrottle）擴展，該擴展能根據Scrapy服務器及您爬取的網站的負載自動限制爬取速度。
設計目標
更友好的對待網站，而不使用默認的下載延遲0。 自動調整scrapy來優化下載速度，使得用戶不用調節下載延遲及并發請求數來找到優化的值。 用戶只需指定允許的最大并發請求數，剩下的都交給擴展來完成.
數據緩存：
目的：用來將已經發送的請求緩存下來，一遍后續使用
是否啟用緩存策略
HTTPCACHE_ENABLED = True
緩存超時時間
HTTPCACHE_EXPIRATION_SECS = 0
緩存保存路徑
HTTPCACHE_DIR = 'httpcache'
緩存忽略的Http狀態碼
HTTPCACHE_IGNORE_HTTP_CODES = []
緩存存儲的插件
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
關于日志信息的設置
LOG_ENABLED
默認: True
是否啟用logging。
LOG_ENCODING
默認: 'utf-8'
logging使用的編碼。
LOG_LEVEL
默認: 'DEBUG'
log的最低級別。可選的級別有: CRITICAL、 ERROR、WARNING、INFO、DEBUG 。
- CRITICAL - 嚴重錯誤(critical)
- ERROR - 一般錯誤(regular errors)
- WARNING - 警告信息(warning messages)
- INFO - 一般信息(informational messages)
- DEBUG - 調試信息(debugging messages)
LOG_FILE
默認: None
logging輸出的文件名。如果為None，則使用標準錯誤輸出(standard error)。
Logging使用
Scrapy提供了log功能，可以通過 logging 模塊使用。
可以修改配置文件settings.py，任意位置添加下面兩行，效果會清爽很多。
LOG_FILE = "TencentSpider.log"
LOG_LEVEL = "INFO"
Scrapy 的暫停和恢復
有些情況下，例如爬取大的站點，我們希望能暫停爬取，之后再恢復運行。
Scrapy通過如下工具支持這個功能:
一個把調度請求保存在磁盤的調度器
一個把訪問請求保存在磁盤的副本過濾器[duplicates filter]
一個能持續保持爬蟲狀態(鍵/值對)的擴展
Job 路徑:
要啟用持久化支持，你只需要通過 JOBDIR 設置 job directory 選項。
這個路徑將會存儲 所有的請求數據來保持一個單獨任務的狀態(例如：一次
spider爬取(a spider run))。必須要注意的是，這個目錄不允許被不同的
spider 共享，甚至是同一個spider的不同jobs/runs也不行。也就是說，
這個目錄就是存儲一個 單獨 job的狀態信息。
怎么使用??? 要啟用一個爬蟲的持久化，運行以下命令:
scrapy crawl somespider -s JOBDIR=crawls/somespider-1
