1. Scrapy 框架
- Scrapy是用純Python實現一個為了爬取網站數據、提取結構性數據而編寫的應用框架，用途非常廣泛。
- 框架的力量，用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲，用來抓取網頁內容以及各種圖片，非常之方便。
- Scrapy 使用了 Twisted['tw?st?d] 異步網絡框架來處理網絡通訊，可以加快我們的下載速度，不用自己去實現異步框架，并且包含了各種中間件接口，可以靈活的完成各種需求。
2.Scrapy架構圖(綠線是數據流向)
- Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數據傳遞等。
- Scheduler(調度器): 它負責接受引擎發送過來的Request請求，并按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。
- Downloader（下載器）：負責下載Scrapy Engine(引擎)發送的所有Requests請求，并將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理，
- Spider（爬蟲）：它負責處理所有Responses,從中分析提取數據，獲取Item字段需要的數據，并將需要跟進的URL提交給引擎，再次進入Scheduler(調度器)，
- Item Pipeline(管道)：它負責處理Spider中獲取到的Item，并進行進行后期處理（詳細分析、過濾、存儲等）的地方.
- Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件。
- Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴展和操作引擎和Spider中間通信的功能組件（比如進入Spider的Responses;和從Spider出去的Requests）
Ubuntu的安裝方式
- 通過pip3安裝Scrapy框架
sudo pip3 install scrapy
- 新建項目
scrapy startproject 項目名稱
- 新建爬蟲文件
scrapy genspider 爬蟲文件名 爬蟲文件的網絡地址
爬蟲文件一般如下所示:
# -*- coding: utf-8 -*-
import scrapy
class JobboleSpider(scrapy.Spider):
name = 'jobbole'
allowed_domains = ['jobbole.com']
start_urls = ['http://blog.jobbole.com/all-posts/']
def parse(self, response):
pass
########這里的三個屬性和一個方法都是必須有的
- name = "" ：這個爬蟲的識別名稱，必須是唯一的，在不同的爬蟲必須定義不同的名字。
- allow_domains = [] 是搜索的域名范圍，也就是爬蟲的約束區域，規定爬蟲只爬取這個域名下的網頁，不存在的URL會被忽略。
- start_urls = () ：爬取的URL元祖/列表。爬蟲從這里開始抓取數據，所以，第一次下載的數據將會從這些urls開始。其他子URL將會從這些起始URL中繼承性生成。
- parse(self, response) ：解析的方法，每個初始URL完成下載后將被調用，調用的時候傳入從每一個URL傳回的Response對象來作為唯一參數，主要作用如下：
- 負責解析返回的網頁數據(response.body)，提取結構化數據(生成item)
- 生成需要下一頁的URL請求。
Scrapy Shell的使用
Scrapy終端是一個交互終端，我們可以在未啟動spider的情況下嘗試及調試代碼，也可以用來測試XPath或CSS表達式，查看他們的工作方式，方便我們爬取的網頁中提取的數據。(ipython的界面顯示更友好)
啟動Scrapy Shell
scrapy shell "http://hr.tencent.com/position.php?&start=0#a"
scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36" "http://hr.tencent.com/position.php?&start=0#a"
__*在Scrapy Shell 中,可以使用xpath語法或者css語法
如:response.xpath('//title').extract(),
當然Scrapy 的commend不僅僅如此，但是不屬于我們課程重點，不做詳細介紹。 例如：
- scrapy -h 查看所有可用的命令:
- scrapy view -h 查看view命令的詳細內容:
- scrapy list列出當前項目中所有可用的spider
- scrapy runspider xxxx.py在未創建項目的情況下，運行一個編寫在Python文件中的spider。
- scrapy version輸出Scrapy版本
官方文檔詳細作用講解和使用： http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/shell.html
Scrapy Settings.py文件配置
Scrapy設置(settings)提供了定制Scrapy組件的方法。可以控制包括核心(core)，插件(extension)，pipeline及spider組件。比如 設置 Pipeliine、LOG_LEVEL等。
BOT_NAME
(也是項目名稱)。
使用 startproject 命令創建項目時會被自動賦值。
SPIDER_MODULES = ['ziruproject.spiders'] NEWSPIDER_MODULE = 'ziruproject.spiders'
爬蟲的文件路徑
USER_AGENT
用戶代理，一般設置這個參數用來偽裝瀏覽器請求
ROBOTSTXT_OBEY
是否遵守ROBOT協議，為False時，表示不遵守，
為True時表示遵守（默認為True）
CONCURRENT_REQUESTS
默認: 16
Scrapy downloader(下載器) 處理的最大的并發請求數量。
DOWNLOAD_DELAY
下載延遲的秒數，用來限制訪問的頻率
CONCURRENT_REQUESTS_PER_DOMAIN
每個域名下能夠被執行的最大的并發請求數據量，
默認為８
CONCURRENT_REQUESTS_PER_IP
默認: 0
對單個IP進行并發請求的最大值。
1.如果非0，則忽略CONCURRENT_REQUESTS_PER_DOMAIN
設定,使用該設定。
也就是說，并發限制將針對IP，而不是網站。
2.該設定也影響 DOWNLOAD_DELAY: 如果
CONCURRENT_REQUESTS_PER_IP 非0，
下載延遲應用在IP而不是網站上。
COOKIES_ENABLED
是否要攜帶cookies，一般情況下，不是必須要攜帶
cookies的請求，我們將這個參數設置為False，(默認為True)
TELNETCONSOLE_ENABLED
默認: True
表明 telnet 終端 (及其插件)是否啟用的布爾值。
通過Telnet可以監聽當前爬蟲的狀態、信息，
操作爬蟲等...。
DEFAULT_REQUEST_HEADERS
默認: 如下
{
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8',
'Accept-Language': 'en',
}
用于Scrapy HTTP請求的默認標頭
EXTENSIONS
我們可以在這個參數下自定義擴展
ITEM_PIPELINES
設置并激活管道文件，為了存儲數據使用，
后面的數字表示優先級，數字越小，優先級越高
DOWNLOAD_TIMEOUT
默認: 180
下載器超時時間(單位: 秒)。
自動限速（AutoThrottle）擴展
該擴展能根據Scrapy服務器及您爬取的網站的負載自動限制爬取速度。
設計目標
更友好的對待網站，而不使用默認的下載延遲0。 自動調整scrapy來優化下載速度，使得用戶不用調節下載延遲及并發請求數來找到優化的值。 用戶只需指定允許的最大并發請求數，剩下的都交給擴展來完成.
數據緩存：
目的：用來將已經發送的請求緩存下來，一遍后續使用
是否啟用緩存策略
HTTPCACHE_ENABLED = True
緩存超時時間
HTTPCACHE_EXPIRATION_SECS = 0
緩存保存路徑
