Scrapy提供了一個 item pipeline ，來下載屬于某個特定項目的圖片，比如，當你抓取產品時，也想把它們的圖片下載到本地。
這條管道，被稱作圖片管道，在 ImagesPipeline 類中實現，提供了一個方便并具有額外特性的方法，來下載并本地存儲圖片:
Pillow 是用來生成縮略圖，并將圖片歸一化為JPEG/RGB格式，因此為了使用圖片管道，你需要安裝這個庫。 Python Imaging Library (PIL) 在大多數情況下是有效的，但眾所周知，在一些設置里會出現問題，因此我們推薦使用 Pillow 而不是 PIL.

首先在setting中激活以下

ITEM_PIPELINES = {
'chinazproject.pipelines.ChinazProjectImagePipeline': 299, # 激活圖片下載管道
}

pipelines

from scrapy.contrib.pipeline.images import ImagesPipeline
import scrapy
from chinazproject.items import ChinazprojectWebInfoItem,ChinazprojectTagItem
import os

取出配置文件

from scrapy.utils.project import get_project_settings

os.remove()# 重命名

獲取settings文件的信息

images_store = get_project_settings().get('IMAGES_STORE')
class ChinazProjectImagePipeline(ImagesPipeline):

def get_media_requests(self,item,info):
    """
    根據圖片的url地址，構造requuests請求
    :param item:
    :param info:
    :return:
    """
    if isinstance(item,ChinazprojectWebInfoItem):
        # 獲取圖片地址，發起請求
        img_url = 'http:'+item['coverImage']
        print('獲取圖片地址', img_url)
        yield scrapy.Request(img_url)

    # 如果有多個圖片地址,item['coverImage']對應的是一個列表
    # img_urls = item['coverImage']
    # return [scrapy.Request(x) for x in img_urls]

def item_completed(self,results,item,info):
    """
    圖片下載之后的回調結果
    :param results: [(True/False,{'path':'圖片下載之后的一個儲存路徑','url':'圖片的url地址','ckecksum':'經過HASH加密的一個字符串'})]:圖片下載成功還是失敗
    :param item:
    :param info:
    :return:
    """
    if isinstance(item,ChinazprojectWebInfoItem):
        paths = [result['path'] for status,result in results if status]
        print('圖片下載結果',results)
        if len(paths)>0:
            print('圖片下載成功')
            # 使用os的rename方法修改文件的名稱
            os.rename(images_store+'/'+paths[0],images_store+'/'+item['title']+'.jpg')
            image_path = images_store+'/'+item['title']+'.jpg'
            print('修改后的路徑',image_path)
            item['locakImgePath'] = image_path

        else:
            # 如果沒有成功獲取到圖片，將這個item丟棄
            from scrapy.exceptions import DropItem
            raise DropItem('沒有獲取到圖片，遺棄item')
     # 獲取圖片地址，交給下一個管道處理
    return item