一：簡介

通過抓取豆瓣電影Top250的數據，分別進行了三個數據統計，分別是：上榜的電影上映的年份，該年份總共上榜的電影數量，數量為0的就沒有統計了；各個國家地區出品的電影數量；250部電影的各個類型標簽的數量。

二：源代碼

#coding=utf-8
import requests
from bs4 import BeautifulSoup
import os, socket, re
import matplotlib as mpl
import matplotlib.pyplot as plt
import numpy as np

class Spider:
    def __init__(self, url='https://movie.douban.com/top250'):
        self.url = url
        self.header = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
        }

    def mkdir(self, path):
        path = path.strip()
        isExists = os.path.exists(os.path.join("D:\mdouban", path))
        if not isExists:
            os.makedirs(os.path.join("D:\mdouban", path))
            os.chdir(os.path.join("D:\mdouban", path))
        else:
            os.chdir(os.path.join("D:\mdouban", path))
        return os.path.abspath('.')

    #獲取BeautifulSoup
    def get_soup(self, link):
        html = requests.get(link, headers=self.header)
        html.encoding = html.apparent_encoding
        soup = BeautifulSoup(html.text, 'lxml')
        return soup


if __name__ == '__main__':
    socket.setdefaulttimeout(20)
    spider = Spider()
    path = spider.mkdir('top250')
    print('starting get data from douban...')

    def autolabel(rects, ax, xpos='center'): #設置顯示每一個條形圖的值
        """
        Attach a text label above each bar in *rects*, displaying its height.

        *xpos* indicates which side to place the text w.r.t. the center of
        the bar. It can be one of the following {'center', 'right', 'left'}.
        """

        xpos = xpos.lower()  # normalize the case of the parameter
        ha = {'center': 'center', 'right': 'left', 'left': 'right'}
        offset = {'center': 0.5, 'right': 0.57, 'left': 0.43}  # x_txt = x + w*off

        for rect in rects:
            height = rect.get_height()
            ax.text(rect.get_x() + rect.get_width() * offset[xpos], 1.01 * height,
                    '{}'.format(height), ha=ha[xpos], va='bottom', size=6.8)

    def drawYearPlot(num_list, name_list):      #繪制X軸為年份，Y軸為電影數量的柱狀圖
        ind = np.arange(len(name_list))
        fig, ax = plt.subplots()
        ax.set_xlabel('year')
        ax.set_ylabel('numbers')
        ax.set_title('Douban top 250 movie numbers by year')

        rext = ax.bar(ind, num_list, color='b', tick_label=name_list)
        autolabel(rext, ax)
        plt.xticks(np.arange(len(name_list)), rotation=-90, size=7.2)  # 設置X軸坐標的屬性

        fig = plt.gcf()
        fig.set_size_inches(15.5, 10.5)  # 設置圖片大小
        plt.savefig('D:/mdouban/douban_year.png', dpi=200)  # 保存統計圖到本地，必須在show（）方法前調用，否則得到的是一張空白圖片,dpi是分辨率
        plt.show()
        plt.close()

    def drawCountryPlot(cry_list):      #繪制X軸為國家地區，Y軸為電影數量的柱狀圖
        sta = {}
        for i in cry_list:  #統計各個國家的電影數量
            if not sta.__contains__(i):
                sta[i] = 1
            else:
                sta[i] += 1
        num_l = []  #數量
        country_list = [] #國家地區
        for key, values in sta.items():
            country_list.append(key)
            num_l.append(values)

        ind = np.arange(len(country_list))
        fig, ax = plt.subplots()
        ax.set_xlabel('country')
        ax.set_ylabel('numbers')
        ax.set_title('Douban top 250 movie numbers by country')

        rext = ax.bar(ind, num_l, color='b', tick_label=country_list)
        autolabel(rext, ax)
        plt.xticks(np.arange(len(country_list)), size=7.2)  # 設置X軸坐標的屬性

        fig = plt.gcf()
        fig.set_size_inches(15.5, 10.5)  # 設置圖片大小
        plt.savefig('D:/mdouban/douban_country.png', dpi=200)  # 保存統計圖到本地，必須在show（）方法前調用，否則得到的是一張空白圖片,dpi是分辨率
        plt.show()
        plt.close()

    def drawTypePlot(typ_list):     #繪制X軸為電影的標簽，Y軸為數量的柱狀圖
        sta = {}
        for i in typ_list:  #統計各個國家的電影數量
            if not sta.__contains__(i):
                sta[i] = 1
            else:
                sta[i] += 1
        num_l = []  #數量
        tp_list = [] #電影類型
        for key, values in sta.items():
            tp_list.append(key)
            num_l.append(values)

        ind = np.arange(len(tp_list))
        fig, ax = plt.subplots()
        ax.set_xlabel('type')
        ax.set_ylabel('numbers')
        ax.set_title('Douban top 250 movie number by type')

        rext = ax.bar(ind, num_l, color='b', tick_label=tp_list)
        autolabel(rext, ax)
        plt.xticks(np.arange(len(tp_list)), size=7.2)  # 設置X軸坐標的屬性

        fig = plt.gcf()
        fig.set_size_inches(15.5, 10.5)  # 設置圖片大小
        plt.savefig('D:/mdouban/douban_type.png', dpi=200)  # 保存統計圖到本地，必須在show（）方法前調用，否則得到的是一張空白圖片,dpi是分辨率
        plt.show()
        plt.close()

    #top250共十頁
    ys = []     #存儲年份
    cs = []     #存儲國家地區
    ts = []     #存儲電影類別
    #解決matplotlib顯示中文亂碼問題
    mpl.rcParams['font.sans-serif'] = ['SimHei']  # 指定默認字體 SimHei為黑體
    mpl.rcParams['axes.unicode_minus'] = False  # 用來正常顯示負號
    x = 1
    for i in range(1, 11):
        if i == 1:
            url = spider.url
        else:
            url = spider.url + '?start=' + str(25*(i-1)) + '&filter='   #后面9頁的鏈接需要拼接
        main_soup = spider.get_soup(url)
        ol_grid = main_soup.find('ol', class_='grid_view')
        li = ol_grid.find_all('li')

        for l in li:
            em_rank = l.find('em').get_text()

            div_hd = l.find('div', class_='hd')
            a = div_hd.find('a')
            title = a.find('span', class_='title').get_text()

            p_info = l.find('p', class_='').get_text()
            s_c = p_info.split('/')[-2].strip()
            country = s_c.split()[0]        #獲取國家地區字段，取第一個
            cs.append(country)

            l_typ = p_info.split('/')[-1].strip().split()   #獲取電影類型的數組
            for typ in l_typ:
                ts.append(typ)

            s1 = ''.join(p_info.split()) #去掉字符串中的\xa0
            l_s = s1.split('/')
            if x == 80:
                year = '1961'         #第80的大鬧天宮上映了多次，特殊處理
            else:
                year = l_s[-3][-4:]     #電影的上映年份
            x += 1
            ys.append(year)

            div_star = l.find('div', class_='star')
            rating_num = div_star.find('span', class_='rating_num').get_text()
            review = div_star.find_all('span')[3].get_text()

            div_bd = l.find('div', class_='bd')
            q = div_bd.find('span', class_='inq')
            if q != None:   #部分電影是沒有短評的，所以需要判斷
                quote = q.get_text()
            else:
                quote = '無'
    name_list = []
    sta = {}
    for i in range(1931, 2018):     #柱狀圖的X軸坐標
        name_list.append(i)
        sta[str(i)] = 0

    for x in ys:        #統計從1931到2017每年在榜單中的電影數量
        sta[x] += 1
    num_list = []
    name_list1 = []
    for key, value in sta.items():
        if value > 0:       #只顯示電影數量大于0的
            name_list1.append(str(key))
            num_list.append(value)
    drawYearPlot(num_list, name_list1)
    drawCountryPlot(cs)
    drawTypePlot(ts)

    print('over!')

三：生成的柱狀圖

douban_country.png

douban_type.png

douban_year.png