問題描述
某公司將新制作一部電影，他們希望通過IMDB的電影數據來了解電影市場，知道什么樣的電影輝有比較好的市場。 并且想要通過數據解決以下問題
電影類型是如何隨著時間的推移發生變化的？
數據理解
#先導入包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
#首先把數據導入進來
imdb = pd.read_csv('./imdb_10000_movies.csv')
#大概看一下數據是什么樣的
#imdb.head(3)
imdb.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 9949 entries, 0 to 9948
Data columns (total 9 columns):
imdb_id 9949 non-null int64
imdb_name 9949 non-null object
item_year 9949 non-null int64
runtime 9949 non-null object
generss 9949 non-null object
rating_num 9949 non-null float64
matescore 9949 non-null object
vote_count 9949 non-null int64
gross 9949 non-null object
dtypes: float64(1), int64(3), object(5)
memory usage: 699.6+ KB
None
在將數據導入以后，首先要對數據進行理解，即知道各個數據所代表的含義。 數據字段含義如下：
- imdb_id : IMDB標識號
- imdb_name : 電影名稱
- item_year : 上映時間
- runtime : 播放時長
- generss : 電影類型，最多五項
- rating_num : 評分，10分制
- matescore : 評分，100分制
- vote_count : 投票數
- gross : 票房數據，單位美元
當然，這些數據字段也不是每一個都是我們本次分析所需求的，我們只需要用到所分析的字段就好。 在接下來的過程中，根據所要解決的問題，首先對這些數據進行一個清洗和處理
數據清洗
問題實際上是在探討電影的類型和時間的關系，所以要對這兩個字段進行分析。 而電影的類型并不是一個可以量化的標準，所以要對這些數據進行一些處理。
# 時間有可能出現缺失值，
#首先我們查詢缺失了上映日期的是哪一部電影
imdb[imdb.release_date.isnull().values == True]
#然后查詢這個電影的上映日期
#填充缺失值
imdb.release_date = imdb.release_date.fillna('2014-06-01')
#把這一個字段的數據轉化為時間格式
imdb.release_date = pd.to_datetime(imdb.release_date)
#把上映的年份提取出來,新建一個列
imdb.loc[:, 'year'] = [i.year for i in imdb.release_date]
imdb.head(2)
| imdb_id | imdb_name | item_year | runtime | generss | rating_num | matescore | vote_coun | gross | year | |
|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 1 | The Shawshank Redemption | 1994-01-01 | 142 min | [Crime,Drama] | 9.3 | 80 | 1946580 | $28.34M | 1994 |
| 1 | 2 | The Dark Knight | 2008-01-01 | 152 min | [Action,Crime,Drama] | 9.0 | 82 | 1918322 | $534.86M | 2008 |
- 可以發現每個電影都有幾種類型，我們需要把這些類型單獨提出來
- 觀察發現電影類型的首字母都是大寫的
- 所以使用正則表達式，建立一個提取單詞的函數
- 用map函數作用于整列
#導入正則包
import re
#建立函數
def fenge(str):
pattern = re.compile(r'\b[A-Z]\w+') # 查找首字母大寫
strr = pattern.findall(str)
return strr
#將函數應用到整列
#再將其添加到原來的數據中
imdb['generss'] = list(map(fenge, imdb.genres))
#由于目前解決的是問題1，所以先把這兩列單獨拿出來計算
q1 = pd.DataFrame({'generss': imdb.generss, 'year':imdb.year})
q1.info()
q1.head(5)
| generss | year | |
|---|---|---|
| 0 | [Crime, Drama] | 1994 |
| 1 | [Action, Crime, Drama] | 2008 |
| 2 | [Action, Adventure, Sci, Fi] | 2010 |
| 3 | [Drama] | 1999 |
| 4 | [Crime, Drama] | 1994 |
#可以發現，電影類型的數據是以列表形式存儲的，這不利于我們接下來的運算
#首先把電影類型和年份做成一個新的列表，再重新組合
lis1 = []
lis2 = []
for i in range(len(q1.year)):
for j in q1.generss[i]:
lis1.append(j)
lis2.append(q1.year[i])
q11 = pd.DataFrame({'genress':lis1, 'years':lis2, 'counts':1})
#先簡單的看一下數據情況
#可以發現我們成功的分離了電影類型
q11.head(8)
| counts | genress | years | |
|---|---|---|---|
| 0 | 1 | Crime | 1994 |
| 1 | 1 | Drama | 1994 |
| 2 | 1 | Action | 2008 |
| 3 | 1 | Crime | 2008 |
| 4 | 1 | Drama | 2008 |
| 5 | 1 | Action | 2010 |
| 6 | 1 | Adventure | 2010 |
| 7 | 1 | Sci | 2010 |
接下來繼續去看問題，電影類型是如何通過時間的類型變化的？
- 首先我們看一下電影的類型總數是如何變化的
#對數據進行處理,得出每年份電影總數
q12 = q11.groupby('years').agg(np.sum)
#把年份重新變成列
q12['years'] = q12.index.get_level_values('years')
#繪圖
plt.plot(q12.years, q12.counts,'c')
#設置坐標軸范圍和標簽
plt.axis([1916, 2016, 0, 700])
#坐標軸使用中文
plt.xlabel('時間', fontproperties = 'SimHei', fontsize = 15, color = 'black')
plt.ylabel('電影類型數', fontproperties = 'SimHei', fontsize = 15, color = 'black')
#設置圖例和網格
plt.grid()
plt.legend()
plt.show()
電影類型總數隨時間變化
- 電影類型隨時間變化趨勢
q14 = pd.pivot_table(q11, index = ['genress', 'years'], values = ['counts'], aggfunc = np.sum)
#把年份和類型重新變成列
q14['years'] = q14.index.get_level_values('years')
q14['genress'] = q14.index.get_level_values('genress')
#把畫布設置大一些
plt.figure(figsize = (20, 10))
#循環畫出每一個電影類型隨著時間變化的折線圖
#list1是之前對電影類型的統計
for i in set(lis1):
plt.plot(q14[q14.genress == i].years, q14[q14.genress == i].counts, label = i)
#label用來設置圖例
plt.legend()
#設置標題和坐標軸的字體大小和顏色
plt.title(u'電影類型隨時間的變化 ', fontsize = 20, color = 'blue')
plt.xlabel('Release time', fontsize = 20, color = 'blue')
plt.ylabel('counts', fontsize = 20, color = 'blue')
plt.show()
電影類型隨時間的變化
