Python 數據分析與展示
學習內容
Numpy數據表示、Matplotlib繪圖、Pandas數據分析這三個庫
Anaconda IDE的使用
conda、Spyder、IPython的使用
實例：圖像的手繪風格、引力波的繪制、房價趨勢分析、股市數據的分析
Anaconda IDE的使用
使用anaconda navigator 啟動
anaconda來源于conda（用于管理python的第三方包與python環境）其包含了conda、Python與一批第三方的庫
編程工具 Spyder 包含了IPython（交互式命令行）
IPython中的？可以得到變量信息與函數信息、%run命令可以運行python程序，在運行時會使用空的命令空間、%magic可以顯示所有的魔術命令
image
![Uploading polar_331910.png . . .]
數據的表示Numpy
數據的維度：一組數據的組織形式
Numpy 一個開源的科學計算庫，提供了一個強大的N維數組對象：ndarray，具有數學計算的功能
ndarray由實際的數據與描述數據的元數據兩部分組成，一般要求數據的類型相同。
生成ndarray：
- np.array([[],[]]，dtype=np.float32)，也可以使用元組進行創建
- np.arrange(n) 類似range()函數
- np.ones(shape)、np.zeros(shape)、np.full(shape,val)根據元組shape生成一個全1、全0、全val的ndarray數組
- np.eye(n) 創建一個n維單位陣（以上均可以由dtype指定數據類型）
- np.ones_like(a)、np.zeros_like(a)、np.full_like(a,val) 由a給定形狀
- np.linspace() 由起止數等間距地填充數據，形成數組，類似于range，但是給定的參數為start、end、number
- np.concatenate() 將兩個或多個數組合并成同一個數組
ndarray對象的屬性：
| 屬性 | 說明 |
|---|---|
| .ndim | 維度的數量 |
| .shape | ndarray的尺度 |
| .size | 對象中元素的個數 |
| .dtype | 對象元素類型 |
| .itemsize | 每個元素的大小，以字節為單位 |
ndarray維度變換
- .reshape(shape)不改變數組的元素，返回一個shape形狀的新的數組
- resize(shape) 修改原數組
- swapaxes(ax1,ax2) 將數組的n個維度中的兩個維度進行調換
- flatten() 降維 不改變原數組
ndarray數組類型變換
new_a = a.astype(new_type)
ndarray轉為列表
list = a.tolist()
ndarray數組操作(索引與切片)
一維數組的索引與python類似，切片a[1:4:2] 起始編號、終止編號(不含)、步長
多維數組的索引：a[1,2,3]從最外層到最內層
多維數組的切片：a[：，1:3，：]，a[:,:,::2]
ndarray數組的運算
標量運算等價于對每一個元素進行運算
Numpy中的一元函數
- np.abs(x)、np.fabs(x)、np.sqrt(x)、np.square(x)
- np.log(x)、np.log10(x)
- np.ceil(x)、np.floor(x)計算ceiling(不超過其的最大整數值)與floor(超過其最小整數值)
- np.rint(x) 四舍五入值
- np.modf(x) 以整數和小數兩個數組返回
- np.cosh(x) ···
- np.exp(x)、np.sign(x)
- ···
Numpy中的二元函數
- +-* / **
- np.maximum(x,y)、np.minimum(x,y) 元素的最大、小值，生成新的數組
- =、！=、>、<、<=、>= 比較大小返回布爾型數組
CSV文件(Comma-Separated Value,逗號分隔值)
文件單行以逗號進行分隔,常見數據庫均可以讀入或到處CSV文件
np.savetxt(fname,array,fmt='%.18e',delimiter=None)
- fname 文件名稱
- array 要存入的數組
- fmt 寫入文件的格式，如%d %0.2
- delimiter 分隔字符串，默認為空格
np.loadtxt(fname,dtype=np.float,delimiter=None,unpack=False)
- fname 文件名稱
- dtype 數組元素格式
- delimiter 分隔字符串，默認為空格
- unpack 默認為False，讀入數據存入一個變量
多維數組的存取
a.tofile(fid, sep="", format="%s")
- fid : 文件名或者是打開的文件對象
- sep : 數據分割字符串，空串則輸出二進制文件
- format : 輸出格式
np.fromfile(file, dtype=float, count=-1, sep='')
- count : int
Number of items to read.-1means all items
np.save(file, array)/np.savez(file, array)
np.load(fname)
- 存為.npy或者.npz文件
Numpy隨機函數子庫np.random庫
- rand(d0,d1,...,dn)根據d0-dn創建隨機數組，浮點數，[0,1)，均勻分布
- randn(d0,d1,...,dn) 正態分布
- randint(low[,high,shape]) 隨機整數
- seed(s) 隨機數種子
- shuffle(a) 將第一軸進行重排列，改變數組
- permutation(a) 由第一軸產生一個新的亂序數組，不改變數組
- choice(a[,size,replace,pl]) 從一位數組a中以概率p抽取元素，形成size形狀新數組，replace表示是否可以重用，默認True
- uniform()、normal、poisson
Numpy的統計函數
- .sum(a,axis = None) 給定軸的求和或所有求和
- .mean(a,axis = None) 算數平均數
- .average(a,axis = None,weights = None) 加權平均數
- .std(a,axis = None) 標準差
- .var(a,axis = None) 方差
- .min(a) max(a)
- argmin(a) argmax(a) 一維后的最小、大值的下標
- unravel_index(index,shape) 根據shape將一維下標index轉為多維下標
- ptp(a) 極差
- median(a) 中位數
- gradient(a) 計算數組的梯度 連續值之間的變化率
實例：圖像的手繪表示
圖像一般采用RGB表示，三個通道取值都在0-255
Python中的PIL庫（Python Image Library）
安裝 pip install pillow
使用 from PIL import Image
圖像在計算機中的表示為一個二元矩陣，每個矩陣元素為RGB值：(R,G,B) 每個通道為一個字節，那么一個矩陣元素的大小就是3個字節(24二進制位)
# 打開圖像
im_array = np.array(Image.open('D:/test.jpg'))
# 保存到文件
im = Image.fromarray(im_array)
im.save(filename)
# 灰度變換
a = np.array(Image.open('D:/test.jpg').convert('L'))
手繪圖片：黑白灰色，邊界線條較重，相同或者相近的顏色趨向于白色，略有光源效果
# -*- coding: utf-8 -*-
"""
圖像手繪風格實例代碼
"""
from PIL import Image
import numpy as np
a = np.array(Image.open('D:/leiding.jpg').convert('L')).astype('float')
depth = 10.
grad = np.gradient(a)
grad_x, grad_y = grad
grad_x = grad_x *depth/100.
grad_y = grad_y *depth/100.
A = np.sqrt(grad_x**2+grad_y**2+1.)
uni_x = grad_x/A
uni_y = grad_y/A
uni_z = 1./A
vec_e1 = np.pi/2.2
vec_az = np.pi/4
dx = np.cos(vec_e1)*np.cos(vec_az)
dy = np.cos(vec_e1)*np.sin(vec_az)
dz = np.sin(vec_e1)
b = 255*(dx*uni_x+dy*uni_y+dz*uni_z)
b = b.clip(0,255)
im = Image.fromarray(b.astype('uint8'))
im.save('D:/handpaint.jpg')
Matplotlib庫
使用方法：
import matplotlib.pyplot as plt
plt.plot([3,1,4,5,2])
plt.ylabel('grade')
plt.show()
# 存為文件
plt.savefig('test',dpi = 600) #默認輸出為PNG 文件
plt運行結果.png
同樣也可以這樣繪制：
plt.plot([0,2,4,6,8],[3,1,4,5,2])
# 給出橫縱坐標的范圍 橫-1到10，縱0到6
plt.axis([-1,10,0,6])
# 繪圖區域分割
plt.subPlot(nrows,ncols,plot_number) # 與matlab一樣，標號從左到右，從上到下
# 也可以將逗號去掉，比如plt.subplot(324)
plt.plot(x,y,format_string,**kwargs)
- x: X軸數據，列表或者數組，可選，可組合使用
- y: Y軸數據，列表或者數組
- format_stirng: 控制輸出字符串，可選
- 'b'/'g'/'#008000'/'0.8' 顏色控制字符
- '-' 實線 '--' 破折線 '-.' 點劃線 ':' 虛線 '''' 無線條 曲線風格字符
- '.' 點標記 ',' 像素標記 'o' 實心圈標記 'v' 倒三角標記 '^' 上三角標記 ...... 標記字符
- **kwargs: 第二組或者更多組的(x,y,format_string)
plt中的文本顯示函數
- plt.xlabel()、plt.ylabel() 對軸加上標簽
- plt.title() 增加文件頭
- plt.text() 任意位置增加文本
- plt.text(2,1,'str') 前兩個參數表示text出現范圍
- plt.annotate() 增加帶箭頭的注釋文本
- plt.grid() 顯示網格線
plt.subplot2grid(GridSpec,CurSpec,colspan=1,rowspan=1)
設定網格，選中網格，設計成不同大小的繪圖子區域
- GridSpec 元組，表示將區域分成什么樣子的子區域
- CurSpec 元組，表示子區域的起始格子坐標
- colspan、rowspan 表示子區域占用列、行數
同樣，此函數可以使用如下庫實現：
import matplotlib.gridspec as grs
gs = grs.GridSpec(3,3)
ax1 = plt.subplot(gs[0:])
ax2 = plt.subplot(gs[1,:-1])
pyplot基礎圖標函數
plot()函數、箱形圖函數boxplot()、條形圖函數bar()、橫向條形圖函數barh()、極坐標圖函數polar()、餅圖pie()
功率譜密度圖函數psd()、譜圖specgram()、X-Y相關性圖cohere()、散點圖scatter()、直方圖hist()、步階圖step()、等值圖contour()、垂直圖vlines()、柴火圖stem()、數據日期plot_date()
下面以代碼說明：
# -*- coding: utf-8 -*-
"""
Created on Tue Aug 1 14:07:25 2017
@author: Administrator
"""
import matplotlib.pyplot as plt
# 餅圖的標簽
labels = 'Frogs','Hogs','Dogs','Logs'
# 餅圖對應的尺寸，即所占比例
sizes = [15,30,45,10]
# 突出與突出的量
explode = (0,0.1,0,0)
# autopct顯示百分數的方式、shadow陰影效果、startangele起始角度
plt.pie(sizes,explode=explode,labels=labels,autopct = '%1.1f%%',shadow = False,startangle = 90)
# 使得軸的度量成為一樣
plt.axis('equal')
plt.show()
pie.png
# -*- coding: utf-8 -*-
"""
Created on Tue Aug 1 15:39:08 2017
@author: Administrator
"""
# 繪制直方圖
import matplotlib.pyplot as plt
import numpy as np
np.random.seed(0)
mu,sigma = 100,20 #均值與標準差
a = np.random.normal(mu,sigma,size=100) # 正態分布
# a 給定數組 bin 表示直方的個數，就是取值區間的劃分，縱軸表示為頻次/區間長度
# normed = 0 顯示頻次，normed=1 顯示頻次/區間長度
# histtype 繪制類型 facecolor 繪制顏色
plt.hist(a,20,normed = 1,histtype = 'stepfilled',facecolor = 'b',alpha = 0.75)
plt.title('Histgram')
plt.savefig('D:/Histgram',dpi = 150)
plt.show()
Histgram.png
# -*- coding: utf-8 -*-
"""
Created on Tue Aug 1 15:48:07 2017
@author: Administrator
"""
# 極坐標圖的繪制
import matplotlib.pyplot as plt
import numpy as np
# 極坐標圖中的數據個數
N = 20
# 等分出20個不同的角度 0-360度
theta = np.linspace(0.0,2*np.pi,N,endpoint = False)
# 生成每個角度對應的值
radii = 10*np.random.rand(N)
# 生成寬度值
width = np.pi/4*np.random.rand(N)
# 獲得繪制極坐標圖的子區域
ax = plt.subplot(111,projection = 'polar')
# 前三個參數對應 theta 從何地開始繪制 radii 從中心點繪制出來的長度，width 指繪圖區域的面積
bars = ax.bar(theta,radii,width=width,bottom=0.0)
for r,bar in zip(radii,bars):
bar.set_facecolor(plt.cm.viridis(r/10.))
bar.set_alpha(0.5)
plt.savefig('D:/polar',dpi = 150)
plt.show()
polar.png
# -*- coding: utf-8 -*-
"""
Created on Tue Aug 1 16:02:32 2017
@author: Administrator
"""
import numpy as np
import matplotlib.pyplot as plt
fig,ax = plt.subplots()
ax.plot(10*np.random.randn(100),10*np.random.randn(100),'o')
ax.set_title('Simple Scatter')
plt.savefig('D:/Scatter',dpi = 150)
plt.show()
Scatter.png
