近鄰算法
K-近鄰算法是機器學習分類算法中最簡單的方法之一。在講清楚K-近鄰算法之前，我們先來看看它的一個簡化版---近鄰算法。假設我們要對一部電影分類：判斷它是動作片還是愛情片（假設全世界的電影只有這兩類）。我們發現有兩個指標可以幫助我們判斷：電影中的打斗鏡頭和接吻鏡頭。我們有一批數據，記錄了電影里面兩種鏡頭的個數及專家對它們的分類（這個數據集經常被稱之為訓練集）。數據如下：
| 電影名稱 | 打斗鏡頭 | 接吻鏡頭 | 電影類型 |
|---|---|---|---|
| California Man | 3 | 104 | 愛情片 |
| He's Not Really into Dules | 2 | 100 | 愛情片 |
| Beautiful Woman | 1 | 81 | 愛情片 |
| Kevin Longblade | 101 | 10 | 動作片 |
| Robo Slayer 3000 | 99 | 5 | 動作片 |
| Amped II | 98 | 2 | 動作片 |
我們現在要判斷某電影X的電影類型，它的打斗鏡頭為18，接吻鏡頭為90。
近鄰算法的思想是在已知的六部電影中，找到與這部電影X最接近的電影，并將該電影的類型作為X的類型。
如何求“最相近”
在機器學習算法中，有很多計算距離的方法，我現在介紹兩個最常用的距離：L1距離和L2距離。假設有兩個點p1(x1, y1), p2(x2,y2)，則L1距離的公式為：
d(p1,p2) = |x1-x2| + |y1-y2|
L2 的計算公式為:
d(p1,p2) = sqrt((x1-x2)^2 + (y1-y2)^2)
現在我們用L2距離來計算相似度，并求出與X最接近的電影，代碼如下：
#coding=utf-8
import numpy as np
data = np.array([[3,104], [2,100], [1,81], [101,10], [99,5], [98,2]])
label = np.array(['愛情片','愛情片','愛情片','動作片','動作片','動作片'])
target = np.array([18,90])
diffs = data-target
diffSum = []
for diff in diffs:
diffSum.append(np.sqrt(diff[0]**2 + diff[1]**2))
print np.argmin(diffSum)
print label[np.argmin(diffSum)]
輸出的結果表明，X電影與He's Not Really into Dules 最相似。所以我們可以把它歸為愛情片。
理解了近鄰算法，k-近鄰算法就非常容易理解了。k-近鄰算法就是計算與電影X最接近的K（具體數目可以自己設定）個電影，然后取這個K個電影中類別數目最多的類別，并把它作為目標電影X的類別（代碼在實戰篇中會講到）。
數據的可視化
我們可以使用matplotlib來對數據可視化，從而可以直觀的感受我們為什么將X歸為愛情片類別。可視化的代碼為：
import matplotlib.pyplot as plt
import numpy as np
fig = plt.figure()
ax = fig.add_subplot(111)
data = np.array([[3,104], [2,100], [1,81], [101,10], [99,5], [98,2]])
label = np.array([1.,1.,1.,2.,2.,2.])
ax.scatter(data[:,0], data[:,1], np.pi*20*(label**2), label)
ax.scatter(18,90,np.pi*20*3, [[1,0,0]])
plt.xlim(0)
plt.ylim(0)
plt.savefig('fig.png')
plt.show()
輸出的結果圖為：
歸一化特征
現在我們知道要計算兩個物體的相似度，就是計算它已知特征的距離之和。由于各個特征的變化范圍不一樣，導致各個特征在計算最終的相似度時權重不一樣，如果我們假設各個特征的權重都一樣，那么就必須對各個特征進行歸一化處理。比如，我們現在使用k-近鄰算法找最合適的相親對象。我們有一批數據，記錄每個人的幾個特征及你對她們的喜愛程度，表格如下：
|樣本序號|玩視頻游戲所耗時間百分比|每年獲得的飛行常客里程數|每周消耗的冰激凌公升數|樣本分類|
|----|
|1|0.8|400|0.5|1|
|2|12|134000|0.9|3|
|3|0|20000|1.1|2|
|4|67|32000|0.1|2|
我們發現里程數的差異已經遠遠大于其他特征的差異，這就導致其他特征幾乎無法影響樣本之間的差異了。所以，為了消除這些影響，我們將各個特征都歸一化到[0,1]（歸一到任何相同的范圍都可）之間，轉換的代碼為：
newValue = (old_value-min)/(max-min)
這個每個特征的范圍都被歸一化到[0,1]。
理論知識已經講解完畢，下面進入實戰。
