參考資料
<PYTHON_MACHINE_LEARNING> chapter3
Maximum margin classifcation with
support vector machines
引言
在學習了邏輯回歸之后，我們回顧一下目前已經學習的機器學習模型：Perceptron感知機， Adaline自適應線性單元， LogisticRegression邏輯回歸, 這些模型有一個共同點：他們處理的都是樣本線性可分的分類問題，為了處理非線性可分問題，我們引入了支持向量機SVM
線性可分VS線性不可分
- 線性可分
線性可分(Linearly Separable）指的是，對于一個樣本，數據可以在空間中被一個或多個超平面(hyperplane)被分成顯然的若干類。
In geometry a hyperplane is a subspace of one dimension less than its ambient space. If a space is 3-dimensional then its hyperplanes are the 2-dimensional planes, while if the space is 2-dimensional, its hyperplanes are the 1-dimensional lines. -- from wikipedia
-
線性不可分
定義則相反
邊界(margin)與支持向量(SV)
對于一組線性可分的數據，我們知道能將他們分類的超平面(secision hyperplane)并不是唯一的，如何找到最佳的分類超平面呢？我們把與分類超平面平行且經過離分類超平面最近的樣本點的平面稱之為決策邊界(decision boundary)
我們先定義一下分類間隔margin.,它是兩個決策邊界的距離。對于能使margin最大的那個超平面就是我們尋找的超平面。
這些在決策邊界上的向量被稱之為支持向量
這樣的分類器被稱之為支持向量機
現在我們來看一看這樣做的數學意義
如圖所示，兩條決策邊界分別被命名為 “negative hyperplane”,“positive hyperplane” 我們試圖求出分類間隔也就是他們之間的距離
對于平面內兩條平行直線
**
A(x-x1)+B(y-y1)=0
A(x-x2)+B(y-y2)=0
**
他們之間的距離可以表示為
d=|C1-C2|/√(A2+B2) ** C1=Ax1+By1, C2=Ax2+By2
令X1=[x1,y1]' , X2=[x2,y2]', w=[A,B]'**
則有
**
w'X1=C1
w'X2=C2
**
距離可以表示為
**
d = |C1-C2| / || w ||
**
這就是一般情況下兩個平行的超平面的距離公式
對于支持向量機而言
分類間隔 margin
分類間隔可以這么得到
得到分類間隔
其中
當分類間隔 magrin 最大的時候，很顯然，我們的模型能給出最大的區分度，相應的預測的準確性也就越高，所以，對于 支持向量機SVM 來說，它的實現是通過最大化分類間隔實現的。
對于一個 -1,1 的二分類，我們有
化簡一下
我們的目標就是在這種條件下求出
的最大值
這個問題可以用 拉格朗日乗法子 解決，這里暫且按下不表
使用松弛變量處理非線性類問題
在線性不可分的情況下，無論怎么劃分超平面，都會存在一些樣本在邊界之外，也就是說
這種情況下，我們使用松弛變量來放寬條件
這些松弛變量都是非負數，也就是說我們允許一定的偏差存在，但然，這也是有代價的，那就是我們要最小化的損失函數要相應的變大
這里的C就是懲罰因子，C越大，這意味著我們越重視這些偏差點的影響，需要注意的是，懲罰因子C不是一個變量，在擬合的時候C需要時一個定值，查看預測結果的時候需要檢查結果是否理想，不理想的話需要更改C的值重新擬合一遍
sklearn.svm 的實現
# -*- coding: utf-8 -*-
"""
Created on Thu Jun 22 11:08:17 2017
@author: Administrator
"""
from sklearn.svm import SVC
from sklearn import datasets
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import StandardScaler
from PDC import plot_decision_regions
import matplotlib.pyplot as plt
import numpy as np
Iris = datasets.load_iris()
x = Iris.data[:,[2,3]]
y = Iris.target
X_train,X_test,y_train,y_test = train_test_split(
x,y,test_size=0.3,random_state=0)
sc=StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)
svm = SVC(kernel='linear',C=1.0,random_state=0)
svm.fit(X_train_std,y_train)
X_combined_std = np.vstack((X_train_std,X_test_std))
y_combined = np.hstack((y_train,y_test))
plot_decision_regions(X=X_combined_std,y=y_combined,
classifier=svm,
test_idx=range(105,150))
plt.xlabel('petal length [standardized]')
plt.ylabel('petal width [standardized]')
plt.legend(loc='upper left')
plt.show()
plt.savefig('Iris.png')
plt.show()
結果如下
