（3）學(xué)習(xí)法
上述兩種方法都是對(duì)弱學(xué)習(xí)器的結(jié)果做平均或者投票，相對(duì)比較簡(jiǎn)單，但是可能學(xué)習(xí)誤差較大，于是就有了學(xué)習(xí)法這種方法。對(duì)于學(xué)習(xí)法，代表方法是stacking，當(dāng)使用堆疊stacking的結(jié)合策略時(shí)， 我們不是對(duì)弱學(xué)習(xí)器的結(jié)果做簡(jiǎn)單的邏輯處理，而是再加上一層學(xué)習(xí)器，也就是說(shuō)，我們將訓(xùn)練集弱學(xué)習(xí)器的學(xué)習(xí)結(jié)果作為輸入，將訓(xùn)練集的輸出作為輸出，重新訓(xùn)練一個(gè)學(xué)習(xí)器來(lái)得到最終結(jié)果。
如下圖，就是一個(gè)簡(jiǎn)單的Stacking算法結(jié)構(gòu)，它是兩層的結(jié)構(gòu)，第一層的學(xué)習(xí)器為初學(xué)習(xí)器，也稱為個(gè)體學(xué)習(xí)器。用于結(jié)合的第二層的分類器稱為次級(jí)學(xué)習(xí)器或者是元學(xué)習(xí)器。其基本原理就是在以往算法中大多數(shù)是訓(xùn)練集與測(cè)試集，用訓(xùn)練集來(lái)訓(xùn)練模型，然后根據(jù)模型對(duì)測(cè)試集進(jìn)行預(yù)測(cè)；Stacking則是在訓(xùn)練集的訓(xùn)練中加入又一層數(shù)據(jù)集劃分，在訓(xùn)練集的訓(xùn)練與測(cè)試后，生成新的訓(xùn)練集，再與原始測(cè)試集進(jìn)行模型訓(xùn)練。
這里仍以以鳶尾花為例，展示Stacking算法。
#導(dǎo)入sklearn及numpy模塊
from sklearn.datasets import load_iris
from sklearn import cross_validation
import numpy as np
# 導(dǎo)入鳶尾花數(shù)據(jù)集
iris = load_iris()
x_train, x_test, y_train, y_test = cross_validation.train_test_split(iris.data, iris.target, test_size=0.4, random_state=1)
from sklearn import tree #導(dǎo)入決策樹(shù)庫(kù)
from sklearn.linear_model import LogisticRegression #導(dǎo)入邏輯回歸庫(kù)
#將數(shù)據(jù)轉(zhuǎn)換為DataFrame格式
import pandas as pd
x_train = pd.DataFrame(x_train)
y_train = pd.DataFrame(y_train)
x_test = pd.DataFrame(x_test)
y_test = pd.DataFrame(y_test)
接下來(lái)構(gòu)造Stacking算法。
#Stacking techniques
from sklearn.model_selection import StratifiedKFold
def Stacking(model,train,y,test,n_fold):
folds=StratifiedKFold(n_splits=n_fold,random_state=1) #分層采樣
test_pred=np.empty((test.shape[0],1),float) #構(gòu)建空的測(cè)試集
train_pred=np.empty((0,1),float) #構(gòu)建空的訓(xùn)練集
for train_indices,val_indices in folds.split(train,y):
x_train,x_val=train.iloc[train_indices],train.iloc[val_indices]
y_train,y_val=y.iloc[train_indices],y.iloc[val_indices]
model.fit(X=x_train,y=y_train)
train_pred=np.append(train_pred,model.predict(x_val))
test_pred=np.column_stack((test_pred,model.predict(test)))
test_pred_a=np.mean(test_pred,axis=1) #按行計(jì)算均值
return test_pred_a.reshape(-1,1),train_pred
這里著重說(shuō)明一下，Stacking的構(gòu)建過(guò)程。如前所述，Stacking主要是在原始訓(xùn)練集（train）中又進(jìn)行了一次樣本劃分，比如我們將訓(xùn)練集劃分了10份，9份小訓(xùn)練集（x_train、y_train），1份小測(cè)試集（x_val、y_val），然后通過(guò)for循環(huán)，對(duì)每一份小訓(xùn)練集（x_train、y_train）進(jìn)行訓(xùn)練，用訓(xùn)練的模型model.fit(X=x_train,y=y_train)對(duì)小測(cè)試集（x_val、y_val）進(jìn)行預(yù)測(cè)，得到train_pred，同時(shí)也用相同的訓(xùn)練模型對(duì)原始測(cè)試集（test）進(jìn)行預(yù)測(cè)，得到test_pred，對(duì)于得到的test_pred，按行進(jìn)行平均得到平均的測(cè)試集test_pred_a。
#接下來(lái)先用決策樹(shù)算法進(jìn)行訓(xùn)練，得到train_pred1，test_pred1：
model1 = tree.DecisionTreeClassifier(random_state=1)
test_pred1 ,train_pred1=Stacking(model=model1,n_fold=10, train=x_train,test=x_test,y=y_train)
train_pred1=pd.DataFrame(train_pred1)
test_pred1=pd.DataFrame(test_pred1)
#再用K近鄰算法進(jìn)行訓(xùn)練，得到train_pred2，test_pred2：
model2 = KNeighborsClassifier()
test_pred2 ,train_pred2=Stacking(model=model2,n_fold=10,train=x_train,test=x_test,y=y_train)
train_pred2=pd.DataFrame(train_pred2)
test_pred2=pd.DataFrame(test_pred2)
#將得到的train_pred1、train_pred12合并成新的訓(xùn)練集df，得到的test_pred1、test _pred12合并成新的訓(xùn)練集df _test，再用邏輯回歸算法進(jìn)行第二層訓(xùn)練
df = pd.concat([train_pred1, train_pred2], axis=1) #合并數(shù)據(jù)集
df_test = pd.concat([test_pred1, test_pred2], axis=1) #合并數(shù)據(jù)集
model = LogisticRegression(random_state=1)
model.fit(df,y_train)
model.score(df_test, y_test)
以上就是Stacking的原理與算法實(shí)現(xiàn)過(guò)程。
