特征重要性作用與來源
? 特征重要性，我們一般用來觀察不同特征的貢獻度。排名靠前的，我們認為是重要的。這一思路，通常被用來做特征篩選。剔除貢獻度不高的尾部特征，增強模型的魯棒性，起到特征降維的作用。另一方面，則是用來做模型的課解釋性。我們期望的結果是：重要的特征是復合業務直覺的；符合業務直覺的特征排名靠前。在實際操作中，我們一般用樹模型的分類點來做文章。常用的就是XGB和其他一般樹模型。
XGB內置的三種特征重要性計算方法1--weight
xgb.plot_importance這是我們常用的繪制特征重要性的函數方法。其背后用到的貢獻度計算方法為weight。
?'weight' - the number of times a feature is used to split the data across all trees.
簡單來說，就是在子樹模型分裂時，用到的特征次數。這里計算的是所有的樹。這個指標在R包里也稱為frequency2。
XGB內置的三種特征重要性計算方法2--gain
model.feature_importances_這是我們調用特征重要性數值時，用到的默認函數方法。其背后用到的貢獻度計算方法為gain。
?'gain'-the average gain across all splits the feature is used in.
gain是信息增益的泛化概念。這里是指節點分裂時，該特征帶來信息增益(目標函數)優化的平均值。
XGB內置的三種特征重要性計算方法3--cover
model = XGBRFClassifier(importance_type = 'cover')這個計算方法，需要在定義模型時定義。之后再調用
model.feature_importances_得到的便是基于cover的貢獻度。
'cover' - the average coverage across all splits the feature is used in.
cover形象來說，就是樹模型在分裂時，特征下的葉子節點涵蓋的樣本數除以特征用來分裂的次數。分裂越靠近根部，cover值越大。
使用場景
weight將給予數值特征更高的值，因為它的變數越多，樹分裂時可切割的空間越大。所以這個指標，會掩蓋掉重要的枚舉特征。
gain用到了熵增的概念，它可以方便的找出最直接的特征。即如果某個特征下的0,在label下全是0，則這個特征一定會排的靠前。
cover對于枚舉特征，會更友好。同時，它沒有過度擬合目標函數。不接受目標函數的量綱影響。
調用他們的方式如下
# avaliable importance_types = ['weight','gain','cover','total_gain','total_cover']
f = "gain"
XGBClassifier.get_booster().get_score(importamce_type=f)
在實踐中，也會發現，gain排出來的順序的頭尾部值差距較大，這是因為信息增益計算時，后續的優化可能都不是一個量級。類似于神經網絡在優化損失函數時，后續的量綱可能是十倍、百倍的差異。所以，綜上而言，如果有下游業務方，更建議用cover的特征重要性計算方法。當然，如果是單純的模型調優，gain能指出最重要的特征。這些特征，某些場景下還能總結成硬規則。
其他重要計算方法4 -- permutation
除了上述內置的重要性計算方法外，還有其他其他第三方計算方式。
permutation:如果這個特征很重要，那么我們打散所有樣本中的該特征，則最后的優化目標將折損。這里的折損程度，就是特征的重要程度。由于其計算依賴單一特征，所以對非線形模型更友好。同時，如果特征中存在多重共線性，共線性的特征重要性都將非常靠后。這是因為混淆單一特征，不影響另一個特征的貢獻。這樣的結果是，即使特征很重要，也會排的很靠后。
針對多重共線特征，sklearn文檔中提到了一種解決方法：計算特征間的spearman rankk-order correlations,取得每一組中的頭部特征，再進行特征重要性計算。這種方法，實際上是在解決特征共線的問題。
其他模型的特征重要性計算方法
對于同樣的樹模型，Random Forest和GBDT，同樣也有內置的特征重要性。Random Forest使用rf.feature_importances_得到特征重要性。其中，分類任務計算的是gini不純度/信息熵。回歸任務計算的是樹的方差。這種基于不純度(Mean Decrease in Impurity)的方法，實際上會有兩個問題存在：(1)會給予變量空間更大的特征更多的關注，而二分類特征則會靠后。(2)結果的擬合是基于訓練集的，存在過擬合風險，沒有驗證集數據做驗證。
? ? 針對上述的問題，建議通過out-of-bag(OOB)方法，在剩下數據上做驗證，結合Permutation計算特征重要性。此外，GBDT也是基于不純度計算的特征重要性，不過其在單棵樹上，是回歸樹，所以不是基于gini系數，而是MSE或MAE。
? ? 至于為什么他們同為樹模型，且都是基于不存度計算的重要性，但結果不同。主要有兩個，一個是它們樹結構不同；第二個則是它們的優化對象不同。
