1.缺失值/異常值處理
這里分四種情況討論（當然具體使用哪種方法還是要根據具體業務進行分析和調整哈~）：
- 數據量很大，缺失值較少：因為有足夠的數據量，刪除小部分數據可能對結果影響不大，因此這種情況我可能把缺失數據對應的行刪除。
- 數據量很大，缺失值較多：如果這個特征很重要，可能需要做一下插值，如果這個特征不是很重要，我會把整個特征刪掉。
- 數據量不大，缺失值較少：因為數據量不是很大，如果直接刪除對應的數據，數據量就會更少，對模型的訓練造成影響，因此這種情況我可能會進行插值。
- 數據量不大，缺失值較多：如果這個特征很重要，可能需要做一下插值，如果這個特征不是很重要，我會把整個特征刪掉。
##用均值插值,也可以用中位數"median",眾數"most_frequent"
from sklearn.impute import SimpleImputer
imp = SimpleImputer(missing_values=np.nan, strategy='mean')
###from sklearn import preprocessing老版本
####imp =preprocessing.Imputer(missing_values='NaN', strategy='mean', axis=0)
X=np.array([[1, 2], [np.nan, 3], [7, 6]])
imp.fit(X)
imp.transform(X)
Out[184]:
array([[ 1., 2.],
[ 4., 3.],
[ 7., 6.]])
2.定量特征二值化
有些數值特征可能沒有實際的數值意義，需要將其轉化成布爾值，如邏輯回歸中需要將結果映射成0、1變量，可以用sklearn中的Binarizer（）方法。
from sklearn import preprocessing
import numpy as np
x = np.array([
[ 1., -1., 2.],
[ 2., 0., 0.],
[ 0., 1., -1.]])
###默認threshld = 0.0，即大于0.0的映射成1，小于等于0.0的映射成0
bina = preprocessing.Binarizer(threshold=1.0)
bina_x = bina.fit_transform(x)
Out[90]:
array([[ 0., 0., 1.],
[ 1., 0., 0.],
[ 0., 0., 0.]])
3. 定性特征啞編碼(one-hot encoding)
有些類別類型的變量一般無法直接應用在需要進行數值型計算的算法里，比如 LR，可以對這類特征變成多個二值特征(但這些特征會線性相關，因此在做回歸時，需要剔除一個特征，這個剔除的特征可以用其它特征線性表出)。例如，數據集中有2種性別[male,female]，三種可能的地方[line1,line2,other]，則會生成5個特征，前2個特征為編碼性別，接下來3個特征為地方編碼。可以有兩種實現方式：一種用sklearn自帶的OneHotEncoder()，但是這個方法要求輸入數據是數值型，即需要將[male,female]轉化成[1,0]這種類型；另一種實現方式是用pandas庫中的get_dummies()函數，這個不需要轉換，并且如果有數值類型的特征不需要啞編碼的時候，這種方法是比較適用的，它會自動檢測到，只對類別型變量進行啞編碼。
from sklearn import preprocessing
import pandas as pd
df = pd.DataFrame({'sex':['male','female','male'],'city':['line1','line2','other'],'value':[1,2,3.5]})
pd.get_dummies(df)
Out[164]:
value city_line1 city_line2 city_other sex_female sex_male
0 1.0 1 0 0 0 1
1 2.0 0 1 0 1 0
2 3.5 0 0 1 0 1
##用OneHotEncoder()
enc = preprocessing.OneHotEncoder()
df = pd.DataFrame({'city':[0,1,2],'sex':[1,0,1]})
enc.fit_transform(df).toarray()
Out[169]:
array([[ 1., 0., 0., 0., 1.],
[ 0., 1., 0., 1., 0.],
[ 0., 0., 1., 0., 1.]])
注意：啞編碼后的特征都是線性相關的，例如：上面的前3列是線性相關的，l3 = -l2 - l1 + 1,后兩列也是線性相關的，l4 = -l5 +1,其中li 表示第i列，因此在做模型訓練的時候要把其中相關的特征去掉，對于回歸模型尤其重要。
4. 數據標準化/中心化/歸一化
為了取消由于量綱不同、自身變異或者數值相差較大所引起的誤差，即使變量無量綱化，通常用到的方法有標準化，中心化，歸一化等。
-
數據標準化（或者零-均值標準化）：
其中μ是樣本的均值，σ是樣本的標準差。
from sklearn import preprocessing
scaler = preprocessing.StandardScaler().fit(x)
scaler.transform(x)
Out[93]:
array([[ 0. , -1.22474487, 1.33630621],
[ 1.22474487, 0. , -0.26726124],
[-1.22474487, 1.22474487, -1.06904497]])
-
數據中心化：
其中μ是樣本的均值。
這個sklearn好像沒有現成的代碼，不過這個也很簡單，我自己寫了一個。
##axis=0，表示按列求均值
x-np.mean(x, axis=0)
Out[96]:
array([[ 0. , -1. , 1.66666667],
[ 1. , 0. , -0.33333333],
[-1. , 1. , -1.33333333]])
-
數據歸一化：
其中min是樣本中最小值，max是樣本中最大值，最大值與最小值非常容易受異常點影響。
from sklearn import preprocessing
minmaxscaler = preprocessing.MinMaxScaler()
minmaxscaler.fit_transform(x)
Out[100]:
array([[ 0.5 , 0. , 1. ],
[ 1. , 0.5 , 0.33333333],
[ 0. , 1. , 0. ]])
5.生成多項式特征
在特征構造時，我們可能需要構造一些非線性特征或交叉特征，sklearn也提供了相應的函數，如果有兩個特征（x1,x2）,則構造完后會生成（1, X1, X2, X1^2, X1X2, X2^ 2），python代碼如下：
from sklearn import preprocessing
##構造2次多項式， 默認也是2次
poly = preprocessing.PolynomialFeatures(2)
poly_x = poly.fit_transform(x)
poly_x
Out[110]:
array([[ 1., 1., -1., 2., 1., -1., 2., 1., -2., 4.],
[ 1., 2., 0., 0., 4., 0., 0., 0., 0., 0.],
[ 1., 0., 1., -1., 0., 0., -0., 1., -1., 1.]])
##查看多項式的名字
poly.get_feature_names()
Out[107]: ['1', 'x0', 'x1', 'x2', 'x0^2', 'x0 x1', 'x0 x2', 'x1^2', 'x1 x2', 'x2^2']
個人見解，如有錯誤，歡迎指正呀~
后面會繼續補充，歡迎關注呀~
