1、模型原理

（另一臺電腦上，待補充）
　回顧下線性回歸的損失函數(shù)，由于線性回歸是連續(xù)的，所以可以使用模型誤差的的平方和來定義損失函數(shù)。但是邏輯回歸不是連續(xù)的，自然線性回歸損失函數(shù)定義的經(jīng)驗就用不上了。不過我們可以用最大似然法來推導(dǎo)出我們的損失函數(shù)。

2、Python3中sklearn關(guān)于Logistic回歸的代碼實現(xiàn)

（1）概述
　　在scikit-learn中，與邏輯回歸有關(guān)的主要是這3個類。LogisticRegression， LogisticRegressionCV 和logistic_regression_path。
　　其中LogisticRegression和LogisticRegressionCV的主要區(qū)別是：
　　LogisticRegressionCV使用了交叉驗證來選擇正則化系數(shù)C。而LogisticRegression需要自己每次指定一個正則化系數(shù)。
　　即LogisticRegression不做交叉驗證 ，也就是整個輸入作為訓(xùn)練集來訓(xùn)練模型參數(shù)。而LogisticRegressionCV則會將訓(xùn)練集分成若干份，每次選擇一部分訓(xùn)練集來訓(xùn)練模型，一部分樣本做驗證集來測試模型優(yōu)劣，多次驗證后選擇最好的模型參數(shù)。
　　所以兩者肯定有差異。一般來說，會用后面一個。不過如果你用了其他一些網(wǎng)格搜索方法(比如 GridSearchCV)，自帶交叉驗證的話，那么用第一個就可以了。
　　除了交叉驗證，以及選擇正則化系數(shù)C以外， LogisticRegression和LogisticRegressionCV的使用方法基本相同。
　　logistic_regression_path類則比較特殊，它擬合數(shù)據(jù)后，不能直接來做預(yù)測，只能為擬合數(shù)據(jù)選擇合適邏輯回歸的系數(shù)和正則化系數(shù)。主要是用在模型選擇的時候。一般情況用不到這個類，所以后面不再講述logistic_regression_path類。
　　　此外，scikit-learn里面有個容易讓人誤解的類RandomizedLogisticRegression,雖然名字里有邏輯回歸的詞，但是主要是用L1正則化的邏輯回歸來做特征選擇的，屬于維度規(guī)約的算法類，不屬于我們常說的分類算法的范疇。

（２）LogisticRegression和LogisticRegressionCV參數(shù)介紹

sklearn.linear_model.LogisticRegression (penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’liblinear’, max_iter=100, multi_class=’ovr’, verbose=0, warm_start=False, n_jobs=1)

sklearn.linear_model.LogisticRegressionCV(Cs=10, fit_intercept=True, cv=None, dual=False, penalty=’l2’, scoring=None, solver=’lbfgs’, tol=0.0001, max_iter=100, class_weight=None, n_jobs=1, verbose=0, refit=True, intercept_scaling=1.0, multi_class=’ovr’, random_state=None)

關(guān)鍵參數(shù)介紹：
　　－penalty, 字符型，可選‘l1’ or ‘l2’, 默認為 ‘l2’，這個參數(shù)是選擇正則化項的，分別對應(yīng)的L1正則化和L2正則化。
　　在調(diào)參時如果我們主要的目的只是為了解決過擬合，一般penalty選擇L2正則化就夠了。但是如果選擇L2正則化發(fā)現(xiàn)還是過擬合，即預(yù)測效果差的時候，就可以考慮L1正則化。另外，如果模型的特征非常多，我們希望一些不重要的特征系數(shù)歸零，從而讓模型系數(shù)稀疏化的話，也可以使用L1正則化。
　　penalty參數(shù)的選擇會影響我們損失函數(shù)優(yōu)化算法的選擇。即參數(shù)solver的選擇，如果是L2正則化，那么4種可選的算法{‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’}都可以選擇。但是如果penalty是L1正則化的話，就只能選擇‘liblinear’了。這是因為L1正則化的損失函數(shù)不是連續(xù)可導(dǎo)的，而{‘newton-cg’, ‘lbfgs’,‘sag’}這三種優(yōu)化算法時都需要損失函數(shù)的一階或者二階連續(xù)導(dǎo)數(shù)。而‘liblinear’并沒有這個依賴。
　　具體使用了這4個算法有什么不同以及有什么影響，在solver參數(shù)作出說明。

? ??? －solver, 字符型，可選‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’, ‘saga’, LR默認為'liblinear'，LRCV默認為 ‘lbfgs’，這個參數(shù)決定了我們對邏輯回歸損失函數(shù)的優(yōu)化方法，有4種算法可以選擇，分別是：
　　a) liblinear：使用了開源的liblinear庫實現(xiàn)，內(nèi)部使用了坐標(biāo)軸下降法來迭代優(yōu)化損失函數(shù)。
　　b) lbfgs：擬牛頓法的一種，利用損失函數(shù)二階導(dǎo)數(shù)矩陣即海森矩陣來迭代優(yōu)化損失函數(shù)。
　　c) newton-cg：也是牛頓法家族的一種，利用損失函數(shù)二階導(dǎo)數(shù)矩陣即海森矩陣來迭代優(yōu)化損失函數(shù)。
　　d) sag：即隨機平均梯度下降，是梯度下降法的變種，和普通梯度下降法的區(qū)別是每次迭代僅僅用一部分的樣本來計算梯度，適合于樣本數(shù)據(jù)多的時候。
　　d) saga：隨機優(yōu)化SAG的變種。

從上面的描述可以看出，newton-cg, lbfgs和sag這三種優(yōu)化算法時都需要損失函數(shù)的一階或者二階連續(xù)導(dǎo)數(shù)，因此不能用于沒有連續(xù)導(dǎo)數(shù)的L1正則化，只能用于L2正則化。而liblinear通吃L1正則化和L2正則化。

同時，sag每次僅僅使用了部分樣本進行梯度迭代，所以當(dāng)樣本量少的時候不要選擇它，而如果樣本量非常大，比如大于10萬，sag是第一選擇。但是sag不能用于L1正則化，所以當(dāng)你有大量的樣本，又需要L1正則化的話就要自己做取舍了。要么通過對樣本采樣來降低樣本量，要么回到L2正則化。

從上面的描述，大家可能覺得，既然newton-cg, lbfgs和sag這么多限制，如果不是大樣本，我們選擇liblinear不就行了嘛！錯，因為liblinear也有自己的弱點！我們知道，邏輯回歸有二元邏輯回歸和多元邏輯回歸。對于多元邏輯回歸常見的有one-vs-rest(OvR)和many-vs-many(MvM)兩種。而MvM一般比OvR分類相對準(zhǔn)確一些。郁悶的是liblinear只支持OvR，不支持MvM，這樣如果我們需要相對精確的多元邏輯回歸時，就不能選擇liblinear了。也意味著如果我們需要相對精確的多元邏輯回歸不能使用L1正則化了。

具體OvR和MvM有什么不同我們下一節(jié)講。

官方說明：
對于小型數(shù)據(jù)集，'liblinear'是一個不錯的選擇，而'sag'和'saga'對大的數(shù)據(jù)集來說速度更快。
對于多類問題，只有'newton-cg'，'sag'，'saga'和'lbfgs'能處理多項式損失（可能就是我們常說的MvM）; 'liblinear'僅限于OvR的情況。
'newton-cg'，'lbfgs'和'sag'只能處理L2正則化，而'liblinear'和'saga'可以處理L1正則化，原因在上面已經(jīng)提到。

“l(fā)iblinear”在LogisticRegressionCV中可能會更慢，因為它不處理熱啟動。

請注意，“sag”和“saga”快速收斂僅在具有大致相同比例的特征上得到保證。可以使用sklearn.preprocessing中的縮放器預(yù)處理數(shù)據(jù)。

? ??? －multi_class, 字符型，可選為‘ovr’,或者‘multinomial’，默認為‘ovr’。這個參數(shù)決定我們的分類方式。
　　ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元邏輯回歸，ovr和multinomial并沒有任何區(qū)別，區(qū)別主要在多元邏輯回歸上。
　　OvR的思想很簡單，無論你是多少元邏輯回歸，我們都可以看做二元邏輯回歸。具體做法是，對于第K類的分類決策，我們把所有第K類的樣本作為正例，除了第K類樣本以外的所有樣本都作為負例，然后在上面做二元邏輯回歸，得到第K類的分類模型。其他類的分類模型獲得以此類推。
　　而MvM則相對復(fù)雜，這里舉MvM的特例one-vs-one(OvO)作講解。如果模型有T類，我們每次在所有的T類樣本里面選擇兩類樣本出來，不妨記為T1類和T2類，把所有的輸出為T1和T2的樣本放在一起，把T1作為正例，T2作為負例，進行二元邏輯回歸，得到模型參數(shù)。我們一共需要T(T-1)/2次分類。
　　從上面的描述可以看出OvR相對簡單，但分類效果相對略差（這里指大多數(shù)樣本分布情況，某些樣本分布下OvR可能更好）。而MvM分類相對精確，但是分類速度沒有OvR快。
　　如果選擇了ovr，則4種損失函數(shù)的優(yōu)化方法liblinear，newton-cg, lbfgs和sag都可以選擇。但是如果選擇了multinomial,則只能選擇newton-cg, lbfgs和sag了。

? ??? －class_weight,可以自己設(shè)置為dict形式（即{0:0.2,1:0.8}此種形式，為每個類別賦權(quán)）或者為‘balanced’，默認為None。這個參數(shù)是來確定類別權(quán)重的。
　　當(dāng)默認None不填的時候，即不考慮權(quán)重，或者說所有類型的權(quán)重一樣。
　　當(dāng)自定義dict的時候，則按照自定義的權(quán)重。
　　當(dāng)選擇‘balanced’的時候，那么類庫會根據(jù)訓(xùn)練樣本量來計算權(quán)重。某種類型樣本量越多，則權(quán)重越低，樣本量越少，則權(quán)重越高。
　　那么class_weight有什么作用呢？在分類模型中，我們經(jīng)常會遇到兩類問題：
　　第一種是誤分類的代價很高。比如對合法用戶和非法用戶進行分類，將非法用戶分類為合法用戶的代價很高，我們寧愿將合法用戶分類為非法用戶，這時可以人工再甄別，但是卻不愿將非法用戶分類為合法用戶。這時，我們可以適當(dāng)提高非法用戶的權(quán)重。
　　第二種是樣本是高度失衡的，比如我們有合法用戶和非法用戶的二元樣本數(shù)據(jù)10000條，里面合法用戶有9995條，非法用戶只有5條，如果我們不考慮權(quán)重，則我們可以將所有的測試集都預(yù)測為合法用戶，這樣預(yù)測準(zhǔn)確率理論上有99.95%，但是卻沒有任何意義。這時，我們可以選擇balanced，讓類庫自動提高非法用戶樣本的權(quán)重。
　　提高了某種分類的權(quán)重，相比不考慮權(quán)重，會有更多的樣本分類劃分到高權(quán)重的類別，從而可以解決上面兩類問題。
　　當(dāng)然，對于第二種樣本失衡的情況，我們還可以考慮用下一節(jié)講到的樣本權(quán)重參數(shù)： sample_weight，而不使用class_weight。sample_weight在下一節(jié)講。

? ??? －sample_weight,這個參數(shù)不是在模型訓(xùn)練時需要設(shè)定的參數(shù)，而是在fit時，可能會用到的。為數(shù)組array格式。
　　由于樣本可能存在不失衡的問題，導(dǎo)致樣本不是總體樣本的無偏估計，從而可能導(dǎo)致我們的模型預(yù)測能力下降。遇到這種情況，我們可以通過調(diào)節(jié)樣本權(quán)重來嘗試解決這個問題。調(diào)節(jié)樣本權(quán)重的方法有兩種，第一種是在class_weight使用balanced。第二種是在調(diào)用fit函數(shù)時，通過sample_weight來自己調(diào)節(jié)每個樣本權(quán)重。
　　在scikit-learn做邏輯回歸時，如果上面兩種方法都用到了，那么樣本的真正權(quán)重是class_weight*sample_weight.

其它通用參數(shù)介紹：
? ??? －dual，布爾型，默認值是False。
　　Ture時，表示使用dual formulation，僅僅適用于liblinear且L2正則化時。
　　False時，表示使用primal formulation，當(dāng)n_samples > n_features，首選False。

? ??? －tol，浮點型，默認值為1e-4，該參數(shù)用于指定判斷算法收斂的閾值。

? ??? －fit_intercept，布爾型，默認值為True，指定是否應(yīng)將常量（即平常所說的偏差或截距）添加到?jīng)Q策函數(shù)中。

? ??? －intercept_scaling，浮點型，默認為1。
　　只有當(dāng)使用liblinear且fit_intercept設(shè)置為ture的時候，該參數(shù)才有用。
　　在這種情況下，x變?yōu)閇x，intercept_scaling]，即一個“合成”特征被附加到實例向量中， 該“合成”特征的常數(shù)值等于intercept_scaling。
　　截距變?yōu)閕ntercept_scaling * synthetic_feature_weight。
　　注意！ 合成特征權(quán)重與所有其他特征一樣，需經(jīng)過L1 / L2正則化。 為了減小正則化對合成特征權(quán)重（并因此對截距）的影響，必須增加intercept_scaling。

? ??? －random_state，可選，可以是int整數(shù)型，也可以是RandomState instance， 或者是 None。默認是None。只有當(dāng)solver選擇‘sag’ 或者是‘liblinear’時使用。
　　該參數(shù)表示在隨機數(shù)據(jù)混洗時使用的偽隨機數(shù)生成器的種子。
　　如果是int，則random_state是隨機數(shù)生成器使用的種子;
　　如果是RandomState實例，則random_state是隨機數(shù)生成器;
　　如果為None，則隨機數(shù)生成器是np.random使用的RandomState實例。

? ??? －max_iter，整數(shù)型，默認值為100。僅適用于solver選擇newton-cg，sag和lbfgs時，表示求解器收斂的最大迭代次數(shù)。

? ??? －verbose，整數(shù)型，默認值為0，適用于solver選擇liblinear或bfgs時，將verbose設(shè)置為任何正數(shù)以表示冗長度。

? ??? －n_jobs，整數(shù)型，默認值為1，僅適用于multi_class=ovr時，用于指定并行運算的CPU數(shù)量。且，需要注意的是，如果solver選擇liblinear，則不管multi_class設(shè)置為ovr或multinomial，這個參數(shù)都會被忽略。
　　如果給定值為-1，則使用所有CPU。

LogisticRegression個性化參數(shù)介紹：

? ??? －C，浮點型，默認值為1.0。該參數(shù)表示正則化的懲罰系數(shù)。應(yīng)該是一個正的浮點數(shù)。

? ??? －warm_start，布爾型，默認值為False。
　　設(shè)置為True時，下次訓(xùn)練是以追加的形式進行，否則，就會重新全部計算。
　　warm_start對于liblinear沒用，支持lbfgs，newton-cg，sag，saga。

LogisticRegressionCV個性化參數(shù)介紹：

? ??? －Cs，一個整數(shù)型或浮點型數(shù)的列表，默認為１０。
Each of the values in Cs describes the inverse of regularization strength. If Cs is as an int, then a grid of Cs values are chosen in a logarithmic scale between 1e-4 and 1e4. Like in support vector machines, smaller values specify stronger regularization.

? ??? －cv，可以是整數(shù)型，或者是一個交叉驗證生成器，默認為Ｎone.
　　默認的交叉驗證生成器是分層K-Folds。
　　如果設(shè)定為某一整數(shù)，則它代表使用的折疊數(shù)（即我們說的10折交叉驗證之類的。）

? ??? －refit，布爾型，默認為Ture。
　　If set to True, the scores are averaged across all folds, and the coefs and the C that corresponds to the best score is taken, and a final refit is done using these parameters.
　　Otherwise the coefs, intercepts and C that correspond to the best scores across folds are averaged.
　　我的理解是，如果選擇ture，則coefs和c的值是在多次交叉驗證中，選擇表現(xiàn)最好的那組參數(shù)值。如果是false，則coefs和c的值是取多次交叉驗證過程中，得到的多組參數(shù)值的平均數(shù)。（望指正！）

參考文獻：
官方說明文檔LogisticRegression
官方說明文檔LogisticRegressionCV
劉建平博客：scikit-learn 邏輯回歸類庫使用小結(jié) 以及 邏輯回歸原理小結(jié)