接著上一期繼續(xù)，間隔時(shí)間稍微有點(diǎn)久了~
模型評(píng)估
從回歸模型返回的結(jié)果，我們能夠得到統(tǒng)計(jì)性數(shù)據(jù)（這里用到了statsmodels庫中回歸模型的summary方法）。
這些統(tǒng)計(jì)指標(biāo)中：
OLS：模型參數(shù)求值采用的是最小二乘法
R-squared/Adj. R-squared：體現(xiàn)回歸模型對(duì)觀測集的擬合程度
F-statistic/Prob (F-statistic)：體現(xiàn)模型總體顯著性水平（值越大模型越好），衡量模型是否能顯著預(yù)測因變量的變化。
模型假設(shè)
上面的這些統(tǒng)計(jì)指標(biāo)是否真正有效，取決于線性回歸模型的前提假設(shè)是否能夠成立，什么是前提假設(shè)呢？它們包括：
1、獨(dú)立變量不是隨機(jī)的
關(guān)于這個(gè)假設(shè)，我查閱了一些資料，一起提供給大家便于參考和理解。
參考資料：經(jīng)典回歸分析中假定解釋變量（自變量）為確定變量,目的是為了統(tǒng)計(jì)檢驗(yàn)時(shí)能方便地得出一些參數(shù)的分布。比如,在得到被解釋變量的分布時(shí)（Y = a+ bX + u）,因?yàn)?a+bX 是確定變量,則Y與u有相同的分布。另外也可以這樣理解，樣本i的解釋變量Xi是隨機(jī)的，但是當(dāng)你從觀測集中抽取出這個(gè)樣本以后，可以將其視為固定的。
2、觀測集誤差項(xiàng)的方差是恒定的
這對(duì)于評(píng)價(jià)模型預(yù)測準(zhǔn)確性的優(yōu)劣是很重要的。
參考資料：在經(jīng)典計(jì)量模型中，這是一個(gè)假設(shè)。它的邏輯基礎(chǔ)是：如果樣本來自于相同的個(gè)體，那么它的變異也相似。然而很多時(shí)候，這樣的假設(shè)條件并不滿足，比如在使用不同國家數(shù)據(jù)的時(shí)候。
3、誤差項(xiàng)不是自相關(guān)的
可以通過德賓-沃森檢驗(yàn)自相關(guān)性。如果檢驗(yàn)結(jié)果越接近2，那就越表示誤差的自相關(guān)越弱。
參考資料：經(jīng)典回歸模型誤差項(xiàng)假設(shè)：第i個(gè)誤差 ?i和第j個(gè)誤差 ?j是不相關(guān)的。誤差項(xiàng)的相關(guān)性暗示這樣的可能：當(dāng)前構(gòu)建的模型還沒有將觀測集中所包含的全部信息表達(dá)出來。比如相鄰地塊的農(nóng)業(yè)數(shù)據(jù)趨向于有相關(guān)的誤差，因?yàn)樗鼈兪芄餐耐獠凯h(huán)境的影響，即回歸方程右邊有一個(gè)“外部環(huán)境”變量被忽略，當(dāng)加入這個(gè)變量后，自相關(guān)現(xiàn)象消除。自相關(guān)對(duì)數(shù)據(jù)分析的影響：回歸系數(shù)的最小二乘估計(jì)是無偏的，但不再具有最小方差（多個(gè)解）；置信區(qū)間和各種顯著性檢驗(yàn)的結(jié)論，嚴(yán)格來說，不再可信。
說明：德賓-沃森（Durbin-Watson）統(tǒng)計(jì)檢驗(yàn)通過確定兩個(gè)相鄰誤差項(xiàng)的相關(guān)性是否為零來檢驗(yàn)誤差項(xiàng)是否存在自相關(guān)，是目前檢驗(yàn)一階自相關(guān)性最常用的方法。在線性回歸中，我們總是假設(shè)誤差項(xiàng)是彼此不相關(guān)的。如果違反相互獨(dú)立假設(shè) ，一些模型的擬合結(jié)果就會(huì)成問題。例如，誤差項(xiàng)之間的正相關(guān)往往會(huì)放大解釋變量的系數(shù)值，從而使解釋變量顯得更重要 ，而事實(shí)上它們可能并不足道。
4、誤差項(xiàng)需要呈現(xiàn)正態(tài)分布。
否則我們不能使用一些統(tǒng)計(jì)方法，例如F檢測。
參考資料：在自然條件下，理想化的誤差是真正的“隨機(jī)”，一定是正態(tài)分布的。生活中的例子如打靶，目標(biāo)是靶心，然而你打靶總有誤差。這個(gè)誤差無法消除，你可以提高打靶水平，但只能縮小離靶心的偏離距離（方差），卻無法消除總有偏差這一事實(shí)，這個(gè)偏差呈現(xiàn)正態(tài)分布，是一個(gè)客觀現(xiàn)象。一旦脫離了正態(tài)分布，往往暗示著存在潛在的解釋變量對(duì)于誤差有所影響。
這個(gè)性質(zhì)主要是針對(duì)線性回歸和OLS（普通最小二乘法）估計(jì)量而言的,再舉個(gè)例子：Y = βX + ?，其中系數(shù)β是真值（確定量而非隨機(jī)變量，不存在分布之類的概率統(tǒng)計(jì)意義上的問題）。根據(jù)高斯馬爾可夫經(jīng)典假設(shè)，解釋變量X也是確定量，從而誤差項(xiàng)β服從正態(tài)分布，將推導(dǎo)出應(yīng)變量Y也服從正態(tài)分布。
回歸分析是建立在兩個(gè)（或多個(gè)）變量存在因果關(guān)系的基礎(chǔ)之上。如果這些變量之間相互影響，并且無法確定孰因孰果，那么只能做相關(guān)分析，而不能做回歸分析。也即如果你做的是回歸分析，那么就默認(rèn)了這些變量之間是存在因果關(guān)系，其中一些變量（解釋變量）是引起另一些變量（被解釋變量）的原因，被解釋變量是由解釋變量變化引起的結(jié)果。
在這個(gè)邏輯基礎(chǔ)上，一般我們把解釋變量“默認(rèn)”為確定量，但是由于各種各樣的隨機(jī)因素的影響，被解釋變量的值不可能完全等于解釋變量的值代入模型中計(jì)算得到的結(jié)果（解釋變量為確定量，那么被解釋變量就成了不確定量，也就是隨機(jī)變量，因?yàn)橛幸恍╇S機(jī)因素在干擾，使得它不等于我們的模型計(jì)算出來的由確定的解釋變量和確定的模型形式得到的確定量）。
多元線性回歸還需要一個(gè)額外的假設(shè)：
5、解釋變量之間不存在顯著的線性關(guān)系
如不滿足，將無法保證求得的系數(shù)參數(shù)βi是唯一解（可以有很多種不同的系數(shù)參數(shù)組合，來表達(dá)同樣的線性關(guān)系）。
換句話說，也即一組解釋變量之間若存在線性關(guān)系（通過協(xié)方差計(jì)算體現(xiàn)）、互相依賴，那么對(duì)于給定的Xi，我們求出的系數(shù)參數(shù) βi 會(huì)不準(zhǔn)確。我們來看一個(gè)極端的例子，假設(shè)變量Xi 與 Xj 嚴(yán)格線性相關(guān)（假設(shè) Xi = Xj ），這時(shí)線性回歸可以是以下任意一種組合：Y = Xi + 0Xj = 0.5Xi + 0.5Xj = 0Xi + Xj ，而不會(huì)影響預(yù)測結(jié)果。
類似上面講到的，有時(shí)我們的模型系數(shù)可能是模棱兩可的，基于不同系數(shù)參數(shù)組合的模型都能很好地?cái)M合觀測集。解決含有“變量依賴”問題的一種有效方法，是剔除那些存在相關(guān)性的變量。這有助于降低模型過擬合的可能性，使這些βi系數(shù)估計(jì)值更接近于它們的真實(shí)值。
如果上述關(guān)于回歸模型的五點(diǎn)假設(shè)都能一一滿足，我們便能放心地使用統(tǒng)計(jì)指標(biāo)來評(píng)估模型。例如，R方告訴我們基于回歸模型預(yù)測的Y值總體變異分?jǐn)?shù)。當(dāng)進(jìn)行多元線性回歸時(shí)，我們更偏愛使用調(diào)整后的R方值（修正了在回歸模型中增加解釋變量而引起的R方值增大，即使他們與因變量沒有顯著的相關(guān)性）。調(diào)整后的R方計(jì)算公式如下：
公式中n是觀測集中樣本的個(gè)數(shù)，k是回歸模型中獨(dú)立變量的個(gè)數(shù)。其他有用的統(tǒng)計(jì)指標(biāo)包括F-檢驗(yàn)和估計(jì)標(biāo)準(zhǔn)差。
模型選擇
構(gòu)建回歸模型時(shí)，如果解釋變量（自變量）太多，模型可能過擬合，太少又會(huì)欠擬合。一個(gè)有效的方法是采用逐步回歸。逐步回歸是指，先建一個(gè)“空模型”模，對(duì)每個(gè)獨(dú)立的自變量進(jìn)行檢驗(yàn)，從中選擇使得模型最優(yōu)的一個(gè)（通常用赤池系數(shù)AIC或貝葉斯系數(shù)BIC取最小值）。
然后每次從剩下的自變量中選出一個(gè)增加到模型中，使用回歸檢驗(yàn)自變量組合，通過AIC與BIC找到最優(yōu)的一個(gè)選擇，依此類推最終得到最優(yōu)的模型。這種方法也有其局限性，如果特定的自變量在算法執(zhí)行的前段就被剔除出算法，該方法可能會(huì)找不到理論上的最優(yōu)模型，所以在現(xiàn)實(shí)使用中，逐步回歸法還是需要結(jié)合人為的判斷。
說了那么多，相信大家已經(jīng)看累了，其實(shí)我也說得累了，那就讓我們結(jié)合實(shí)例說明一下吧~
模型示例（自變量存在線性關(guān)系的處理）
我們先構(gòu)建一個(gè)線性模型：
隨后我們?cè)诟髯宰兞恐g設(shè)定一些關(guān)系，特別對(duì)于自變量X4，將其設(shè)置為與X1嚴(yán)格線性關(guān)系（ = 5X1），具體如下：
對(duì)其進(jìn)行可視化：
使用statsmodels進(jìn)行多元線性回歸，求出自變量的系數(shù)參數(shù)：
結(jié)果β2與β3系數(shù)參數(shù)估計(jì)值還是很準(zhǔn)確的，但β1和β4系數(shù)參數(shù)則存在較大誤差，說明了自變量間的嚴(yán)格線性關(guān)系會(huì)導(dǎo)致回歸系數(shù)存在多重解（逐步回歸法并不能處理該問題）這時(shí)可考慮剔除X4。原理前文提到了，如果X1與X4存在嚴(yán)格線性關(guān)系（如X1=X2），那么線性方程就可以轉(zhuǎn)化出無數(shù)的可能性 ( Y = X1 + X2 = 0.5X1 + 1.5X2 = 1.5X1 + 0.5X2 ) ，只需要保留其中一個(gè)解釋變量，同時(shí)調(diào)整對(duì)應(yīng)的參數(shù)系數(shù)即可。
