梯度下降和線性回歸（二）波士頓房價python代碼實現

一.多元線性回歸方程

假設樣本中有m個特征量，那么對應的線性回歸方程如下
$\hat{y} =\theta_{1} x_{1} + \theta_{2} x_{2} +...+ \theta_{m} x_{m}$

二.損失函數的構造

假設樣本中有n個訓練集

訓練集

Loss=\frac{1}{2n} \sum_{i=1}^n(y_{i} -\hat{y}_ {i} )

在m個輸出變量y中，用實際值減去回歸方程中的預測值，平方求和再求均值來反映回歸方程中的輸出值與實際輸出值的偏差程度平方求和可以避免

y_{i} -\hat{y}_ {i}

不同的正負情況在求和過程中抵消偏差，假如對于某一列中

y_{i} -\hat{y}_ {i}

,另一列中

y_{i} -\hat{y}_ {i}

,實際這兩列都有偏差，不平方的的話對應損失為0，顯然不妥。

三.迭代過程

利用梯度下降原理來將損失函數不斷變小直至收斂，如果對梯度下降不是很清楚的話，可以了解梯度下降和線性回歸（一）附python代碼實現 - 簡書。
$\theta _{i} =\theta _{i} -\alpha \frac{\sigma L(\theta )}{\sigma \theta_{i} }$
$b=b-\alpha \frac{\sigma L(\theta )}{\sigma b }$
$\hat{y}_{i} =\theta_{1} x_{i1} + \theta_{2} x_{i2} +...+ \theta_{m} x_{im}$
$Loss=\frac{1}{2n} \sum_{i=1}^n(y_{i} -\hat{y}_ {i} )$
$\frac{\sigma L(\theta )}{\sigma \theta_{i} } =-\frac{1}{n} \sum_{i=1}^n(y_{i} -\hat{y}_{i} )\frac{1}{n} \sum_{i=1}^n x_{i}$
$\frac{\sigma L(\theta )}{\sigma b } =-\frac{1}{n} \sum_{i=1}^n(y_{i} -\hat{y}_{i} )$
所以：
$\theta _{i} =\theta _{i} +\frac{1}{n} \sum_{i=1}^n(y_{i} -\hat{y}_{i} )\frac{1}{n} \sum_{i=1}^n x_{i}$
$b=b+\alpha \frac{1}{n} \sum_{i=1}^n(y_{i} -\hat{y}_{i} )$

四.利用多元線性回歸分析波士頓房價

#調用庫

import matplotlib.pyplot as plt

import numpy as np

import pandas as pd

import math

#查看數據集的前30行

df = pd.read_csv("波士頓房價2.csv", index_col=None)

df.head(30)  # 查看數據集的前30行

效果如下：

訓練集

需要下載數據集的可以訪問百度網盤請輸入提取碼,提取碼1p23

CRIM=floor.loc[:,'CRIM'].values
ZN=floor.loc[:,'ZN'].values
INDUS=floor.loc[:,'INDUS'].values
CHAS=floor.loc[:,'CHAS'].values
NOX=floor.loc[:,'NOX'].values
RM=floor.loc[:,'RM'].values
AGE=floor.loc[:,'AGE'].values
DIS=floor.loc[:,'DIS'].values
RAD=floor.loc[:,'RAD'].values
TAX=floor.loc[:,'TAX'].values
PTRATIO=floor.loc[:,'PTRATIO'].values
LSTAT=floor.loc[:,'LSTAT'].values
MEDV=floor.loc[:,'MEDV'].values

各個特征量含義如下：
CRIM: 城鎮人均犯罪率
ZN: 住宅用地所占比例
INDUS: 城鎮中非住宅用地所占比例
CHAS: 虛擬變量,用于回歸分析
NOX: 環保指數
RM: 每棟住宅的房間數
AGE: 1940 年以前建成的自住單位的比例
DIS: 距離 5 個波士頓的就業中心的加權距離
RAD: 距離高速公路的便利指數
TAX: 每一萬美元的不動產稅率
PTRATIO: 城鎮中的教師學生比例
B: 城鎮中的黑人比例
LSTAT: 地區中有多少房東屬于低收入人群
MEDV: 自住房屋房價中位數（也就是均價）
在進行梯度下降前，我們需要分割一下數據集，查看數據集大小后，按8:2的比例，將數據集的前406行作為訓練集，后面100行作為測試集

訓練集大小

測試集劃分

測試集

受能力影響，筆者用最比較繁瑣的代碼實現了梯度下降更新，如果熟悉矩陣乘法，需要簡單的實現，可以參考多元線性回歸-波士頓房價預測問題python_W_yu_cheng的博客-CSDN博客_波士頓房價問題數學建模。代碼如下

#梯度下降法優化擬合方程
#設定參數
learning_rate = 0.001
l=len(MEDV)-106
#損失函數
def L(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return pow(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y,2)/(2*l)
#損失函數關于theta1求偏導
def L1(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x1*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta2求偏導
def L2(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x2*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta3求偏導
def L3(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x3*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta4求偏導
def L4(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x4*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta5求偏導
def L5(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x5*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta6求偏導
def L6(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x6*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta7求偏導
def L7(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x7*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta8求偏導
def L8(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x8*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta9求偏導
def L9(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x9*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta10求偏導
def L10(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x10*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta11求偏導
def L11(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x11*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta12求偏導
def L12(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -x12*(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數關于theta0求偏導
def L13(x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,y,theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12):
    return -(theta1*x1+theta2*x2+theta3*x3+theta4*x4+theta5*x5+theta6*x6+theta7*x7+theta8*x8+theta9*x9+theta10*x10+theta11*x11+theta12*x12+theta0-y)/l
#損失函數值變化記錄數組
Loss=[]
#未迭代時的損失函數
Loss0=0
for i in range(l):
    Loss0=Loss0+L(CRIM[i],ZN[i],INDUS[i],CHAS[i],NOX[i],RM[i],AGE[i],DIS[i],RAD[i],TAX[i],PTRATIO[i],LSTAT[i],MEDV[i],10,10,10,10,10,10,10,10,10,10,10,10,10)
Loss.append(Loss0)
#初始化theta0 theta1
theta0=10
theta1=10
theta2=10
theta3=10
theta4=10
theta5=10
theta6=10
theta7=10
theta8=10
theta9=10
theta10=10
theta11=10
theta12=10
#進行迭代
for i in range(2000):
    dertheta0=0
    dertheta1=0
    dertheta2=0
    dertheta3=0
    dertheta4=0
    dertheta5=0
    dertheta6=0
    dertheta7=0
    dertheta8=0
    dertheta9=0
    dertheta10=0
    dertheta11=0
    dertheta12=0
    dertheta13=0
    Loss1=0
    for j in range(l):
        dertheta0=dertheta0+L13(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta1=dertheta0+L1(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta2=dertheta0+L2(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta3=dertheta0+L3(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta4=dertheta0+L4(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta5=dertheta0+L5(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)   
        dertheta6=dertheta0+L6(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta7=dertheta0+L7(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)  
        dertheta8=dertheta0+L8(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12) 
        dertheta9=dertheta0+L9(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta10=dertheta0+L10(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta11=dertheta0+L11(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
        dertheta12=dertheta0+L12(CRIM[j],ZN[j],INDUS[j],CHAS[j],NOX[j],RM[j],AGE[j],DIS[j],RAD[j],TAX[j],PTRATIO[j],LSTAT[j],MEDV[j],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
    theta0=theta0+learning_rate*dertheta0
    theta1=theta1+learning_rate*dertheta1
    theta2=theta2+learning_rate*dertheta2
    theta3=theta3+learning_rate*dertheta3
    theta4=theta4+learning_rate*dertheta4
    theta5=theta5+learning_rate*dertheta5
    theta6=theta6+learning_rate*dertheta6
    theta7=theta7+learning_rate*dertheta7
    theta8=theta8+learning_rate*dertheta8
    theta9=theta9+learning_rate*dertheta9
    theta10=theta10+learning_rate*dertheta10
    theta11=theta11+learning_rate*dertheta11
    theta12=theta12+learning_rate*dertheta12
    for k in range(l):
        Loss1=Loss1+L(CRIM[k],ZN[k],INDUS[k],CHAS[k],NOX[k],RM[k],AGE[k],DIS[k],RAD[k],TAX[k],PTRATIO[k],LSTAT[k],MEDV[k],theta0,theta1,theta2,theta3,theta4,theta5,theta6,theta7,theta8,theta9,theta10,theta11,theta12)
    Loss.append(Loss1)

在梯度下降更新完成后，我們來看一下損失函數的收斂曲線圖

損失函數收斂圖

將特征變量放入一個數組中

特征變量數組

最后我們來查看一下測試集情況

for i in range(100):

    print("true:\t{}".format(test_y[i]),end="\t")

    pre = np.dot(theta,test_x[i])+theta0

    print("guess:\t{}".format(pre))

plt.show()

測試集情況

最后編輯于：2022.01.27 20:47:31

?著作權歸作者所有,轉載或內容合作請聯系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 227,224評論 6贊 529
死咒
序言：濱河連續發生了三起死亡事件，死亡現場離奇詭異，居然都是意外死亡，警方通過查閱死者的電腦和手機，發現死者居然都...
沈念sama閱讀 97,916評論 3贊 413
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事。” “怎么了？”我有些...
開封第一講書人閱讀 175,014評論 0贊 373
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長。經常有香客問我，道長，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 62,466評論 1贊 308
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮，結果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當我...
茶點故事閱讀 71,245評論 6贊 405
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著，像睡著了一般。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發上，一...
開封第一講書人閱讀 54,795評論 1贊 320
城市分裂傳說
那天，我揣著相機與錄音，去河邊找鬼。笑死，一個胖子當著我的面吹牛，可吹牛的內容都是我干的。我是一名探鬼主播，決...
沈念sama閱讀 42,869評論 3贊 440
雙鴛鴦連環套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 42,010評論 0贊 285
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后，有當地人在樹林里發現了一具尸體，經...
沈念sama閱讀 48,524評論 1贊 331
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 40,487評論 3贊 354
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發現自己被綠了。大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 42,634評論 1贊 366
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
沈念sama閱讀 38,173評論 5贊 355
?日本核電站爆炸內幕
正文年R本政府宣布，位于F島的核電站，受9級特大地震影響，放射性物質發生泄漏。R本人自食惡果不足惜，卻給世界環境...
茶點故事閱讀 43,884評論 3贊 345
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 34,282評論 0贊 25
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至，卻和暖如春，著一層夾襖步出監牢的瞬間，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 35,541評論 1贊 281
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。一個月前我還...
沈念sama閱讀 51,236評論 3贊 388
代替公主和親
正文我出身青樓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 47,623評論 2贊 370

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

梯度下降和線性回歸（二）波士頓房價python代碼實現

梯度下降和線性回歸（二）波士頓房價python代碼實現

一.多元線性回歸方程

二.損失函數的構造

三.迭代過程

四.利用多元線性回歸分析波士頓房價

測試集劃分

將特征變量放入一個數組中

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

梯度下降和線性回歸（二）波士頓房價python代碼實現

一.多元線性回歸方程

二.損失函數的構造

三.迭代過程

四.利用多元線性回歸分析波士頓房價

測試集劃分

將特征變量放入一個數組中

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频