編者注：本文包含了使用Python2.X讀取數據、數據處理、作圖，構建梯度下降法函數求解一元線性回歸，并對結果進行可視化展示，是非常綜合的一篇文章，包含了Python的數據操作、可視化與機器學習等內容。學習了這一篇文章就大概了解或掌握相關Python編程與數據分析等內容。另外，本文還巧妙地進行了一個設計，這使得本文Python代碼也可用于多元線性回歸，這是區別與現有網絡上大多數梯度下降法求解線性回歸的Python實現不同，具體會在文中說明。
五、構造梯度下降法求解回歸的函數
根據相關文獻，梯度下降法的主要精髓在于梯度、下降，也就是計算損失函數的梯度，然后在初始值下不斷下降，尋找迭代之后損失函數達到最小的數值。對于我們的函數J(θ)求偏導J：
下面是更新的過程，也就是θi會向著梯度最小的方向進行減少。θi表示更新之前的值，-后面的部分表示按梯度方向減少的量，α表示步長（學習率），也就是每次按照梯度減少的方向變化多少。
這一方法也稱為批量梯度下降。其代碼如下：
def gradientDescent(X, y, theta, alpha, iters):
temp = np.matrix(np.zeros(theta.shape)) #構建零值矩陣
parameters = int(theta.ravel().shape[1]) #計算需要求解的參數個數
cost = np.zeros(iters) #構建iters個0的數組
for i in range(iters):
error = (X * theta.T) – y #計算hθ(x)-y
for j in range(parameters):
term = np.multiply(error, X[:,j]) #計算兩矩陣(hθ(x)-y)x
temp[0,j] = theta[0,j] - ((alpha / len(X)) * np.sum(term))
theta = temp
cost[i] = computeCost(X, y, theta)
return theta, cost
在這里alpha為學習率，iters為迭代次數。先構造一些零值矩陣或數組，然后再根據梯度下降法最后得到的計算公式來得到求解值theta，即temp[0,j] = theta[0,j] - ((alpha / len(X)) * np.sum(term))，中簡摻雜一些矩陣的計算準備。
輸入學習率、迭代次數等初始值，就可以得到求解回歸的參數值。
alpha = 0.001
iters = 100000
theta = np.matrix(np.array([0,0]))
# perform gradient descent to "fit" the model parameters
g, cost = gradientDescent(X, y, theta, alpha, iters)
g
得到結果為：g=[12.0805357, 0.14831209]T，其最終損失函數值為：
···
computeCost(X, y, g)
···
結果為3.1228871926562922，在這里需要注意梯度下降法的結果與學習率、迭代次數等初始值設置有關，學習率太大會使得梯度下降幅度太大，有可能越過最小值，而太小了，又會使迭代過程變慢。迭代次數的設置也有可能使得最終結果沒有落在損失函數最小的那一次結果上，因此在這里得到的梯度下降法，其損失函數值并未比最小二乘法優越多少。
六、梯度下降法求解結果的可視化
將梯度下降法得到的擬合曲線與（x，y）散點放在一起，展示結果擬合程度的可視化。分別用plot、scatter命令建立折線和散點，并使用fig, ax = plt.subplots(figsize=(8,6))將兩圖放在一起。
···
x = np.linspace(data.mpg.min(), data.mpg.max(), 100) #創建mpg數據的等差數列
f = g[0, 0] + (g[0, 1] * x #依據擬合方程創建f值
fig, ax = plt.subplots(figsize=(8,6))
ax.plot(x, f, 'r', label='Prediction')
ax.scatter(data.mpg, data.acceleration, label='Traning Data')
ax.legend(loc=2) #圖例
ax.set_xlabel('acceleration')
ax.set_ylabel('mpg')
plt.show()
···
···
fig, bx = plt.subplots(figsize=(8,6))
bx.plot(np.arange(iters), cost, 'r')
bx.set_xlabel('Iterations')
bx.set_ylabel('Cost')
bx.set_title('Error vs. Training Epoch')
plt.show()
···
另外，要特別說明的是：本文所構建的梯度下降法求解函數也適用于多元線性回歸，原因是本文在構建X、y變量時采用了矩陣化的處理，而不是像一般方法直接從數據中選擇變量，另外，X、y變量的定位也沒有固定在某幾行，而是依據data的數值形狀來定位，即這幾行代碼的設置：
cols = data.shape[1]
X = data.iloc[:,0:cols-1]
y = data.iloc[:,cols-1:cols]
完整代碼地址：http://note.youdao.com/noteshare?id=4b0d35625b292621bdc8f31f31effa82
寫作不易，特別是技術類的寫作，請大家多多支持，關注、點贊、轉發等等。
————————
參考文獻：
- Machine Learning Exercises In Python, Part 1,
http://www.johnwittenauer.net/machine-learning-exercises-in-python-part-1/ - （吳恩達筆記 1-3）——損失函數及梯度下降
http://blog.csdn.net/wearge/article/details/77073142?locationNum=9&fps=1 - 梯度下降法求解線性回歸之python實現
http://blog.csdn.net/just_do_it_123/article/details/51056260
