上一篇文章中，講到了梯度下降法的公式，但是比較抽象，這篇文章將通過一個例子來講解這個公式。
線性回歸
這篇文章就介紹梯度下降法在線性回歸上的應用。所謂回歸就是指通過已知數據預測出結果數據，線性回歸就是指已知數據和預測數據之間的關系是線性的，它們的假設函數通常有如下形式：
我們舉個比較簡單的例子，即
回憶第三篇文章中損失函數的公式如下
假如數據集中只有一組數據，那么損失函數可以被簡化為
其中
梯度下降
在上一篇文章中，給出了梯度下降的一般公式
用在這篇文章中舉的例子，就有如下形式：
下面我推導一遍求偏導的過程
推廣到一般形式就是
其中，x 的上標 i 指的是 x 在數據集中的第幾個，下標 j 指的是在某一組數據中，這是第幾個因素，比如有一組數據是
那么 x1 就表示這是這三個因素中的第 1 個（注意下標是從 0 開始的）
小結
上文推導了梯度下降在線性回歸中的具體形式，希望大家對梯度下降的公式有了更深的理解，當然，回歸不止線性回歸一種形式，還有邏輯回歸等等，梯度下降的具體形式也不同，但是總的思想都是讓參數減去導數，使參數不斷接近最優解，使得損失函數最小。
