以一元線性回歸為例，函數(shù)為：
其中，表示y隨x的變化而線性變化的部分，
是待求解的參數(shù)；
是隨機(jī)誤差，是其他一切不確定因素的綜合，其值不可觀測，通常假定
～
。
誤差項分析：極大似然估計
因為誤差服從正態(tài)分布
，兼通過目標(biāo)函數(shù)移項，得到其概率密度：
希望誤差能盡量為0，因此誤差發(fā)生的概率應(yīng)盡可能地大（根據(jù)正態(tài)分布，越靠近均值，發(fā)生的概率越大？）。使用似然函數(shù)來估計參數(shù)，并加以對數(shù)變換使表達(dá)式從連乘變?yōu)檫B加，更好算：
展開化簡，得到：
繼續(xù)化簡，忽略常數(shù)項，得到估計參數(shù)的目標(biāo)函數(shù)，此為最小二乘法的推導(dǎo)過程。
損失函數(shù)求解：最小二乘法
通過極大似然估計分析誤差項（即最小二乘法），得到損失函數(shù)：
待求損失函數(shù)最小時的參數(shù)值，即轉(zhuǎn)換為：當(dāng)損失函數(shù)關(guān)于
的一階偏導(dǎo)數(shù)都等于0時，求解關(guān)于
的二元二次方程問題。求得：
,?
損失函數(shù)求解：梯度下降法
原理
假設(shè)有m個參數(shù)，目標(biāo)損失函數(shù)如下：
這是一個關(guān)于的多元函數(shù)，
相當(dāng)于系數(shù)。所以，有幾個
待求解，就相當(dāng)于目標(biāo)函數(shù)有幾維。除以n是為了對損失值取平均值（因為樣本量增加，累積的損失值也會增加）。
梯度下降法的思路是：
1. 先確定步長，包括方向和步子大小
步長是學(xué)習(xí)率和方向相乘的矢量。令學(xué)習(xí)率為，代表步子的大小，相當(dāng)于步長的模長。方向是梯度的負(fù)方向，在這個方向上函數(shù)值下降的最快，對每一個參數(shù)求偏導(dǎo)可得：
2.?對于每一個，設(shè)定初始值，按照確定好的步長，代入
值，不斷迭代：
此處是對
求導(dǎo)后得出的系數(shù)
3. 直到兩次迭代結(jié)果相差小于預(yù)設(shè)要求即可
批量梯度下降
每次跌代都代入所有樣本，容易得到最優(yōu)解，但是速度很慢。
隨機(jī)梯度下降
每次迭代隨便找一個樣本，速度很快，但不是每次都朝著對的收斂方向，此時m=1。
小批量梯度下降
每次迭代都新取一部分樣本，兼顧速度和精度，此時m=某個比m小很多的數(shù)。
評估指標(biāo)
：真實觀測值，
：真實觀測值的平均值，
：擬合值（預(yù)測值）
殘差平方和（SSE）：擬合數(shù)據(jù)和原始數(shù)據(jù)之差的平方和
總離差平方和（SST）：原始數(shù)據(jù)和均值之差的平方和
回歸平方和（SSR）：擬合數(shù)據(jù)和原始數(shù)據(jù)均值之差的平方和
確定系數(shù)（R-square）：SSR/SST = 1- SSE/SST，如下
