男女下面进入的视频免费午夜,亚洲精品久久久久中文字幕二区,一边捏奶头一边啪高潮会怎么样

線性回歸是機器學習中最基礎最簡單的回歸算法了，現在關于線性回歸的原理做一個總結。

關于線性的概念，其實在高中就有了解了，兩個變量之間存在一次方函數關系( $y = a x + b$ )即為線性，其圖像在平面上是一條直線。

而線性回歸就是對給定的數據，找到一條均方誤差最小的直線或者說模型函數。這就是線性回歸的本質。

線性回歸的模型函數

線性回歸問題，給定的數據一般如下形式：
$\left[ \begin{matrix} x^{(0)}_1,x^{(0)}_2,...x^{(0)}_n,y_0 \\ x^{(1)}_1,x^{(1)}_2,...x^{(1)}_n,y_1 \\ x^{(2)}_1,x^{(2)}_2,...x^{(2)}_n,y_2 \\ \vdots \\ x^{(m)}_1,x^{(m)}_2,...x^{(m)}_n,y_m \end{matrix} \right]$

其中有m個樣本，每個樣本對應n維特征和一個輸出結果?，F在，我們的問題是對于一個新的數據 $(x_1^{(x)}, x_2^{(x)}, ..., x_n^{(x)})$ ，它對應的結果 $y_x$ 是多少呢？如果使用線性回歸來解決這個問題，那么對應的模型應該如下：

$h_\theta(x_1,x_2,...,x_n)=\theta_0 + \theta_1x_1 +...+ \theta_nx_n$

我們增加一個 $x_0=1$ 的特征，可以簡化成：

$h_\theta(x_0,x_1,...,x_n)=\sum\limits_{i=0}^{n}\theta_ix_i$

其中 $\theta_i(i=0,1,2,...n)$ 是模型參數， $x_i(i=0,1,2,...n)$ 是每個樣本的n個特征值。

用矩陣形式表示上式就是：

$h_\theta(X)=X\theta$

其中 $X$ 為mxn維的矩陣， $\theta$ 為nx1的向量，得到的 $h_\theta(X)$ 為mx1的向量。m代表樣本的個數，n代表樣本的特征數。

正規方程（最小二乘法）求損失函數參數

線性回歸一般采用均方誤差作為損失函數，損失函數代數法可以表示為：

$J(\theta_0,\theta_1,...\theta_n) = \sum\limits_{i=1}^m(h_\theta(x_0^{(i)},x_1^{(i)},...x_n^{(i)})-y_i)^2$

用矩陣的方式可以表示為：
$\begin{align} J(\theta) &= ||X\theta-Y||^2_2 \\ &= (X\theta-Y)^T(X\theta-Y) \\ \end{align}$
上式中有兩個2，上面的2表示平方，下面的2表示二范數。繼續化簡得：
$\begin{align} J(\theta) &= (X^T\theta^T-Y^T)(X\theta-Y) \\ &= X^T\theta^TX\theta-X^T\theta^TY-Y^TX\theta+Y^TY \\ &= X^T\theta^TX\theta-(\theta^TY)^T(X^T)^T-Y^TX\theta+Y^TY \\ &= X^T\theta^TX\theta-2Y^TX\theta+Y^TY \end{align}$
要求使損失函數最小時的參數 $\theta$ ，對 $\theta$ 進行求導，令導數為0：