線性代數
使用到的數學符號：
Ax=b
Ax=b的行視圖（凸優化中的超平面）：
列視圖（矩陣列的線性組合）：
行視圖和列視圖是從不同的角度去看Ax=b，它們屬于不同的空間。
線性相關與線性無關
Span、基和子空間（Subspace）
一個子空間可以由一組基表示，基的維數是固定的，但是基有無數組
四個基本的子空間
列空間：
兩個向量的所有線性組合構成一個二維平面，是三維空間的子空間，且子空間必過原點，因為x1,x2可以為0
零空間：
零空間是所有Ax=b的解的所有線性組合構成的子空間
行空間：
左零空間：
四個基本子空間的關系：
兩個垂直的子空間如 左零空間和列空間，它們的交點只有原點這一個點。
注意零空間有可能不存在，比如在滿秩的情況下。
利用子空間重新看待線性方程組的解：
Ax=b方程的解：
- 只有唯一解，則 b ∈ C（A），N（A）的維數是 0
- 有無情多解，則 b ∈ C（A），N（A）的維數大于 0
- 無解，則 b ? C（A）
- 如果有解，解的形式 X = P + V P：特解 V：零空間的解
A * x = A * ( P + V ) = b + 0
特征分解（凸優化中的重要技術）
特征值（Eigenvalues）與特征向量（Eigenvectors）
Ax = λx的幾何意義：
特征分解的性質：
Ax 相當于是對 x 向量進行了伸縮，也就是 Ax 與 x 共線，這個伸縮的比例就是 A 相對于 x 的特征值。
對稱矩陣的特征分解
對于對稱矩陣來說，非零特征值的個數就是矩陣的秩。
二次型（Quadratic Form）
負定矩陣：< 0
不定矩陣： 對有的向量 > 0 , 的有的向量 < 0
注意，正定矩陣、負定矩陣、不定矩陣等概念都是針對 對稱矩陣 提出的。
那么，矩陣的正定，負定、不定有什么用呢？
二次型圖像：
正定矩陣更容易進行函數的優化，找到最優解。
PCA
這里的Cx，可以理解為先對數據進行去均值，使得均值為0，正對角線可以理解為方差，負對角線可以理解為協方差。
問題： 假設變換矩陣為Y = QX，并先假設Q是方陣（先不降維），則有：
如何使得Cy是一個對角矩陣？
這里的Cy相當于協方差矩陣，這個矩陣如何轉變稱對角陣呢？
因為協方差矩陣是對稱矩陣，可以進行對角化（實對稱矩陣一定可以對角化）：
如果有n階矩陣A，其矩陣的元素都為實數，且矩陣A的轉置等于其本身（aij=aji）(i,j為元素的腳標），則稱A為實對稱矩陣
將 Q 換為 U 的轉置就可以啦。U 是正交陣。
PCA的核心就是： 一個對稱矩陣可以被U對角化。
PCA降維舉例
這里，我們把2行的X，降維稱1行，這里的特征值我們取最大值2，因為方差越大蘊含的信息越多，也可以理解為這個數據越重要。
圖像表示如下：
這里降維的操作相當于把離散的點映射到了一條直線上。
SVD（Singular Value Decomposition）萬能矩陣分解
特征分解的廣義化
這里的 σ 表示 奇異值
SVD和特征分解的關系
SVD和子空間的關系
也就是：
SVD 提供了計算四個子空間正交基的一種快速方法
低秩矩陣近似（降維）
奇異值分解比特征分解更加穩定，兩者的本質是一樣的。
