數學是計算機技術的基礎，線性代數是機器學習和深度學習的基礎，了解數據知識最好的方法我覺得是理解概念，數學不只是上學時用來考試的，也是工作中必不可少的基礎知識，實際上有很多有趣的數學門類在學校里學不到，有很多拓展類的數據能讓我們發散思維，但掌握最基本的數學知識是前提，本文就以線性代數的各種詞條來做一下預熱，不懂的記得百度一下。

矩陣與方程組

還記得n*n方程組是怎么求解的嗎？這個術語叫“回代法”，即轉成三角形方程組再挨個代入求解

一直不理解“代數”這個“代”是什么意思，現在終于理解了，代，英文是substitution，含義是代替，從初中到現在一直以為“代數”就是“代入”

系數矩陣，英文名叫coefficient matrix，怪不得讀開源代碼里面經常遇到變量名叫做coe，原來是從這來的

“導數”、“可導”還記得嗎？不知道“導”是什么含義的有木有？英文derivative（含義是派生的、衍生的），看起來不是疏導的意思，而是音譯過來的

矩陣就是矩形的數字陣列，這再簡單不過了

n*n的矩陣叫方陣，傻子都知道了

系數矩陣加一列右端項的矩陣叫增廣矩陣，英文叫做augmented matrix，記作：(A|B)，科學家們隨便想個東西起個名字就讓我們抱著書本啃，我把A后面放兩個B，叫做“增廣矩陣二”行嗎

行階梯型矩陣，這回有點難度了，它就是這樣的：非零一行比一行少，第一個元素是1，數字靠右

高斯消元法：把增廣矩陣化為行階梯型矩陣

超定方程組：方程個數比未知量個數多

行最簡形：行階梯形，每行第一個非零元是該列唯一的非零元

高斯-若爾當消元法：將矩陣化為最簡形的方法

齊次方程組(homogeneous)：右端項全為零。齊次方程組總是有解的

平凡解，就是零解（0,0,0,.....0），能不能別這么平凡的叫....

非平凡解：零解以外的解

x上面加水平箭頭表示水平數組（行向量），不加則表示列向量，不一樣的書里記法不太一樣，姑且這么記吧

對稱矩陣的性質：轉置等于他自己

若A=(1)，則An=(2n-1)

如果AB=BA=I，則稱A是可逆的，或A是非奇異的(nonsingular)，B叫做A的逆元，記作A-1

矩陣沒有乘法逆元，那么叫做奇異的(singlular)

(AB)-1=B-1A-1

(AB)T=BTAT

圖的鄰接矩陣（相連為1否則為0）是對稱的

初等矩陣：乘到方程兩端得到行階梯形，初等矩陣是非奇異的，即有逆

如果B=多個初等矩陣連乘A，那么說A與B是行等價的

如果A與I行等價，那么Ax=0只有平凡解0，而且A有逆矩陣A-1，也就是A是非奇異的，此時Ax=b有唯一解

求逆的方法：對增廣矩陣A|I做行列變換，把A變成I，則I變成了A-1

對角矩陣：對角線以外的元素都是0

如果A可以僅利用行運算化簡為嚴格上三角形，則A有一LU分解，L是單位下三角矩陣，矩陣值就是變換中用的系數，這叫LU分解

矩陣分塊后滿足矩陣乘法規則

內積也叫標量積：行向量和列向量乘積，得出一個數

外積：列向量和行向量乘積，得出一個矩陣

外積展開：兩個矩陣分別用向量方式表示，其乘積可以表示為外積展開

行列式

行列式：兩條豎線間包括的陣列

每個方形矩陣可以和他的行列式對應，行列式數值說明方陣是否是奇異的

行列式算法：展開某一行，每個數乘以他的余子式并加和

如果行列式非0，則方形矩陣為非奇異

det(A)可表示為A的任何行或列的余子式展開

三角形矩陣的行列式等于對角元素乘積

交換矩陣兩行，行列式變成原來的負數，即det(EA)=-det(A)

矩陣某行乘以a，行列式變成原來的a倍，即det(EA)=adet(A)

矩陣某行乘以a加到另一行，行列式不變

如果某行為另一行的倍數，則矩陣行列式為零

det(AB)=det(A)det(B)

adj A：矩陣的伴隨(adjoint)，將元素用余子式替換并轉置

求逆方法：A-1=(1/det(A)) adj A，推導：A(adj A)=det(A)I所以A(((1/det(A)) adj A) = I

克拉黙法則：Ax=b的唯一解是xi=det(Ai)/det(A)，這是線性方程組用行列式求解的便利方法

信息加密方法：找到行列式為正負1的整數矩陣A，A-1=+-adj A易求，乘A加密，乘A-1解密，A的構造方法：單位矩陣做初等變換

向量積也是一個向量

微積分中x看做行向量，線性代數中x看做列向量

假設x和y是行向量，則x*y=(x2y3-y2x3)i-(x1y3-y1x3)j+(x1y2-y1x2)k，其中i,j,k是單位矩陣的行向量

向量積可用于定義副法線方向

xT(x*y)=yT(x*y)=0，說明向量積與向量夾角為0

向量空間

向量空間：這個集合中滿足加法和標量乘法運算，標量通常指實數

子空間：向量空間S的子集本身也是個向量空間，這個子集叫做子空間

除了{0}和向量空間本身外，其他子空間叫做真子空間，類似于真子集的概念，{0}叫做零子空間

Ax=0的解空間N(A)稱為A的零空間，也就是說Ax=0線性方程組的解空間構成一個向量空間

向量空間V中多個向量的線性組合構成的集合成為這些向量的張成(span)，記作span(v1,v2,...,vn)

span(e1,e2)為R3的一個子空間，從幾何上表示為所有x1x2平面內3維空間的向量

span(e1,e2,e3)=R3

如果span(v1,v2,v3)=R3，那么說向量v1,v2,v3張成R3，{v1,v2,v3}是V的一個張集

最小張集是說里面沒有多余的向量

最小張集的判斷方法是：這些向量線性組合=0只有0解，這種情況也就是這些向量是線性無關的，如果有非零解那么就說是線性相關的

在幾何上看二位向量線性相關等價于平行，三維向量線性相關等價于在同一個平面內

向量構成矩陣的行列式det(A)=0，則線性相關，否則線性無關

線性無關向量唯一地線性組合來表示任意向量

最小張集構成向量空間的基，{e1,e2...en}叫做標準基，基向量數目就是向量空間的維數

轉移矩陣：把坐標從一組基到另一組基的變換矩陣

由A的行向量張成的R1*n子空間成為A的行空間，由A的列向量張成的Rm子空間成為A的列空間

A的行空間的維數成為A的秩(rank)，求A的秩方法：把A化為行階梯形，非零行個數就是秩

矩陣的零空間的維數成為矩陣的零度，一般秩和零度之和等于矩陣的列數

m*n矩陣行空間維數等于列空間的維數

線性變換

線性變換：L(av1+bv2)=aL(v1)+bL(v2)

線性算子：一個向量空間到其自身的線性變換

典型線性算子距離：ax(伸長或壓縮a倍)，x1e1（到x1軸的投影），(x1,-x2)T（關于x1軸作對稱），(-x2,x1)T逆時針旋轉90度

判斷是不是線性變換，就看看這種變換能不能轉化成一個m*n矩陣

線性變換L的核記為ker(L)，表示線性變換后的向量空間中的0向量

子空間S的象記為L(S)，表示子空間S上向量做L變換的值

整個向量空間的象L(V)成為L的值域

ker(L)為V的一個子空間，L(S)為W的一個子空間，其中L是V到W的線性變換，S是V的子空間

從以E為有序基的向量空間V到以F為有序基的向量空間W的線性變換的矩陣A叫做表示矩陣

B為L相應于[u1,u2]的表示矩陣,A為L相應于[e1,e2]的表示矩陣，U為從[u1,u2]到[e1,e2]的轉移矩陣，則B=U-1AU

如果B=S-1AS，則稱B相似于A

如果A和B為同一線性算子L的表示矩陣，則A和B是相似的

正交性

兩個向量的標量積為零，則稱他們正交(orthogonal)

R2或R3中的向量x和y之間的距離是：||x-y||

xTy=||x|| ||y|| cos θ，即cos θ=xTy / (||x|| ||y||)

設方向向量u=(1/||x||)x，v=(1/||y||)y，則cos θ=uTv，即夾角余弦等于單位向量的標量積

柯西-施瓦茨不等式：|xTy| <= ||x||? ||y||，當且僅當有0向量或成倍數關系時等號成立

標量投影：向量投影的長度，α=xTy/||y||

向量投影：p=(xTy/||y||)y=(xTy/yTy)y

對R3：||x*y|| = ||x|| ||y|| sinθ

當x和y正交時, ||x+y||2= ||x||2+ ||y||2，叫畢達哥拉斯定律

c2=a2+b2叫畢達哥拉斯定理，其實就是勾股弦定理

余弦應用于判斷相似程度

U為向量組成的矩陣，C=UTU對應每一行向量的標量積值，這個矩陣表示相關程度，即相關矩陣(correlation matrix)，值為正就是正相關，值為負就是負相關，值為0就是不相關

協方差：x1和x2為兩個集合相對平均值的偏差向量，協方差cov(X1,X2)=(x1Tx2)/(n-1)

協方差矩陣S=1/(n-1) XTX，矩陣的對角線元素為三個成績集合的方差，非對角線元素為協方差

正交子空間：向量空間的兩個子空間各取出一個向量都正交，則子空間正交。比如z軸子空間和xy平面子空間是正交的

子空間Y的正交補：是這樣一個集合，集合中每個向量都和Y正交

正交補一定也是一個子空間

A的列空間R(A)就是A的值域，即Rn中的x向量，列空間中的b=Ax

R(AT)的正交空間是零空間N(A)，也就是說A的列空間和A的零空間正交

S為Rn的一個子空間，則S的維數+S正交空間的維數=n

S為Rn的一個子空間，則S的正交空間的正交空間是他本身

最小二乘(least squares)用來擬合平面上的點集

最小二乘解為p=Ax最接近b的向量，向量p為b在R(A)上的投影

最小二乘解x的殘差r(x)一定屬于R(A)的正交空間

殘差：r(x) = b - Ax

ATAx = ATb叫做正規方程組，它有唯一解x = (ATA)-1ATb，這就是最小二乘解，投影向量p=A(ATA)-1ATb為R(A)中的元素

插值多項式：不超過n次的多項式通過平面上n+1個點

一個定義了內積的向量空間成為內積空間

標量內積是Rn中的標準內積，加權求和也是一種內積

內積表示為，內積需滿足： >= 0; =; =a+b

a=/||v||為u到v的標量投影

p=(/) v為u到v的向量投影

柯西-施瓦茨不等式：|| <= ||u|| ||v||

范數(norm)：定義與向量相關聯的實數||v||，滿足||v||>=0; ||av||=|a| ||v||; ||v+w|| <= ||v|| + ||w||

||v|| = ()^-1為一個范數

||x||=sigma|xi|為一個范數

||x||=max|xi|為一個范數

一般地，范數給出了一種方法來度量兩個向量的距離

v1,v2,...,vn如果相互之間=0，則{v1,v2,...,vn}成為向量的正交集

正交集中的向量都是線性無關的

規范正交的向量集合是單位向量的正交集，規范正交集中=1，里面的向量叫做規范正交基

正交矩陣：列向量構成規范正交基

矩陣Q是正交矩陣重要條件是QTQ=I，即Q-1=QT

乘以一個正交矩陣，內積保持不變，即=

乘以一個正交矩陣，仍保持向量長度，即||Qx||=||x||

置換矩陣：將單位矩陣的各列重新排列

如果A的列向量構成規范正交集，則最小二乘問題解為x=ATb

非零子空間S中向量b到S的投影p=UUTb，其中U為S的一組規范正交基，其中UUT為到S上的投影矩陣

使用不超過n次的多項式對連續函數進行逼近，可以用最小二乘逼近。

某取值范圍內線性函數的子空間，內積形式是取值范圍內對兩個函數乘積做積分

通過將FN乘以向量z來計算離散傅里葉系數d的方法稱為DFT算法(離散傅里葉變換)

FFT(快速傅里葉變換)，利用矩陣分塊，比離散傅里葉變換快8w多倍

格拉姆-施密特正交化過程：u1=(1/||x1||)x1, u2=(1/||x2-p1||) (x2-p1), .....直接求出一組規范正交基

格拉姆-施密特QR分解：m*n矩陣A如果秩為n，則A可以分解為QR，Q為列向量正交的矩陣，R為上三角矩陣，而且對角元素都為正，具體算法：

r11=||a1||，其中r11是對角矩陣第一列第一個元素，a1是A的列向量，

rkk=||ak-p(k-1)||, rik=qiTak, a1=r11q1

Ax=b的最小二乘解為x=R-1QTb，其中QR為因式分解矩陣，解x可用回代法求解Rx=QTb得到

使用多項式進行數據擬合以及逼近連續函數可通過選取逼近函數的一組正交基進行簡化

多項式序列p0(x),p1(x),...下標就是最高次數，如果=0，則{pn(x)}成為正交多項式序列，如果=1，則叫規范正交多項式序列

經典正交多項式：勒讓德多項式、切比雪夫多項式、雅克比多項式、艾爾米特多項式、拉蓋爾多項式

勒讓德多項式：在內積=-1到1的積分p(x)q(x)dx意義下正交，(n+1)P(n+1)(x)=(2n+1)xPn(x)-nP(n-1)(x)

切比雪夫多項式：在內積=-1到1的積分p(x)q(x)(1-x2)-1/2dx意義下正交，T1(x)=xT0(x), T(n+1)(x)=2xTn(x)-T(n-1)(x)

拉格朗日插值公式：P(x)=sigma f(xi) Li(x)

拉格朗日函數Li(x)=(x-xj)連乘積 / (xi-xj)連乘積

f(x)w(x)在a到b的積分可以簡化為sigma Li(x)w(x)在a到b的積分 f(xi)

特征值

經過矩陣變換后向量保持不變，穩定后的向量叫做該過程的穩態向量

存在非零的x使得Ax=λx，則稱λ為特征值，x為屬于λ的特征向量。特征值就是一個縮放因子，表示線性變換這個算子的自然頻率

子空間N(A-λI)稱為對應特征值λ的特征空間

det(A-λI)=0稱為矩陣A的特征方程，求解特征方程可以算出λ

λ1λ2...λn=det(A)，即所有特征值的連乘積等于矩陣A的行列式的值

sigma λi= sigma aii，所有特征值的和等于矩陣對角線元素之和

A的對角線元素的和稱為A的跡(trace)，記為tr(A)

相似矩陣：B=S-1AS

相似矩陣具有相同的特征多項式，和相同的特征值

線性微分方程解法可以用特征值特征向量，形如Y'=AY, Y(0)=Y0的解是ae(λt)x，其中x是向量，這樣的問題稱為初值問題，如果有多個特征值，則解可以是多個ae(λt)x的線性組合

任意高階微分方程都可以轉化成一階微分方程，一階微分方程可以用特征值特征向量求解

矩陣A的不同特征值的特征向量線性無關

如果存在X使得X-1AX=D，D是對角矩陣，則說A是可對角化的，稱X將A對角化，X叫做對角化矩陣

如果A有n個線性無關的特征向量，則A可對角化

對角化矩陣X的列向量就是A的特征向量，D的對角元素就是A的特征值，X和D都不是唯一的，乘以個標量，或重新排列，都是一個新的

An=XDnX-1，所以按A=XDX-1因式分解后，容易計算冪次

如果A有少于n個線性無關的特征向量，則稱A為退化的(defective)，退化矩陣不可對角化

特征值和特征向量的幾何理解：矩陣A有特征值2，特征空間由e3張成,看成幾何重數(geometric multiplicity)是1

矩陣B有特征值2，特征向量有兩個x=(2,1,0)和e3，看成幾何重數(geometric multiplicity)是2

隨機過程：一個試驗序列，每一步輸出都取決于概率

馬爾可夫過程：可能的輸出集合或狀態是有限的；下一步輸出僅依賴前一步輸出，概率相對于時間是常數

如果1為轉移矩陣A的住特征值，則馬爾可夫鏈將收斂到穩態向量

一個轉移矩陣為A的馬爾可夫過程，若A的某冪次的元素全為正的，則稱其為正則的(regular)

PageRank算法可以看成瀏覽網頁是馬爾可夫過程，求穩態向量就得到每個網頁的pagerank值

A的奇異值(singlular value)分解：把A分解為一個乘積UΣVT，其中U、V都是正交矩陣，Σ矩陣的對角線下所有元素為0，對角線元素逐個減小，對角線上的值叫奇異值

A的秩等于非零奇異值的個數

A的奇異值等于特征向量的開方

若A=UΣVT，那么上面ATuj=σjvj，下面ATuj=0，其中vj叫做A的右奇異向量，uj叫做左奇異向量

壓縮形式的奇異值分解：U1=(u1,u2,...,ur), V1=(v1,v2,...,vr)，A=U1Σ1V1T

奇異值分解解題過程：先算ATA的特征值，從而算出奇異值，同時算出特征向量，由特征向量得出正交矩陣V，求N(AT)的一組基并化成規范正交基，組成U，最終得出A=UΣVT

數值秩是在有限位精度計算中的秩，不是準確的秩，一般假設一個很小的epsilon值，如果奇異值小于它則認為是0，這樣來計算數值秩

用來存儲圖像的矩陣做奇異值分解后去掉較小的奇異值得到更小秩的矩陣，實現壓縮存儲

信息檢索中去掉小奇異值得到的近似矩陣可以大大提高檢索效率，減小誤差

二次型：每一個二次方程關聯的向量函數f(x)=xTAx，即二次方程中ax2+2bxy+cy2部分

ax2+2bxy+cy2+dx+ey+f=0圖形是一個圓錐曲線，如果沒解則稱為虛圓錐曲線，如果僅有一個點、直線、兩條直線，則稱為退化的圓錐曲線，非退化的圓錐曲線為圓、橢圓、拋物線、雙曲線

一個關于x、y的二次方程可以寫為xTAx+Bx+f=0，其中A為2*2對稱，B為1*2矩陣，如果A是非奇異的，利用旋轉和平移坐標軸，則可化簡為λ1(x')2+λ2(y')2+f'=0，其中λ1和λ2為A的特征值。如果A是奇異的，且只有一個特征值為零，則化簡為λ1(x')2+e'y'+f'=0或λ2(x')2+d'x'+f'=0

二次型f(x)=xTAx對于所有x都是一個符號，則稱為定的(definite)，若符號為正，則叫正定的(positive definite)，相對應叫負定的(negative definite)，如果符號有不同則叫不定的(indefinite)，如果可能=0，則叫半正定的(positive semidefinite),和半負定的(negative semidefinite)

如果二次型正定則稱A為正定的

一階偏導存在且為0的點稱為駐點，駐點是極小值點還是極大值點還是鞍點取決于A是正定負定還是不定

一個對稱矩陣是正定的，當且僅當其所有特征值均為正的

r階前主子矩陣：將n-r行和列刪去得到的矩陣

如果A是一個對稱正定矩陣，則A可分解為LDLT，其中L為下三角的，對角線上元素為1，D為對角矩陣，其對角元素均為正的

如果A是一個對稱正定矩陣，則A可分解為LLT，其中L為下三角的，其對角線元素均為正

對稱矩陣如下結論等價：A是正定的；前主子矩陣均為正定的；A可僅使用行運算化為上三角的，且主元全為正；A有一個楚列斯基分解LLT（其中L為下三角矩陣，其對角元素為正的）；A可以分解為一個乘積BTB，其中B為某非奇異矩陣

非負矩陣：所有元素均大于等于0

一個非負矩陣A，若可將下標集{1,2,...,n}劃分為非空不交集合I1和I2，使得當i屬于I1而j屬于I2中時，aij=0，則成其為可約的，否則為不可約的

數值線性代數

舍入誤差(round off error):四舍五入后的浮點數x'和原始數x之間的差

絕對誤差：x'-x

相對誤差：(x'-x)/x，通常用符號δ表示，|δ|可以用一個正常數ε限制，稱為機器精度(machine epsilon)

高斯消元法涉及最少的算術運算，因此被認為是最高效的計算方法

求解Ax=b步驟：將A乘以n個初等矩陣得到上三角矩陣U，把初等矩陣求逆相乘得到L，那么A=LU，其中L為下三角矩陣，一旦A化簡為三角形式，LU分解就確定了，那么解方程如下：LUx=b，令y=Ux，則Ly=b，所以可以通過求下三角方程求得y，y求得后再求解Ux=y，即可求得x

矩陣的弗羅貝尼烏斯范數記作||·||F，求其所有元素平方和的平方根

若A的奇異值分解A=UΣVT，則||A||2=σ1（最大的奇異值）

矩陣范數可用于估計線性方程組對系數矩陣的微小變化的敏感性

將x'代回原方程組觀察b'=Ax'和b的接近成都來檢驗精度，r=b-b'=b-Ax'叫做殘差(residual)，||r||/||b||叫做相對殘差

奇異值為一個矩陣接近奇異程度的度量，矩陣越接近奇異就越病態

豪斯霍爾德變換(householder transformation)矩陣H可由向量v和標量β求得，因此存儲v和β更省空間

主特征值是指最大的特征值

求主特征值的方法：冪法。

求特征值方法：QR算法。將A分解為乘積Q1R1，其中Q1為正交的，R1為上三角的，A2=Q1TAQ1=R1Q1，將A2分解為Q2R2，定義A3=Q2TA2Q2=R2Q2，繼續這樣，得到相似矩陣序列Ak=QkRk，最終將收斂到類似上三角矩陣，對角上是1*1或2*2的對角塊，對角塊的特征值就是A的特征值

最后的總結

奇異值分解正是對這種線性變換的一個析構，A=，和是兩組正交單位向量，是對角陣，表示奇異值，它表示A矩陣的作用是將一個向量從這組正交基向量的空間旋轉到這組正交基向量空間，并對每個方向進行了一定的縮放，縮放因子就是各個奇異值。如果維度比大，則表示還進行了投影。可以說奇異值分解描述了一個矩陣完整的功能/特性。

而特征值分解其實只描述了矩陣的部分功能。特征值，特征向量由Ax=x得到，它表示如果一個向量v處于A的特征向量方向，那么Av對v的線性變換作用只是一個縮放。也就是說，求特征向量和特征值的過程，我們找到了這樣一些方向，在這些方向上矩陣A對向量的旋轉、縮放變換（由于特征值只針對方陣，所以沒有投影變換）在一定程度上抵消了，變成了存粹的縮放（這個縮放比例和奇異值分解中的縮放比例可能不一樣）。

概括一下，特征值分解只告訴我們在特征向量的那個方向上，矩陣的線性變化作用相當于是簡單的縮放，其他方向上則不清楚，所以我說它只表示矩陣的部分特性。而奇異值分解則將原先隱含在矩陣中的旋轉、縮放、投影三種功能清楚地解析出來，表示出來了，它是對矩陣的一個完整特征剖析。

參考文獻

線性代數(原書第9版)，史蒂文 J.利昂 (Steven J.Leon)(作者)