8、行列式

8.1 什么是行列式？

首先方陣才有行列式，我們先來簡單回顧一下2*2和3*3的矩陣的行列式：

那行列式代表什么含義呢？在二維平面中，矩陣行列式的絕對值代表一個平行四邊形的面積，在三維空間中，矩陣行列式的絕對值代表一個平行六面體的體積：

8.2 行列式的性質

(1)單位矩陣的行列式為1

(2)交換任意的兩行，行列式變號

(3)對任意一行來說，行列式是“線性”的

從ppt上不好翻譯，但是看圖是很直觀的：

所以，下面的式子是正確的：

同時：

(4)如果行列式有兩行相等或者是倍數關系，行列式值為0

這個性質也是很直觀的，交換兩行變號嘛，但是交換的兩行如果是一樣的，那么行列式的值應該不變，-a=a那么a只能是0。

(5)對角矩陣的行列式等于對角線上元素的乘積

(6)如果一個方陣的行列式不為0，那么它是可逆的，反之，如果一個方陣可逆，那么它的行列式不為0

如果一個矩陣是可逆的，它可以經由初等變換得到單位矩陣，每一次初等變換得到的矩陣的行列式值，相當于對原矩陣的行列式值乘上一個標量。由于每次乘的標量不為0，所以可以得到原矩陣的行列式值不為0。

(7)det(AB)=det(A)*det(B)

(8)矩陣轉置的行列式和原矩陣相同

所以說，剛才的結論同樣適用于列。即如果有兩列相同或是倍數關系，行列式值同為0，同時每一列也是線性的。

8.3 行列式的計算

我們首先來介紹余子式和代數余子式，一個矩陣的任意一個元素aij都有對應的余子式，它就是將第i行和第j列劃掉之后所得到的矩陣的行列式，用det(Aij)表示：

而cij=(-1)i+jdet(Aij)被稱為代數余子式。

根據代數余子式，我們可以得到計算行列式的公式如下：

舉個3維的例子：

因此，對于一個方陣的行列式，它是n!項的和(n!是n個元素的全排列的個數)，對于每一項，它是從每一行選擇一個元素進行相乘，而這些元素分別屬于不同列。

有了代數余子式，我們可以得到矩陣A的伴隨矩陣。伴隨矩陣中的每個元素是原矩陣中該位置元素的代數余子式：

我們可以進一步通過伴隨矩陣和行列式值來計算矩陣的逆：

9、子空間

9.1 子空間

如果一個向量集合V滿足三個條件:(1)包含零向量(2)如果u和v屬于V，那么u+v也屬于V(3)如果u屬于V，c是一個標量，那么cu也屬于V。就稱這個向量集合V為子空間(subspace):

舉個例子，下面的向量集合是一個子空間：

只有零向量的集合也是一個子空間，三條性質都滿足。

9.2 零空間

對于一個矩陣A來說，使得Ax=0的所有x所組成的集合被稱為矩陣A的零空間(Null Space):

9.3 列空間和行空間

列空間(Column Space)是矩陣A的列所張成的空間，行空間(Row Space)是矩陣的行所張成的空間。

在將矩陣化簡為行階梯型之后，矩陣的列空間是改變的，而行空間不變。

好了，我們又可以添加一條判斷線性方程組是否有解的條件了，即b是否在A的列空間中。

10、基Basis

10.1 什么是基Basis

假設V是Rn的一個子空間，能夠張成空間V的一組線性無關的向量被稱為基(Basis)。

對于一個矩陣來說，其主列是其列空間的基：

10.2 基的特性

基有如下的特性：

(1)基是一個能張成空間V的數量最小的向量集合

如果一組向量S能夠張成子空間V，那么基中包含的向量數目小于或等于S中向量的數目。

(2)基是空間中數量最多的線性無關的向量集合

如果子空間V的基中向量的數量是k，那么你不能找到比k個多的線性無關的向量集合。

(3)子空間中任意的兩組基都包含相同數目的向量

這個如何證明呢？

1）假設子空間V中有兩組基A和B，個數分別是k和p；

2）因為A是子空間中的基，所以B中的所有向量都可以表示成A中向量的線性組合，即有AC=B，C的列數為p，行數是k；

3）假設存在一個p維向量x使得Cx=0，所以ACx=Bx=0因為B是基，所以Bx=0的解只能是零向量，所以C也是線性無關的；

4）因為C中的列向量是k維的，p個k維的向量線性無關，所以一定有p<=k；

5）同理k<=p，所以最終k=p，即A和B中向量的個數是相同的。

(4)子空間V的基的向量的數量被稱為V的維度(dimension)

10.3 判斷一個集合是否為基

通過定義，我們可以判斷一個集合是否為基，需滿足兩個條件，向量之間線性無關，同時能夠張成空間V，前者容易判斷，后者較難判斷：

另一種思路，假設對于一個子空間V，我們已經知道它的維度為2，如果S是一個包含k個vector并且屬于V的一個子集，那么如果

1）S中的向量線性無關，那么S是一個基

2）S能夠張成空間V，那么S是一個基

10.4 三種空間的基和維度

我們之前介紹過對于一個矩陣的三個空間，行空間、列空間以及零空間，他們的基以及維度都是多少呢？

A的列空間

A的列空間的基是主列組成的集合，維度就是主列的個數

A的零空間

A的零空間的的維度是Ax=0中自由變量的個數，基看下面的圖片：

A的行空間

A的行空間的維度是化簡為簡約行階梯型之后非零行的個數，基就是簡約行階梯型中先導元素所在的行所組成集合。

這里我們可以得出一個結論，矩陣A和其轉置的秩相等：

總結一下就是下面這樣子啦：

11、坐標系

11.1 使用基表示向量

在n維空間中，我們可以使用基向量來表示坐標系，這樣空間中的任意向量的坐標都確定了，但是對于同一向量，使用不同的坐標系，其坐標是不同的：

同理，在不同坐標系下，同一個坐標所代表的向量也不同：

當基確定時，一個向量的坐標也是唯一的，由于基之間是線性無關的，因此證明如下：

在某一坐標系B下，一個向量可以表示成其對應的坐標表示：

而我們最為常用的一種坐標系就是直角坐標系(Cartesian coordinate system)，通常表示如下：

那么根據任意坐標系以及某一向量在該坐標系下的坐標，如何得到該向量呢？很簡單，該向量可以表示成基的線性組合，系數即為其坐標：

那么，如何得到某一向量在任意坐標系下的坐標，兩邊同乘B-1即可：

11.2 直角坐標系和其他坐標系的轉換

其實我們的向量就是在直角坐標系下的坐標表示，所以其實直角坐標系和其他坐標系的轉換我們上一節已經講過：

11.3 坐標系與線性方程

我們之前所說的線性方程，都是相對于直角坐標系所說的，有時候有些問題直接在直角坐標系下進行求解并不容易，但是轉換到另一坐標系下就會變得十分簡單，這就得到了通過坐標系轉換來求解問題的思路：

我們舉個例子來說吧，如果下圖中的T表示得到任意一個向量關于直線L的對稱向量：

直接求解這個問題非常難，我們想要找的是一個矩陣A，使得T(x)=Ax，直線如果不是橫軸或者縱軸的話，要找到這個矩陣A是十分困難的。但是如果直線是橫軸或者縱軸的話，這個問題就變得非常簡單。假設直線是橫軸，那么要找的矩陣我們可以很容易寫出：

所以我們可以通過坐標系變換，把直線L變成橫軸，那么問題就簡單了：

所以我們在直角坐標系下的這個變換矩陣A也就找到了，此時我們可以稱兩個坐標系下的變換矩陣是相似矩陣(Similar matrices)：

假設直線L為y=0.5x，那么求解過程如下：

12、特征值和特征向量

12.1 什么是特征值和特征向量

好了，在寫這一節之前，我們看來想一下上一節的東西，我們說一個直角坐標系下的向量v， 其在另一個坐標系下的坐標表示為Bv，這個B是該坐標系下的基所做成的矩陣，所以說矩陣可以表示一種線性變換(Linear Transformation)，它將一個向量在直角坐標系下的坐標表示轉換為另一坐標系下的坐標表示！

我們知道，任意非零向量都可以張成一條直線，有的向量在一個矩陣A作用后，偏離了其所張成的空間；但有的向量在矩陣A作用后，還是在原有張成的空間，矩陣A只是對該向量起到了一定的伸縮作用，那么我們就說該向量是矩陣A的特征向量(Eigenvector)，而這個伸縮作用的大小我們就稱為特征值(Eigenvalue)。所以我們知道，該向量所張成空間中的所有向量(零向量除外)都是該矩陣的特征向量。下面的例子中，經過變換后橫軸沒有發生變化，所以橫軸的向量都是特征向量，特征值為1。

好了，我們可以給出特征值和特征向量的定義了：

12.2 如何計算特征向量

假設我們已經知道了特征值λ，我們可以根據Av=λv求解其對應的特征向量：

而某一特征值λ的特征空間(Eigenspace)定義為(A-λIn)v=0的解集：

Eigenspace也可以說是λ所對應的特征向量再加上零向量(特征向量不能是零向量)

12.3 檢查一個標量是否為特征值

檢查一個標量是否為特征值，只需要判斷其對應的特征空間是否只有零向量即可：

12.4 計算特征值

如果一個標量是矩陣A的特征值，那么他會滿足下面所有的條件：

那么如何計算一個矩陣的特征值呢，這里要使用特征多項式(Characteristic Polynomial)，特征值是特征多項式的根。即：

舉個例子：

這里我們可以得到一個性質，兩個相似矩陣的特征值是相同的，證明如下：

那么一個n階方陣有多少特征值呢？最多n個。如果一個n階方陣有n個特征值(包括重復值)，那么這n個特征值的的和等于矩陣的跡(trace,即矩陣主對角線的元素之和)，同時，這n個特征值的乘積等于矩陣的行列式。

對特征多項式進行因式分解，我們可以得到如下重要的結論，一個特征值對應的特征空間的維度，小于等于該特征值重復出現的次數。

舉例來說：

12.5 正定矩陣&半正定矩陣

如果一個矩陣的所有特征值都大于0，那么這個矩陣被稱為正定矩陣(positive definite matrix)，如過特征值都大于等于0，則稱為半正定矩陣。

那么正定或者半正定矩陣的含義是什么呢？這里我們以正定矩陣為例。我們知道一個矩陣的A代表一種線性變化，那么如果一個矩陣是正定的，就有xTAx>0,假設x在經過A的變換后變為y，那么xTy>0，即x和y的內積大于0,或者說夾角小于90度。所以正定矩陣的直覺代表一個向量經過它的變化后的向量與其本身的夾角小于90度。

13、對角化

13.1 可對角化

如果一個n階方陣A可以變為A=PDP-1,其中D是n階對角矩陣，P是n階可逆方陣，那么A就是可對角化的(diagonalizable)。但并非所有的矩陣都可以進行對角化：

如果A是可對角化的，那么P中的列向量是A的特征向量，D中對角線元素是A的特征值，證明如下：

同時，我們可以得到如下結論：

13.2 可對角化的性質

本節我們介紹幾個重要的性質，

1)不同特征值對應的特征向量之間線性無關。

2)如果一個矩陣A可對角化，那么其特征值對應的特征空間的維度，等于該特征值重復出現的次數。

3)如果一個矩陣A可對角化，那么Am= PDmP-1。

我們首先來看第一個性質：

我們可以假設他們之間線性相關來進行反證：

再來看第二個性質：

14、正交

14.1 范數和距離

我們常用范數(Norm)來表示矩陣的長度，其中最常用的是二范數：

兩個向量的距離，我們使用的一般是歐式距離：

14.2 點積和正交

點積(Dot Product)的計算如下：

兩個向量是正交的(Orthogonal)，如果兩個向量的點積是0，那么零向量和任何向量都是正交的。

點積具有如下的性質：

同時，如果兩個向量是正交的，那么有如下性質：

在三角形中，我們有著名的三角不等式，兩條邊長度之和大于第三條邊的長度，所以我們有：

14.3 正交補

對于一個非空的向量集合S，該集合的正交補(Orthogonal Complement)定義為：

關于正交補，我們有如下性質：

所以說，對于n維空間中的向量，我們都可以進行拆解：

14.4 正交投影

正交投影(Orthogonal Projection)通過下面的圖片很容易理解,如果向量u像子空間W做正交投影，其投影的結果就是w。

正交投影有一個很重要的性質就是，u在子空間W上的正交投影向量，是與u距離最近的，觀察下圖可以看出，直角三角形斜邊的長度總是大于直角邊的：

14.5 如何做正交投影

如何得到一個向量在另一個子空間上的正交投影呢，從一個向量得到另一個向量，我們不妨中間乘了一個變換矩陣Pw，即w=Pwu。所以關鍵是變成如何尋找這個矩陣

Pw。

好了，我們這里直接給出結論，然后再進行證明：

證明如下，證明中的第一步是因為u-w是垂直于子空間W中所有向量的，因此自然垂直于C中所有的列向量，因此CT(u-w)=0：

14.6 正交投影的應用-求解線性回歸

如果對于無解的線性方程組Ax=b，我們退而求其次，在A的列所張成的空間中找一個距離b最近的向量，其實就是b在A上的正交投影。

這個思想可以用在我們機器學習中的線性回歸中。在進行線性回歸時，我們往往希望殘差平方和最小，即：

這里的C是我們的訓練數據，訓練數據的矩陣表示相當于線性方程組的A，要找的參數a相當于線性方程組的x，實際值y相當于線性方程組的b。根據我們上一節求解正交投影的方式，Ca的值應該等于y在C張成空間中的正交投影，因此，我們可以直接計算得到參數的值：

14.7 正交基

如果一組向量中任意兩個向量都是正交的，那么我們可以稱這組向量為正交集(Orthogonal Set)。不含零向量的正交集中的向量是線性無關的，證明如下：

如果正交集中所有的向量長度都為1，那么這個集合被稱為標準正交集(Orthonormal Set)，標準正交集中的向量當然也是線性無關的。

因為正交集／標準正交集中的向量是線性無關的，那么如果一個子空間的基是正交／標準正交的，那么這個基被稱為正交基(Orthogonal Basis)/標準正交基(Orthonormal Basis)。

如果一個基是正交的，那么我們可以很快的求解出子空間中一個向量的坐標：

如果u是任意向量，那么u在子空間中的正交投影也很容易計算得出：

我們可以將我們之前得到的投影變換矩陣進行改寫：

如何把一個普通的基轉換為正交基呢，方法如下：

14.8 正交矩陣

我們之前提到過，矩陣其實代表一種線性變換，如果將這種變換作用在任意的向量u上，不改變向量u的長度的話，我們就說該線性變換具有Norm-preserving(這里不清楚怎么翻譯，暫且翻譯為范數不變性)。注意，這樣的u是任意的向量，比如旋轉和對稱反轉操作就不會改變任何向量的范數：

顯然，具有范數不變性的矩陣，其必有一個特征值為+1或者-1 。

一個n階的方陣Q，如果它的列是可以張成n維空間的標準正交基，我們就稱Q為正交矩陣(orthogonal matrix)。

例如，下面的矩陣就是一個正交矩陣：

范數不變性和正交矩陣是什么關系呢？答案是：如果一個矩陣具有范數不變性，那么它是正交矩陣，反之如果一個矩陣是正交矩陣，那么該矩陣具有范數不變性。接下來，我們分別證明這兩點。

第一點：如果一個矩陣具有范數不變性，那么它是正交矩陣

證明一個矩陣是正交矩陣無非就是證明兩點，每一列的長度都為1，任意兩列都是正交的。

證明每一列長度都為1:

證明任意兩列正交：

第二點：如果一個矩陣是正交矩陣，那么該矩陣具有范數不變性

首先，我們很容易知道，對于一個正交矩陣Q，QT=Q-1，根據下面的推導可以得到正交矩陣一定具有范數不變性：

剛才我們說到了，對于一個正交矩陣Q，QT=Q-1，這個條件其實可以用來判斷一個矩陣是否為正交矩陣。根據這個條件，可以得到，如果一個矩陣是正交矩陣，那么其轉置仍然是正交矩陣。這時我們只要檢查一下(QT)T=(QT)-1是否成立就好了。很顯然是成立的，因為轉置的逆等于逆的轉置。

所以對一個正交矩陣，有如下三點性質：

1)行和列都是正交的范數為1的向量

2)范數不變性

3)其轉置等于其逆矩陣

14.9 對稱矩陣

如果一個矩陣的轉置等于其本身，那么這個矩陣被稱為對稱矩陣(symmetric matrices)。

對于對稱矩陣來說，它的特征值都是實數：

同時，不同的特征根所對應的特征向量，是正交的：

對稱矩陣一定是可以對角化的(相關的證明網上可以找到，這里就不證明了)，我們之前介紹過，對于一個可對角化的矩陣，它的特征向量之間都是線性無關的，根據這個性質，如果一個n階對稱陣有n個不同特征值的話，其對應的特征向量是兩兩正交的，那么其組成的矩陣就可以是一個正交矩陣，如果存在重根，其對應的特征向量之間不一定是正交的，但總是可以通過正交化的方式轉換成正交的。因此對于對稱矩陣來說，之前講過的對角化的方式可以變為：

15、奇異值分解

15.1 什么是奇異值分解？

我們之前介紹的對角化，只能針對方陣，那么對于非方陣來說，我們可不可以用類似對角化的方式對矩陣進行分解呢？這里就用到了奇異值分解(Singular value decomposition ,SVD)的技術。

奇異值分解如下，一個m*n的矩陣A可以分解為一個m階的正交矩陣，一個m*n的對角矩陣(類似于對角矩陣吧)和一個n階的正交矩陣：

那這三個矩陣分別要怎么求呢？我們參考劉建平老師的文章(https://www.cnblogs.com/pinard/p/6251584.html)：

奇異值通常用于降維，也就是說，我們不需要所有的奇異值來描述矩陣，而是通過少數的幾個比較大的奇異值就可以，此時效果如下：

好了，本文的線性代數知識就帶你復習到這里，真的建議大家去聽一下李宏毅老師的線性代數課，講的還是十分清晰的。

參考文獻

1、http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html

2、https://www.cnblogs.com/pinard/p/6251584.html

作者：石曉文的學習日記

鏈接：http://www.lxweimin.com/p/21aea5108d83

來源：簡書

簡書著作權歸作者所有，任何形式的轉載都請聯系作者獲得授權并注明出處。