概率論與數理統計
本文參考了目前網上諸多的機器學習數學復習講義，取其精華，逐步深入，在幫助大家進行復習的同時，盡可能降低學習曲線。
0.貝葉斯學派與頻率學派
有興趣的同學可以查相關資料，這里只作為一個興趣點引入
1.事件的關系與運算
圖片1.png
2.頻率與概率
圖片1.png
3.古典概型
圖片1.png
圖片1.png
圖片1.png
4.信息熵
圖片1.png
圖片1.png
圖片1.png
圖片1.png
上圖中，結合我們上一節高數中推導出來的公式，可對組合數公式取對數乘1/n,然后計算得出信息熵公式
5.本福特定律
本福特定律，又稱第一數字定律，是指在實際生活得出的一組數據中，以1為首位數字出現的概率約為總數的三成；是直觀想象1/9的三倍。通常用于檢測數據是否造假
圖片1.png
6.概率的基本公式
圖片1.png
7.貝葉斯公式
圖片1.png
8.常見分布
0-1分布
圖片1.png
二項分布
圖片1.png
泊松分布
圖片1.png
均勻分布
圖片1.png
指數分布
圖片1.png
圖片1.png
正態分布(高斯分布)
圖片1.png
圖片1.png
圖片1.png
學有余力可以查閱二元高斯分布相關資料
總結
圖片1.png
Beta分布
圖片1.png
可以查閱指數族相關資料，推導過程會出現Sigmoid/Logistic函數
9.事件的獨立性
圖片1.png
10.隨機變量及其概率分布
圖片1.png
11.二維隨機變量
圖片1.png
12.期望
圖片1.png
性質
圖片1.png
13.隨機變量函數的數學期望
圖片1.png
14.方差
圖片1.png
15.協方差
圖片1.png
協方差和獨立、不相關
圖片1.png
協方差的意義
圖片1.png
16.Pearson相關系數
圖片1.png
17.協方差矩陣
圖片1.png
18.切比雪夫不等式
圖片1.png
19.大數定律
圖片1.png
意義
圖片1.png
伯努利定理
圖片1.png
20.中心極限定理
圖片1.png
21.最大似然估計
貝葉斯公式的思考
圖片1.png
定義
圖片1.png
圖片1.png
二項分布的最大似然估計
圖片1.png
正態分布的最大似然估計
圖片1.png
圖片1.png
圖片1.png
22.最大似然估計與過擬合
圖片1.png
