讀到了一篇不錯的關于貝葉斯方法和貝葉斯網絡的文章，整理一下理解和思考。
概率和統計是兩個非常相關的概念，大家印象里很容易把統計變量等同于某個概率值或概率分布，但對于不同的統計方法而言，如何看待統計變量是存在區別的。
對于某個待推斷的統計變量，頻率學派認為
是一個固定變量，給定了一系列隨機樣本
后，通過計算頻率來估計樣本的分布，從而確定
。相反，貝葉斯學派認為
也是隨機變量，在沒有觀察到任何樣本之前，人們可以對
有一個主觀的猜測，通常表示為先驗分布
。而當觀察到樣本后X，先驗分布會被逐漸修正為后驗分布
，從而逼近真正
的取值。
既然貝葉斯方法中，需要由后驗分布來估計統計變量，那么一個重要的問題是如何計算后驗分布。這里就需要引入貝葉斯公式： 。
可以看到，后驗分布是先驗分布
通過乘以某個修正因子
得到的。這里
被稱為Likelihood，表示已知
，樣本X發生的概率；
稱為聯合分布，表示
同時發生的概率；
則代表樣本X發生的邊緣分布，可以通過將聯合分布
對
積分求得。
在實踐中，我們一般取使后驗概率分布最大的
作為估計，也即最大后驗估計。對于給定的X，一般認為
也是固定的，因此最大后驗估計也就被轉化為最大化
。
以上方法被廣泛應用在各類問題中，比如應用樸素貝葉斯算法解決垃圾郵件分類，應用noisy channel model解決拼寫檢查。
參考：
從貝葉斯方法談到貝葉斯網絡
