極大似然估計和貝葉斯估計是兩種估計模型參數的方法。分別代表了兩種學派的思想。
極大似然估計是概率學派的觀點，其認為模型參數為一個固定未知的值。
貝葉斯估計是貝葉斯派的觀點，認為模型參數是隨機的，是一個概率分布。
在理解兩種估計方法之前，先介紹兩個概念基本：似然函數，后驗概率。
似然函數：給定模型參數θ下，觀測樣本D的概率分布。p(D|θ)
后驗概率：給定觀測樣本D下，模型參數θ的概率分布。p(θ|D)
那么極大似然估計就是尋找最優參數，使得給定樣本的似然函數最大化：
由貝葉斯全概率公式，我們可以對后驗概率進行展開：
由于完全的貝葉斯估計計算法困難，需要對所有的θ積分，對后驗概率進行近似處理得到了最大后驗估計：
觀察公式，我們能發現，最大后驗估計相對于極大似然增加了參數的先驗概率分布，這正體現了貝葉斯派對于參數不固定的思想。
