現實情況中我們可能會遇到這樣的一些例子，需要得到一所高校有車學生的分布情況（假定符合參數為p的伯努利分布），某地區(qū)成年男性的身高分布情況（假定符合參數為u1，σ1的正態(tài)分布），南極洲成年帝企鵝的體重分布（假定符合參數為u2，σ2的正態(tài)分布）等等。

由于時間和經費的限制，不可能進行全面統計，我們只能通過一定的觀察，得到一系列的觀察值，在上述假定概率分布模型上，現在需要求出是哪個具體的概率分布生成了這些觀察值。要解決這個問題，就需要用到參數估計方法，即估計出上述的參數p，（u，σ），而最大似然估計就是這樣一種方法。

最大似然估計是一個在已知觀察結果（即樣本）和給定概率分布模型的基礎上，估計概率分布模型的參數，并使得在該參數下，生成這個已知樣本的可能性最大的方法。

舉第一個例子，設我們已經獲得了一個樣本集{X1,X2,…,Xn}，其中Xi=0表示選取的學生沒有車，Xi= 1表示選取的學生有車。 Xi服從概率為未知參數p的伯努利分布，那么根據伯努利分布的定義，每個Xi的概率質量函數為：

f(xi;p)=pxi(1?p)1?xi

其中Xi=0或1。 首先，要通過極大似然估計方法求出參數p，需要定義似然函數。前面提到，最大似然估計就是去找參數估計值，使得已經觀察到的樣本值發(fā)生概率最大。既然這些樣本已經實現了，其發(fā)生概率最大才符合邏輯。這就是求所有觀測值樣本的聯合概率最大化。因此，似然函數在形式上，其實就是樣本的聯合概率。對連續(xù)型隨機變量和離散型隨機變量，樣本的似然函數分別是概率密度和概率質量函數的連乘形式。

對于本例，似然函數為：

L(p)=∏i=1nf(xi;p)=px1(1?p)1?x1×px2(1?p)1?x2×...×pxn(1?p)1?xn

將上式化簡，我們得到：

L(p)=p∑xi(1?p)n?∑xi

在實際應用中，為了求解方便，一般使用似然函數的對數。

ln(L(p))=ln(p∑xi(1?p)n?∑xi)=(∑xi)ln(p)+(n?∑xi)ln(1?p)

我們知道，對數函數是單調遞增的。這意味著使得ln(L(p))獲得極大值的p也是使得L(p)獲得極大值的p。下圖為對數函數的圖像。

利用一元函數求極大值的方法，對上式兩邊求p的導數，并令其等于0：

?ln(L(p))?p=∑xip?(n?∑xi)1?p≡0

兩邊乘以p(1-p)，得到：

(∑xi)(1?p)?(n?∑xi)p=0

化簡后：

∑xi?np=0

需要說明的是，這里的p實際上是我們估計的p，因此使用如下的符號：

p?=∑xin=∑ni=1xin

假設我們隨機觀察了30個學生的樣本，樣本集為：

{0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0}

通過上述的極大似然估計方法，可以求出預估的參數為：

p?=∑ni=1xin=530=0.167

再來看另一個例子：

假定該高校男生的體重呈均值為μ，標準差為σ的正態(tài)分布。我們獲得了隨機采樣10個男學生的體重如下（單位：斤）：

序號體重

1115

2122

3130

4127

5149

6160

7152

8138

9149

10180

正態(tài)分布的概率密度函數為：

f(xi;μ,σ2)=1σ2π￣￣￣√exp[?(xi?μ)22σ2]

根據上面的定義，似然函數是概率質量函數（離散隨機變量）或概率密度函數（連續(xù)隨機變量）的乘積，因此：

L(μ,σ)=1σn(2π￣￣￣√)nexp[?12σ2∑i=1n(xi?μ)2]

我們把上式的似然函數可以看作是參數θ1和θ2的函數，其中：

θ1=μ,θ2=σ2

因此，似然函數可以改寫為：

L(θ1,θ2)=∏i=1nf(xi;θ1,θ2)=θ?n/22(2π)?n/2exp[?12θ2∑i=1n(xi?θ1)2]

而相應的對數似然函數則為：

logL(θ1,θ2)=?n2logθ2?n2log(2π)?∑ni=1(xi?θ1)22θ2

這是一個關于θ1和θ2的二元函數，根據二元函數求極值的方法，先求θ1的偏導數（partial derivative），然后設偏導數為0。我們得到：

?logL(θ1,θ2)?θ1=?2∑ni=1(xi?θ1)2θ2=0

∑i=1n(xi?θ1)=0

∑i=1nxi?nθ1=0

由此我們得到參數θ1的極大似然估計是：

θ1^=μ?=∑ni=1xin=xˉ

現在對θ2求偏導數（partial derivative），然后設偏導數為0。我們得到：

?logL(θ1,θ2)?θ2=?n2θ2+∑ni=1(xi?θ1)22θ22=0

兩邊同時乘以2θ22：

?nθ2+∑i=1n(xi?θ1)2=0

由此得到參數θ2的極大似然估計是：

θ2^=σ?2=∑(xi?θ1)2n=∑(xi?xˉ)2n

概括起來，我們已經求出了均值μ和方差σ2的最大似然估計：

μ?=∑xin=xˉ,σ?2=∑(xi?xˉ)2n

你發(fā)現沒有，這實質上就是教科書中均值和方差的計算公式！

最后我們根據樣本數據，計算μ和方差σ：

μ?=∑xin=142.2,σ?2=∑(xi?xˉ)2n=18.654

于是，我們得到求極大似然估計的一般步驟：

- 根據設定概率模型，寫出聯合概率形式的似然函數

- 對似然函數取對數，并整理

- 求導數或偏導數，并賦值為0

- 求解方程

最后，談談“似然估計”的使用前提：

- 已經假定了概率模型，如二項分布，正態(tài)分布等；

- 已經有了一些觀察結果的集合。