最大似然估計(jì)是利用已知的樣本的結(jié)果，在使用某個模型的基礎(chǔ)上，反推最有可能導(dǎo)致這樣結(jié)果的模型參數(shù)值。
例子1：抽球
舉個通俗的例子：假設(shè)一個袋子裝有白球與紅球，比例未知，現(xiàn)在抽取10次（每次抽完都放回，保證事件獨(dú)立性），假設(shè)抽到了7次白球和3次紅球，在此數(shù)據(jù)樣本條件下，可以采用最大似然估計(jì)法求解袋子中白球的比例（最大似然估計(jì)是一種“模型已定，參數(shù)未知”的方法）。當(dāng)然，這種數(shù)據(jù)情況下很明顯，白球的比例是70%，但如何通過理論的方法得到這個答案呢？一些復(fù)雜的條件下，是很難通過直觀的方式獲得答案的，這時候理論分析就尤為重要了，這也是學(xué)者們?yōu)楹我岢鲎畲笏迫还烙?jì)的原因。我們可以定義從袋子中抽取白球和紅球的概率如下：
其中theta是未知的，因此，我們定義似然L為：
兩邊取ln，取ln是為了將右邊的乘號變?yōu)榧犹枺奖闱髮?dǎo)。
最大似然估計(jì)的過程，就是找一個合適的theta，使得平均對數(shù)似然的值為最大。因此，可以得到以下公式：
這里討論的是2次采樣的情況，當(dāng)然也可以拓展到多次采樣的情況：
我們定義M為模型（也就是之前公式中的f），表示抽到白球的概率為theta，而抽到紅球的概率為(1-theta)，因此10次抽取抽到白球7次的概率可以表示為：
將其描述為平均似然可得：
那么最大似然就是找到一個合適的theta，獲得最大的平均似然。因此我們可以對平均似然的公式對theta求導(dǎo)，并另導(dǎo)數(shù)為0。
由此可得，當(dāng)抽取白球的概率為0.7時，最可能產(chǎn)生10次抽取抽到白球7次的事件。
例子2：正態(tài)分布
假如有一組采樣值（x1,...,xn），我們知道其服從正態(tài)分布，且標(biāo)準(zhǔn)差已知。當(dāng)這個正態(tài)分布的期望為多少時，產(chǎn)生這個采樣數(shù)據(jù)的概率為最大？
這個例子中正態(tài)分布就是模型M，而期望就是前文提到的theta。
綜上所述，可得求解最大似然估計(jì)的一般過程為：
1. 寫出似然函數(shù)；
2. 如果無法直接求導(dǎo)的話，對似然函數(shù)取對數(shù)；
3. 求導(dǎo)數(shù) ；
4. 求解模型中參數(shù)的最優(yōu)值。
