高斯分布計算方差和期望過程推導(dǎo)
有偏和無偏證明
高維高斯分布過程
高斯分布：
連續(xù)變量一種最重要的概率分布：正態(tài)分布
?
對于一元實值變量,高斯分布被定義為：
其中參數(shù)：被叫做均值，
被叫做方差，方差的平方根，由
給定，叫作標(biāo)準(zhǔn)差，方差的倒數(shù)
，叫作精度。
?
根據(jù)上式，我們可以得到：
?
并且很容易證明高斯分布式高度歸一化的，因此：
因此式（1.46）滿足合理地概率密度函數(shù)的兩個要求。
?
我們已經(jīng)能夠找到關(guān)于的函數(shù)在高斯分布下的期望，特別地，
的平均值為：
?
由于參數(shù)表示在分布下的的平均值，它通常被叫做均值，類似的，二階距：
的方差被定義為：
分布的最大值被叫做眾數(shù)，對于高斯分布，眾數(shù)與均值恰好相等。
?
對于維向量
的高斯分布：
其中維向量被稱為均值，的矩陣，被稱為協(xié)方差，表示的行列式。
假設(shè)有一批數(shù)據(jù)服從獨立同分布，我們知道對于兩個獨立事件的聯(lián)合概率可以由事件的邊緣概率的乘積得到，由于數(shù)據(jù)是服從獨立同分布的，因此對于給定的和，可以得到數(shù)據(jù)集的概率為：
上式就是高斯分布的似然函數(shù)。
使用一個觀測數(shù)據(jù)集來決定概率分布的參數(shù)的一個通用規(guī)則是尋找使似然函數(shù)取得最大值的參數(shù)值。簡化后續(xù)數(shù)學(xué)分析和有助于數(shù)值計算，寫作對數(shù)形式：
關(guān)于，最大化函數(shù)可以求得最大似然解：
這是樣本均值，及觀測到的{}的均值。關(guān)于
最大化函數(shù)，我們求得方差的最大似然解：
這是關(guān)于樣本均值的樣本方差，注意我們要同時關(guān)于
和
來最大化函數(shù)，但是在高斯分布的情況下，
的解和
無關(guān)，因此我們可以先對
求解，然后再對
求解。
?
最大似然估計的平均值會得到正確的均值，但是將會低估方差，因子為
，下圖可以解釋：
?
?
下面的對于方差參數(shù)的估計是無偏的：
?
?
