什么是條件概率？

所謂"條件概率"（Conditional probability），就是指在事件B發生的情況下，事件A發生的概率，用P(A|B)來表示。

文氏圖.jpg

根據文氏圖，可以很清楚地看到在事件B發生的情況下，事件A發生的概率就是P(A∩B)除以P(B)。
即：P(A|B)=P(A∩B) / P(B)，
因此，P(A∩B) = P(A|B)P(B)，
同理，P(A∩B) = P(B|A)P(A)，
所以，P(A|B)P(B) = P(B|A)P(A)
可得：P(A|B) = P(B|A)P(A) / P(B)，這就是條件概率的計算公式。

我們把P(A)稱為"先驗概率"（Prior probability），即在B事件發生之前，我們對A事件概率的一個判斷。P(A|B)稱為"后驗概率"（Posterior probability），即在B事件發生之后，我們對A事件概率的重新評估。P(B|A)/P(B)稱為"可能性函數"（Likelyhood），這是一個調整因子，使得預估概率更接近真實概率。另外，可延伸學習全概率公式。

參考鏈接：貝葉斯推斷及其互聯網應用（一）：定理簡介

貝葉斯理論

樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設的分類方法。對于給定的訓練數據集，首先基于特征條件獨立假設學習輸入/輸出的聯合概率分布；然后基于此模型，對給定的輸入x，利用貝葉斯定理求出后驗概率最大的輸出y。

樸素貝葉斯法的優點：實現簡單，學習和預測的效率很高，較為常用。缺點是分類的性能不一定很高。

樸素貝葉斯法實際上學習到生成數據的機制，所以屬于生成模型。

樸素貝葉斯的參數估計

后驗概率最大化的含義：樸素貝葉斯法將實例分到后驗概率最大的類中，這等價于期望風險最小化。

什么是極大似然估計？

總結起來，最大似然估計的目的就是：利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的參數值。

原理：極大似然估計是建立在極大似然原理的基礎上的一個統計方法，是概率論在統計學中的應用。極大似然估計提供了一種給定觀察數據來評估模型參數的方法，即：“模型已定，參數未知”。通過若干次試驗，觀察其結果，利用試驗結果得到某個參數值能夠使樣本出現的概率為最大，則稱為極大似然估計。

書看上的不是很懂，看看下面的圖片理解起來好一些。

極大似然估計.jpg

參考鏈接：
詳解最大似然估計（MLE）
極大似然估計詳解

樸素貝葉斯模型及推導過程

后驗概率最大化.jpg

樸素貝葉斯分類器.jpg

樸素貝葉斯的過程及算法

樸素貝葉斯算法.jpg

貝葉斯估計

scikit-learn實例（關鍵是多看scikit_learn文檔，多熟悉例子）

In [1]: import numpy as np
   ...: import pandas as pd
   ...: import matplotlib.pyplot as plt
   ...: 
   ...: from sklearn.datasets import load_iris
   ...: from sklearn.model_selection import train_test_split
In [4]: # 生成源數據
   ...: def create_data():
   ...:     iris = load_iris()
   ...:     df = pd.DataFrame(iris.data, columns=iris.feature_names)
   ...:     df['label'] = iris.target
   ...:     df.columns = ['sepal length','sepal width','petal length','petal width','label']
   ...:     data = np.array(df.iloc[:100,:])
   ...:     return data[:,:-1],data[:,-1]
   ...: 
# 切割數據
In [5]: X, y = create_data()
   ...: X_train,X_test,y_train,y_test = train_test_split(X, y, test_size=0.3)
   ...: 
In [6]: X_test[0],y_test[0]
Out[6]: (array([5.7, 2.8, 4.1, 1.3]), 1.0)

In [7]: # sklearn.naive_bayes。這里用的是高斯模型，此外還有伯努利模型和多項式模型
   ...: from sklearn.naive_bayes import GaussianNB

# 訓練數據，并進行測試集驗證
In [11]: clf = GaussianNB()
    ...: clf.fit(X_train,y_train)
    ...: 
Out[11]: GaussianNB(priors=None)
In [12]: clf.score(X_test,y_test)
Out[12]: 1.0

#挑個數據預測下
In [13]: clf.predict([6.3,3.3,4.7,1.6])
Out[13]: array([1.])

參考鏈接：
樸素貝葉斯
《統計學習方法》知乎參考讀物
最大似然估計和最大后驗估計
一文搞懂極大似然估計
詳解最大似然估計（MLE）、最大后驗概率估計（MAP），以及貝葉斯公式的理解
極大似然估計詳解