譯者按： 吳恩達(dá)和邁克爾喬丹的經(jīng)典合作之一，是當(dāng)年吳恩達(dá)在喬丹門(mén)下讀博時(shí)發(fā)表的，分類(lèi)問(wèn)題是機(jī)器學(xué)習(xí)最典型的問(wèn)題，而樸素貝葉斯和邏輯回歸又是最基礎(chǔ)最常用的分類(lèi)算法，兩位大神對(duì)此進(jìn)行了深入精到的分析，對(duì)機(jī)器學(xué)習(xí)和AI的愛(ài)好者來(lái)說(shuō)不可錯(cuò)過(guò)

作者：?

Andrew Y. Ng（吳恩達(dá)）? ?， ??Michael I. Jordan（邁克爾一喬丹）

?計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)系

加州大學(xué)伯克利分校

摘要

我們比較判別式和生成式學(xué)習(xí)，以logistic回歸和樸素貝葉斯為代表。我們表明，與廣泛持有的觀點(diǎn)（判別式分類(lèi)器幾乎總是被優(yōu)先考慮的）相反，通常會(huì)有兩種不同的性能體系，即訓(xùn)練集大小增加，其中每個(gè)算法效果更好。這源于觀察，在反復(fù)實(shí)驗(yàn)中證實(shí)，盡管判別式學(xué)習(xí)具有較低的漸近誤差，但生成式分類(lèi)器也可以更快地接近其（較高）漸近性誤差。

一、簡(jiǎn)介

生成分類(lèi)器學(xué)習(xí)輸入x和標(biāo)簽y的聯(lián)合概率p（x，y）的模型，并通過(guò)使用貝葉斯規(guī)則來(lái)計(jì)算p（ylx），然后選擇最可能的標(biāo)簽y來(lái)進(jìn)行預(yù)測(cè)。 判別分類(lèi)器直接對(duì)后驗(yàn)p（ylx）建模，或者從輸入x學(xué)習(xí)一個(gè)直接映射到類(lèi)標(biāo)簽。 使用判別式而不是生成性分類(lèi)器有幾個(gè)令人信服的原因，其中一個(gè)由Vapnik簡(jiǎn)潔地闡述[6]，即“應(yīng)該直接解決[分類(lèi)]問(wèn)題，并且不會(huì)解決更普遍的問(wèn)題作為中間步驟 [例如 作為建模p（xly）]。“ 事實(shí)上，拋開(kāi)計(jì)算問(wèn)題和處理缺失數(shù)據(jù)等問(wèn)題，目前的共識(shí)似乎是，判別式分類(lèi)幾乎總是被優(yōu)先于生成性分類(lèi)。

另一個(gè)流行的民間智慧是需要的例子數(shù)量，擬合一個(gè)模型通常在模型的自由參數(shù)數(shù)量上大致是線(xiàn)性的。這對(duì)于VC的“眾多”模型的觀察具有理論基礎(chǔ)，維數(shù)大致是線(xiàn)性的或者至多是參數(shù)數(shù)量中的一些低階多項(xiàng)式（參見(jiàn)例如[1,3]），并且已知在VC維中判別性設(shè)置中的樣本復(fù)雜度是線(xiàn)性的[6]。

在本文中，我們從經(jīng)驗(yàn)和理論上研究這些信念的真實(shí)程度。 概率模型p（x，y）的一個(gè)參數(shù)族可以適合于優(yōu)化輸入和標(biāo)簽的聯(lián)合似然，或者適合于優(yōu)化條件似然p（ylx），或者甚至適合于最小化0-1訓(xùn)練 通過(guò)對(duì)p（ylx）進(jìn)行閾值處理得到的誤差進(jìn)行預(yù)測(cè)。 給定根據(jù)第一準(zhǔn)則的分類(lèi)器hGen擬合，并且根據(jù)第二或第三準(zhǔn)則（使用相同的參數(shù)族模型）擬合模型hDis，我們稱(chēng)hGen和hD為生成 - 區(qū)分對(duì)。 例如，如果p（xly）是高斯的且p（y）是多項(xiàng)式的，則相應(yīng)的生成判別對(duì)是正態(tài)判別分析和邏輯回歸。 類(lèi)似地，對(duì)于離散輸入的情況，眾所周知，樸素貝葉斯分類(lèi)器和邏輯回歸形成了一個(gè)生成 - 區(qū)分對(duì)[4,5]。

為了比較生成性和判別式學(xué)習(xí)，似乎很自然地關(guān)注這樣的對(duì)。在本文中，我們考慮樸素貝葉斯模型（用于離散和連續(xù)輸入）及其區(qū)分模擬，邏輯回歸/線(xiàn)性分類(lèi)，并且顯示：（a）生成模型的確具有更高的漸近誤差訓(xùn)練樣例變得很大），但是（b）生成模型也可能比判別模型更快地逼近其漸近誤差 - 可能有許多訓(xùn)練樣例，它們的數(shù)量只是對(duì)數(shù)而不是線(xiàn)性的參數(shù)。這表明，并且我們的實(shí)證結(jié)果強(qiáng)烈支持 - 隨著訓(xùn)練樣本數(shù)量的增加，可能會(huì)有兩種截然不同的表現(xiàn)方式，第一種方式是生成模型已經(jīng)接近其漸近誤差，因此表現(xiàn)更好，第二種情況是判別模型接近其較低的漸近誤差并做得更好。

二、預(yù)演

我們考慮一個(gè)二元分類(lèi)任務(wù)，并從離散數(shù)據(jù)的情況開(kāi)始。假設(shè)X = {O，l} n是n維輸入空間，我們假設(shè)二進(jìn)制

簡(jiǎn)單的輸入（泛化沒(méi)有困難）。 讓輸出標(biāo)簽為Y = {T，F(xiàn)}，并且在X X Y上存在一個(gè)聯(lián)合分布V. 繪制了訓(xùn)練集S = {x（i），y（i）}?1。 生成貝葉斯分類(lèi)器使用S來(lái)計(jì)算概率的估計(jì)值p（xiIY）和p（y）p（xi IY）和p（y），如下所示：

（對(duì)于p（y = b），也是類(lèi)似的），其中#s { - }計(jì)算出現(xiàn)的次數(shù)事件在訓(xùn)練集S中。這里，設(shè)定l =°對(duì)應(yīng)于采用經(jīng)驗(yàn)估計(jì)概率，并且l更傳統(tǒng)地被設(shè)置為正值，例如1，這對(duì)應(yīng)于使用概率的拉普拉斯平滑。 為了對(duì)測(cè)試示例x進(jìn)行分類(lèi)，當(dāng)且僅當(dāng)以下數(shù)量為正數(shù)時(shí)，樸素貝葉斯分類(lèi)器hGen：X r- + Y預(yù)測(cè)hGen（x）= T：

在連續(xù)輸入的情況下，除了我們現(xiàn)在假設(shè)X = [O，l] n并且設(shè)p（xilY = b）被參數(shù)化為具有參數(shù){ti ly = b的單變量高斯分布和 如果注意到j(luò)1，而不是if，則取決于y）。 參數(shù)通過(guò)最大可能性進(jìn)行擬合，例如{ti ly = b是訓(xùn)練集中標(biāo)簽y = b的所有示例的第i個(gè)坐標(biāo)的經(jīng)驗(yàn)平均值。 請(qǐng)注意，此方法也等同于假定對(duì)角線(xiàn)協(xié)方差矩陣的正態(tài)判別分析。 在下面的續(xù)集中，我們還讓J.tree = b = E [XiIY = b]和a; = Ey [Var（xi ly）]是“真”的均值和方差（不管數(shù)據(jù)是否為高斯分布）。

在離散和連續(xù)的情況下，眾所周知，樸素貝葉斯的判別式是邏輯回歸。 該模型具有參數(shù)[，8，OJ，并且假定p（y = Tlx;，8，O）= 1 /（1 + exp（ - ，8Tx-0））。 給定一個(gè)測(cè)試?yán)齲，當(dāng)且僅當(dāng)線(xiàn)性判別函數(shù)

是積極的。 作為一個(gè)判別模型，參數(shù)[（3，（）]可以適合于最大化訓(xùn)練集上的條件或全部條件，或者最小化 其中1 { - }是指示器函數(shù)（I {True} = 1，I {False} = 0）0-1訓(xùn)練誤差L?= ll {hois（x（i））1-y（i）}。 在錯(cuò)誤度量為0-1分類(lèi)錯(cuò)誤的情況下，我們認(rèn)為后者可以更真實(shí)地用于判別式學(xué)習(xí)的“精神”，盡管前者也經(jīng)常被用作后者的計(jì)算效率近似值。 我們將在很大程度上忽略這兩種版本的歧視性學(xué)習(xí)之間的差異，并且在濫用術(shù)語(yǔ)的情況下，我們會(huì)松散地使用術(shù)語(yǔ)“邏輯回歸”來(lái)指代，盡管我們的正式分析將集中在后一種方法上。

最后，讓1i是所有線(xiàn)性分類(lèi)器的族（從X到Y(jié)的映射）; 并給出一個(gè)分類(lèi)器h：X I -t y，將其泛化誤差定義為c（h）= Pr（x，y）?v [h（x）1-y]。

三、分析和算法

當(dāng)D使得兩類(lèi)遠(yuǎn)離線(xiàn)性分離時(shí)，邏輯回歸和樸素貝葉斯都不可能做得好，因?yàn)閮烧叨际蔷€(xiàn)性分類(lèi)器。 因此，為了獲得非平凡的結(jié)果，將這些算法的性能與它們的漸近誤差進(jìn)行比較是最有趣的（參見(jiàn)不可知論學(xué)習(xí)設(shè)置）。 更確切地說(shuō)，讓hGen，oo是樸素貝葉斯分類(lèi)器的人口版本; 即hGen，oo是具有參數(shù)p（xly）= p（xly），p（y）= p（y）的樸素貝葉斯分類(lèi)器。 同樣，讓hOis是邏輯回歸的人口版本。 接下來(lái)的兩個(gè)命題是完全簡(jiǎn)單的。

命題1讓hGen和hDis是任何生成歧視的分類(lèi)器，binoo和hdis是它們的漸近/種群版本。 然后lc（hDis，oo）：Sc（hGen，oo）。

命題2讓hDis為n維邏輯回歸。 然后高概率c（hois）：S c（hois，oo）+ 0（J?log?）

因此，對(duì)于c（hOis）：S c（hOis，oo）+ EO以高概率保持（這里EO> 0是某個(gè)固定常量），只需選擇m = O（n）即可。

命題1表明，漸近地判別式邏輯回歸的誤差小于生成樸素貝葉斯的誤差。 這很容易表明，由于c（hDis）收斂于infhE1-lc（h）（其中1i是所有線(xiàn)性分類(lèi)器的類(lèi)別），因此它必須漸近地不比樸素貝葉斯挑選的線(xiàn)性分類(lèi)器差。 這個(gè)命題也為廣泛認(rèn)為判別式分類(lèi)器比生成式分類(lèi)器更好的觀點(diǎn)提供了基礎(chǔ)。

命題2是另一個(gè)標(biāo)準(zhǔn)結(jié)果，并且是一個(gè)直接的應(yīng)用Vapnik一致收斂于邏輯回歸，并使用1i具有VC維n的事實(shí)。 命題的第二部分指出，判別式學(xué)習(xí)的樣本復(fù)雜性 - 即需要接近漸近誤差的例子的數(shù)量 - 至多是n的數(shù)量級(jí)。 請(qǐng)注意，最壞情況下的樣本復(fù)雜度也受n階[6]的限制。

因此，判別式學(xué)習(xí)的圖片相當(dāng)清楚：錯(cuò)誤收斂于最佳線(xiàn)性分類(lèi)器的收斂，并且收斂在n個(gè)例子的順序之后。?

生成式學(xué)習(xí)如何？特別是樸素貝葉斯分類(lèi)器的情況？ 我們從以下引理開(kāi)始。

引理3

任何101,8>°和任何l 2：°都是固定的。 假設(shè)對(duì)于一些固定的Po> 0，我們有Po：s：p（y = T）：s：1 - Po。 讓m = 0（（1 / Ei）log（n / 8））。 然后概率至少為1 - 8：

1.在離散輸入的情況下，IjJ（XiIY = b）-p（xilY = b）1：s：101和IjJ（y =b） - p（y = b）I：s：101，對(duì)于所有i = 1，...，n和bEY。

2.在連續(xù)輸入的情況下，IPi ly = b -f-li ly = b I：s：101，laT-O“TI：s：101，并且IjJ（y = b）-p（y = b） ：s：101，所有i = 1，...，n和bEY。

證明（草圖）。考慮離散情況，現(xiàn)在讓l =°。設(shè)101：s：po / 2。通過(guò)Chernoff界限，概率至少為1 - 81 = 1 - 2exp（-2Eim），正例的比例將在p（y = T）的101范圍內(nèi)，這意味著IjJ（y = b） - p（y = b）1：s：101，我們至少有1m正數(shù)和1m負(fù)數(shù)示例，其中I = Po-101 = 0（1）。所以再次通過(guò)Chernoff界限，對(duì)于具體的i，b，IjJ（XiIY = b）-p（xilY = b）1> 101的機(jī)會(huì)最多為82 = 2exp（-2Ehm）。由于存在2n個(gè)這樣的概率，聯(lián)盟限制的錯(cuò)誤總發(fā)生概率最多為81 + 2n82。用81和8 / s定義代替，我們看到為了保證81 + 2n82：s：8，只要m如前所述即可。最后，平滑（l> 0）對(duì)這些概率至多添加一個(gè)小的O（l / m）擾動(dòng)，并使用與上述相同的參數(shù)（比如說(shuō)101/2）而不是101，并且認(rèn)為這個(gè)O / m）擾動(dòng)至多為101/2（這是因?yàn)閙至少為1 / Ei），再次給出結(jié)果。對(duì)于連續(xù)情況的結(jié)果用基于切爾諾夫邊界的論證（以及假設(shè)Xi E [0,1]）被類(lèi)似地證明。

因此，在n個(gè)樣本中，只有對(duì)數(shù)而不是線(xiàn)性的樣本，生成分類(lèi)器hGen的參數(shù)均勻接近它們的漸近線(xiàn)

hGen中的值，oo。因此，很容易得出結(jié)論，c（hGen），即錯(cuò)誤生成的樸素貝葉斯分類(lèi)器也趨于其漸近值c（hGen，oo）

在這個(gè)例子之后，暗示只需要0（log n）個(gè)例子來(lái)適應(yīng)a樸素貝葉斯模型。我們將很快建立一些簡(jiǎn)單的條件

這種直覺(jué)確實(shí)是正確的。請(qǐng)注意，這意味著即使樸素貝葉斯收斂于c（hGen，oo）與logistic回歸相比更高的漸近誤差

c：（hDis，oo），它也可能比O（log n）快得多O（n），

訓(xùn)練例子。顯示c（hGen）方法c（hGen，oo）的一種方式是通過(guò)顯示參數(shù)'收斂意味著hGen很可能會(huì)做出同樣的預(yù)測(cè)

hGen，oo。回想一下，hGen通過(guò)對(duì)判別函數(shù)進(jìn)行閾值處理來(lái)進(jìn)行預(yù)測(cè)lGen在（2）中定義。設(shè)lGen，oo為相應(yīng)的判別函數(shù)

由hGen使用，oo。在每個(gè)例子上，lGen和lGen都落在同一個(gè)地方零的邊，hGen和hGen，oo會(huì)做出同樣的預(yù)測(cè)。而且，只要

lGen，oo（x）的概率相當(dāng)高，遠(yuǎn)離零，那么lGen（x）是一個(gè)很小的lGen的擾動(dòng)oo（x）通常也會(huì)與lGen oo（x）在同一邊。

定理4定義G（T）= Pr（x，y）?v [（lGen，oo（x）E [O，Tn] A y = T）V（lG en，oo（X）E [-Tn，O ] AY = F）]。 假設(shè)對(duì)于一些固定的Po> 0，我們有Po：s：p（y = T）：s：1 - Po，并且Po：s：P（Xi = 11Y = b）：s：1 - Po對(duì)于所有的i，b離散輸入）或O“T 2：Po（在連續(xù)的情況下）然后以高概率，

證明（草圖）。 c（hGen） - c（hGen，oo）受上述機(jī)會(huì)的上界限hGen，oo正確地對(duì)隨機(jī)選擇的示例進(jìn)行分類(lèi)，但hGen將其錯(cuò)誤分類(lèi)。

引理3確保hGen的所有參數(shù)在hGen的所有參數(shù)O（j（log n）/ m）內(nèi)的概率很高。這又意味著，lGen中的總和中的n + 1項(xiàng)（如等式2）中的每個(gè)項(xiàng)都在lGen，oo中對(duì)應(yīng)項(xiàng)的O（j（1ogn）/ m）之內(nèi)，因此IlGen（x） -lGen，oo（x）1：SO（nj（1ogn）/ m）。假設(shè)T = O（j（logn）/ m），我們就可以看出，只有當(dāng)y = T且lGen時(shí)，hGen，oo才有可能是正確的，而hGen可能是錯(cuò)誤的（x，y） X）E [0，Tn]（因此有可能是lGen，oo（X）::::: 0，lGen（x）：S 0），或者如果y = F和lGen，oo（X）E [-Tn，0]。這個(gè)概率恰好是G（T），因此上界c（hGen） - c（hGen，oo）。 d

定理中的關(guān)鍵量是G（T），當(dāng)T很小時(shí)它必須很小，以使邊界不平凡。注G（T）以上界為界Prx [lGen，oo（x）E [-Tn，Tn]] - lGen，oo（X）（一個(gè)隨機(jī)變量，其分布由x“”V引起）接近零的概率。要獲得關(guān)于這些隨機(jī)變量的縮放的直覺(jué)，請(qǐng)考慮以下幾點(diǎn)：

命題5假設(shè)，對(duì)于至少一個(gè)0（1）分?jǐn)?shù)的特征我（我=1，...，n），對(duì)于一些IP（Xi = 11Y = T）-P（Xi = 11Y = F）I :::::'Y 固定'Y> 0（或者在連續(xù)輸入的情況下，IJLi ly = T -JLi ly = FI :::::'Y）。 然后E [lGen，oo（x）ly = T] = O（n）和-E [lGen，oo（x）ly = F] = O（n）。

因此，只要類(lèi)標(biāo)簽給出有關(guān)0（1）分?jǐn)?shù)的信息特征（或者不太正式，只要大多數(shù)特征與類(lèi)標(biāo)簽“相關(guān)”），IlGen的期望值oo（X）I將是O（n）。 這個(gè)命題很容易通過(guò)證明條件（例如）事件y = T，以lGen，oo（x）（如等式（2）中的總和中的每個(gè)項(xiàng)，但用fi代替fi） 非負(fù)的期望（由KL散度的非負(fù)性），此外0（1）部分的期望值遠(yuǎn)離零。

命題5保證IlGen，oo（x）1有很大的期望，但我們要想綁定G實(shí)際上是稍微強(qiáng)一點(diǎn)，那就是隨機(jī)的變量IlGen，oo（x）1進(jìn)一步大/遠(yuǎn)離零，具有高概率。那里有幾種方法可以獲得足夠的條件來(lái)確保G很小。一獲得松散界限的方法是通過(guò)切比雪夫不等式。對(duì)于其余的這個(gè)討論，讓我們?yōu)榱撕?jiǎn)單而隱含地說(shuō)明一個(gè)測(cè)試事件示例x具有標(biāo)簽T.切比雪夫不等式意味著Pr [lGen，oo（x）：SE [lGen，oo（X）] - t]：S Var（lGen，oo（x））/ t2。現(xiàn)在，lGen，oo（X）是n個(gè)隨機(jī)數(shù)之和變量（忽略涉及先驗(yàn)p（y）的術(shù)語(yǔ)）。如果（仍然以y為條件），這n個(gè)隨機(jī)變量是獨(dú)立的（即如果“樸素貝葉斯假設(shè)”假設(shè)xi在條件上獨(dú)立于給定的y，保持），那么它的方差是O（n）;即使n個(gè)隨機(jī)變量不完全獨(dú)立，方差可能也是如此仍然不會(huì)大于0（n）（甚至可能更小，取決于相關(guān)性的跡象），并且至多是O（n2）。所以，如果E [lGen，oo（x）ly = T] = an（as將通過(guò)命題5來(lái)保證）對(duì)于一些> 0，通過(guò)設(shè)置t =（a-T）n，Chebyshev不等式給出了Pr [lGen，oo（x）：S Tn]：S 0（1 /（a-T）2n1 /）一致地界定，那么我們也是

有G（T）= O（T）。無(wú)論如何，我們對(duì)定理4也有如下推論。

推論6假設(shè)定理4的條件成立，并假設(shè)G（T）：S Eo / 2 + 對(duì)于滿(mǎn)足F（T） - + 0的函數(shù)F（T）（與n無(wú)關(guān)）的F（T）為T(mén) - + 0，

和一些固定的EO> O.那么對(duì)于€（hGen）：S c（hGen，oo）+ EO保持高

圖1：來(lái)自VCI Machine Learning的數(shù)據(jù)集的15個(gè)實(shí)驗(yàn)的結(jié)果庫(kù)。 繪圖的泛化誤差與m（平均超過(guò)1000個(gè)隨機(jī)數(shù)

火車(chē)/測(cè)試分割）。 虛線(xiàn)是邏輯回歸; 實(shí)線(xiàn)是樸素貝葉斯。

請(qǐng)注意，前面的討論暗示了推論的先決條件確實(shí)存在于樸素貝葉斯（和命題5）的假設(shè)情況下對(duì)于任何常數(shù)fa，只要n足夠大以至于fa ::::: exp（-O（o：2n））（對(duì)于有界限的Var（lGen，oo（x））情況也是如此，并且限制性更強(qiáng)的fa ::::: O（I /（o：2n17）））。 這也意味著這些（后者也要求T）> 0）是漸近樣本復(fù)雜度為0（log n）的充分條件。

四、實(shí)驗(yàn)

邏輯回歸算法具有較低的漸近誤差，生成的樸素貝葉斯分類(lèi)器也可以更快地收斂到其（較高）漸近誤差。因此，隨著訓(xùn)練樣本數(shù)量m的增加，人們會(huì)期望生成樸素貝葉斯最初做的更好，但對(duì)于區(qū)分邏輯回歸最終趕上并很可能超過(guò)樸素貝葉斯的性能。為了測(cè)試這些預(yù)測(cè)，我們對(duì)15個(gè)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，其中8個(gè)連續(xù)輸入，7個(gè)離散輸入，來(lái)自VCI機(jī)器學(xué)習(xí)庫(kù)2.這些實(shí)驗(yàn)的結(jié)果如圖1所示。我們發(fā)現(xiàn)理論預(yù)測(cè)出人意料地好。有一些logistic回歸的表現(xiàn)沒(méi)有趕上樸素貝葉斯的情況，但這主要是在特別小的數(shù)據(jù)集中觀察到的，在這些數(shù)據(jù)集中，m估計(jì)不能大到足以讓我們觀察到大規(guī)模邏輯回歸的預(yù)期優(yōu)勢(shì)m限制。

五、討論

Efron [2]也分析了邏輯回歸和正態(tài)判別分析（for連續(xù)的投入），并得出結(jié)論，前者只是漸近的略微（1/3 - 1/2倍）統(tǒng)計(jì)效率較低。這與我們的形成鮮明對(duì)比結(jié)果，一個(gè)關(guān)鍵的區(qū)別是，而不是假設(shè)P（xly）是高斯的一個(gè)對(duì)角協(xié)方差矩陣（就像我們所做的那樣），Efron考慮了P（xly）的情況建模為具有完全信任矩陣的高斯。在這種情況下，估計(jì)協(xié)方差矩陣是奇異的，如果我們?cè)趎個(gè)訓(xùn)練樣本中的線(xiàn)性少于，那么正態(tài)判別分析不能比學(xué)習(xí)快得多邏輯回歸在這里。第二個(gè)重要的區(qū)別是Efron的考慮只有P（xly）確實(shí)是高斯的特例。這樣的漸近在一般情況下比較不是很有用，因?yàn)槲ㄒ豢赡艿慕Y(jié)論，如果€（hDis，oo）<€（hGen，oo）是邏輯回歸是優(yōu)越的算法。

相反，正如我們以前所看到的那樣，這是非漸近的情況觀察到有趣的“雙機(jī)制”行為。實(shí)用的分類(lèi)算法通常涉及某種形式的正則化特定的邏輯回歸通常可以在實(shí)踐中通過(guò)技術(shù)改進(jìn)如通過(guò)L1約束收縮參數(shù)，強(qiáng)加一個(gè)裕度約束在可分離的情況下，或各種形式的平均。這種正則化技術(shù)可以被看作是改變模特家庭，但是，他們?cè)诤艽蟪潭壬鲜沁@樣正交于本文的分析，這是基于特別考察的清晰的生成歧視模型配對(duì)案例。通過(guò)開(kāi)發(fā)更清晰了解純生殖和歧視的條件方法最成功，我們應(yīng)該能夠更好地設(shè)計(jì)混合分類(lèi)器享受最廣泛的條件范圍內(nèi)的最佳性能。最后，雖然我們的討論集中在樸素貝葉斯和邏輯回歸，但是直接將分析擴(kuò)展到其他幾種模型，包括生成歧視通過(guò)使用固定結(jié)構(gòu)，有界貝葉斯生成P（xly）網(wǎng)絡(luò)模型（其中樸素貝葉斯是一個(gè)特例）。

致謝

我們感謝Andrew McCallum提供有用的對(duì)話(huà)。吳恩達(dá)得到了微軟研究院獎(jiǎng)學(xué)金支持。 這項(xiàng)工作也得到了英特爾的資助

References

[1] M. Anthony and P. Bartlett. Neural Network Learning: Theoretical Foundations. Cambridge

University Press, 1999.

[2] B. Efron. The efficiency of logistic regression compared to Normal Discriminant Analysis.

Journ. of the Amer. Statist. Assoc., 70:892- 898, 1975.

[3] P. Goldberg and M. Jerrum. Bounding the VC dimension of concept classes parameterized

by real numbers. Machine Learning, 18:131-148, 1995.

[4] G.J. McLachlan. Discriminant Analysis and Statistical Pattern Recognition. Wiley,

New York, 1992.

[5] Y. D. Rubinstein and T. Hastie. Discriminative vs. informative learning. In Proceedings

of the Third International Conference on Knowledge Discovery and Data Mining, pages

49- 53. AAAI Press, 1997.

[6] V. N. Vapnik. Statistical Learning Theory. John Wiley & Sons, 1998.