三張圖讀懂機器學習:基本概念、五大流派與九種常見算法


【來源】本文經機器之心(微信公眾號:almosthuman2014)授權轉載,禁止二次轉載

【作者】Alan Morrison、Anand Rao

【編譯】機器之心,參與者吳攀、晏奇



機器學習正在進步,我們似乎正在不斷接近我們心中的人工智能目標。語音識別、圖像檢測、機器翻譯、風格遷移等技術已經在我們的實際生活中開始得到了應用,但機器學習的發展仍還在繼續,甚至被認為有可能徹底改變人類文明的發展方向乃至人類自身。但你了解現在正在發生的這場變革嗎?四大會計師事務所之一的普華永道(PwC)近日發布了多份解讀機器學習基礎的圖表,其中介紹了機器學習的基本概念、原理、歷史、未來趨勢和一些常見的算法。為便于讀者閱讀,機器之心對這些圖表進行了編譯和拆分,分三大部分對這些內容進行了呈現,其中也加入了一些擴展鏈接,希望能幫助你進一步擴展閱讀。

一、機器學習概覽

1. 什么是機器學習?

機器通過分析大量數據來進行學習。比如說,不需要通過編程來識別貓或人臉,它們可以通過使用圖片來進行訓練,從而歸納和識別特定的目標。

2. 機器學習和人工智能的關系

機器學習是一種重在尋找數據中的模式并使用這些模式來做出預測的研究和算法的門類。機器學習是人工智能領域的一部分,并且和知識發現與數據挖掘有所交集。更多解讀可參閱《一文讀懂機器學習、數據科學、人工智能、深度學習和統計學之間的區別》。

3. 機器學習的工作方式

①選擇數據:將你的數據分成三組:訓練數據、驗證數據和測試數據

②模型數據:使用訓練數據來構建使用相關特征的模型

③驗證模型:使用你的驗證數據接入你的模型

④測試模型:使用你的測試數據檢查被驗證的模型的表現

⑤使用模型:使用完全訓練好的模型在新數據上做預測

⑥調優模型:使用更多數據、不同的特征或調整過的參數來提升算法的性能表現

4. 機器學習所處的位置

①傳統編程:軟件工程師編寫程序來解決問題。首先存在一些數據→為了解決一個問題,軟件工程師編寫一個流程來告訴機器應該怎樣做→計算機遵照這一流程執行,然后得出結果

②統計學:分析師比較變量之間的關系

③機器學習:數據科學家使用訓練數據集來教計算機應該怎么做,然后系統執行該任務。首先存在大數據→機器會學習使用訓練數據集來進行分類,調節特定的算法來實現目標分類→該計算機可學習識別數據中的關系、趨勢和模式

④智能應用:智能應用使用人工智能所得到的結果,如圖是一個精準農業的應用案例示意,該應用基于無人機所收集到的數據

5. 機器學習的實際應用

機器學習有很多應用場景,這里給出了一些示例,你會怎么使用它?

快速三維地圖測繪和建模:要建造一架鐵路橋,PwC 的數據科學家和領域專家將機器學習應用到了無人機收集到的數據上。這種組合實現了工作成功中的精準監控和快速反饋。

增強分析以降低風險:為了檢測內部交易,PwC 將機器學習和其它分析技術結合了起來,從而開發了更為全面的用戶概況,并且獲得了對復雜可疑行為的更深度了解。

預測表現最佳的目標:PwC 使用機器學習和其它分析方法來評估 Melbourne Cup 賽場上不同賽馬的潛力。

二、機器學習的演化

幾十年來,人工智能研究者的各個「部落」一直以來都在彼此爭奪主導權,參閱機器之心文章《華盛頓大學教授 Pedro Domingos:機器學習領域五大流派(附演講 ppt)》。現在是這些部落聯合起來的時候了嗎?他們也可能不得不這樣做,因為合作和算法融合是實現真正通用人工智能(AGI)的唯一方式。這里給出了機器學習方法的演化之路以及未來的可能模樣。擴展閱讀《深度 | 深度學習與神經網絡全局概覽:核心技術的發展歷程》。

1. 五大流派

①符號主義:使用符號、規則和邏輯來表征知識和進行邏輯推理,最喜歡的算法是:規則和決策樹

②貝葉斯派:獲取發生的可能性來進行概率推理,最喜歡的算法是:樸素貝葉斯或馬爾可夫

③聯結主義:使用概率矩陣和加權神經元來動態地識別和歸納模式,最喜歡的算法是:神經網絡

④進化主義:生成變化,然后為特定目標獲取其中最優的,最喜歡的算法是:遺傳算法

⑤Analogizer:根據約束條件來優化函數(盡可能走到更高,但同時不要離開道路),最喜歡的算法是:支持向量機

2. 演化的階段

1980 年代

主導流派:符號主義

架構:服務器或大型機

主導理論:知識工程

基本決策邏輯:決策支持系統,實用性有限

1990 年代到 2000 年

主導流派:貝葉斯

架構:小型服務器集群

主導理論:概率論

分類:可擴展的比較或對比,對許多任務都足夠好了

2010 年代早期到中期

主導流派:聯結主義

架構:大型服務器農場

主導理論:神經科學和概率

識別:更加精準的圖像和聲音識別、翻譯、情緒分析等

3. 這些流派有望合作,并將各自的方法融合到一起

2010 年代末期

主導流派:聯結主義+符號主義

架構:許多云

主導理論:記憶神經網絡、大規模集成、基于知識的推理

簡單的問答:范圍狹窄的、領域特定的知識共享

2020 年代+

主導流派:聯結主義+符號主義+貝葉斯+……

架構:云計算和霧計算

主導理論:感知的時候有網絡,推理和工作的時候有規則

簡單感知、推理和行動:有限制的自動化或人機交互

2040 年代+

主導流派:算法融合

架構:無處不在的服務器

主導理論:最佳組合的元學習

感知和響應:基于通過多種學習方式獲得的知識或經驗采取行動或做出回答

三、機器學習的算法

你應該使用哪種機器學習算法?這在很大程度上依賴于可用數據的性質和數量以及每一個特定用例中你的訓練目標。不要使用最復雜的算法,除非其結果值得付出昂貴的開銷和資源。這里給出了一些最常見的算法,按使用簡單程度排序。更多內容可參閱機器之心的文章《機器學習算法集錦:從貝葉斯到深度學習及各自優缺點》和《經驗之談:如何為你的機器學習問題選擇合適的算法?》

1. 決策樹(Decision Tree):在進行逐步應答過程中,典型的決策樹分析會使用分層變量或決策節點,例如,可將一個給定用戶分類成信用可靠或不可靠。

優點:擅長對人、地點、事物的一系列不同特征、品質、特性進行評估

場景舉例:基于規則的信用評估、賽馬結果預測

擴展閱讀:《教程 | 從頭開始:用Python實現決策樹算法》、《想了解概率圖模型?你要先理解圖論的基本定義與形式》

2. 支持向量機(Support Vector Machine):基于超平面(hyperplane),支持向量機可以對數據群進行分類。

優點:支持向量機擅長在變量 X 與其它變量之間進行二元分類操作,無論其關系是否是線性的

場景舉例:新聞分類、手寫識別。

擴展閱讀:《干貨 | 詳解支持向量機(附學習資源)》

3. 回歸(Regression):回歸可以勾畫出因變量與一個或多個因變量之間的狀態關系。在這個例子中,將垃圾郵件和非垃圾郵件進行了區分。

優點:回歸可用于識別變量之間的連續關系,即便這個關系不是非常明顯

場景舉例:路面交通流量分析、郵件過濾

4. 樸素貝葉斯分類(Naive Bayes Classification):樸素貝葉斯分類器用于計算可能條件的分支概率。每個獨立的特征都是「樸素」或條件獨立的,因此它們不會影響別的對象。例如,在一個裝有共 5 個黃色和紅色小球的罐子里,連續拿到兩個黃色小球的概率是多少?從圖中最上方分支可見,前后抓取兩個黃色小球的概率為 1/10。樸素貝葉斯分類器可以計算多個特征的聯合條件概率。

優點:對于在小數據集上有顯著特征的相關對象,樸素貝葉斯方法可對其進行快速分類

場景舉例:情感分析、消費者分類

5. 隱馬爾可夫模型(Hidden Markov model):顯馬爾可夫過程是完全確定性的——一個給定的狀態經常會伴隨另一個狀態。交通信號燈就是一個例子。相反,隱馬爾可夫模型通過分析可見數據來計算隱藏狀態的發生。隨后,借助隱藏狀態分析,隱馬爾可夫模型可以估計可能的未來觀察模式。在本例中,高或低氣壓的概率(這是隱藏狀態)可用于預測晴天、雨天、多云天的概率。

優點:容許數據的變化性,適用于識別(recognition)和預測操作

場景舉例:面部表情分析、氣象預測

6. 隨機森林(Random forest):隨機森林算法通過使用多個帶有隨機選取的數據子集的樹(tree)改善了決策樹的精確性。本例在基因表達層面上考察了大量與乳腺癌復發相關的基因,并計算出復發風險。

優點:隨機森林方法被證明對大規模數據集和存在大量且有時不相關特征的項(item)來說很有用

場景舉例:用戶流失分析、風險評估

擴展閱讀:《教程 | 從頭開始:用 Python 實現隨機森林算法》

7. 循環神經網絡(Recurrent neural network):在任意神經網絡中,每個神經元都通過 1 個或多個隱藏層來將很多輸入轉換成單個輸出。循環神經網絡(RNN)會將值進一步逐層傳遞,讓逐層學習成為可能。換句話說,RNN 存在某種形式的記憶,允許先前的輸出去影響后面的輸入。

優點:循環神經網絡在存在大量有序信息時具有預測能力

場景舉例:圖像分類與字幕添加、政治情感分析

8. 長短期記憶(Long short-term memory,LSTM)與門控循環單元神經網絡(gated recurrent unit nerual network):早期的 RNN 形式是會存在損耗的。盡管這些早期循環神經網絡只允許留存少量的早期信息,新近的長短期記憶(LSTM)與門控循環單元(GRU)神經網絡都有長期與短期的記憶。換句話說,這些新近的 RNN 擁有更好的控制記憶的能力,允許保留早先的值或是當有必要處理很多系列步驟時重置這些值,這避免了「梯度衰減」或逐層傳遞的值的最終 degradation。LSTM 與 GRU 網絡使得我們可以使用被稱為「門(gate)」的記憶模塊或結構來控制記憶,這種門可以在合適的時候傳遞或重置值。

優點:長短期記憶和門控循環單元神經網絡具備與其它循環神經網絡一樣的優點,但因為它們有更好的記憶能力,所以更常被使用

場景舉例:自然語言處理、翻譯

擴展閱讀:《深度 | LSTM 和遞歸網絡基礎教程》和《干貨 | 圖解 LSTM 神經網絡架構及其11 種變體(附論文)》

9. 卷積神經網絡(convolutional neural network):卷積是指來自后續層的權重的融合,可用于標記輸出層。

優點:當存在非常大型的數據集、大量特征和復雜的分類任務時,卷積神經網絡是非常有用的

場景舉例:圖像識別、文本轉語音、藥物發現

擴展閱讀:《專欄 | 卷積神經網絡簡介》、《從入門到精通:卷積神經網絡初學者指南》和《解析深度卷積神經網絡的 14 種設計模式》

原文鏈接:

http://usblogs.pwc.com/emerging-technology/a-look-at-machine-learning-infographic/

http://usblogs.pwc.com/emerging-technology/machine-learning-methods-infographic/

http://usblogs.pwc.com/emerging-technology/machine-learning-evolution-infographic/

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,197評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,415評論 3 415
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,104評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,884評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,647評論 6 408
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,130評論 1 323
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,208評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,366評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,887評論 1 334
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,737評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,939評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,478評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,174評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,586評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,827評論 1 283
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,608評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,914評論 2 372

推薦閱讀更多精彩內容