AI基礎知識 | 機器學習流程拆解

一個典型的機器學習流程如下:


機器學習處理過程流程圖

來解讀一下這個圖。

(1)原始數據采集

原始數據是機器學習過程的第一步,它從各個渠道被采集而來。在監督學習的場景中還需要對數據進行標記。例如,情感分析模型需要用標簽標記,來幫助算法理解人類使用的俚語或諷刺挖苦的表達方式。有時數據標記的工作往往非常耗時耗力,在某些場景中,這類工作不僅對人的專業背景要求高,而且完成標記所需的周期長。

(2)數據預處理

原始數據往往比較粗糙或者噪音較多,需要將這些數據進行預處理,得到有效的訓練數據,與普通的數據挖掘不同,深度學習的數據預處理過程主要包含數據歸一化(包括樣本尺度歸一化、逐樣本的均值相減、標準化)和數據白化。另外,在預處理階段,我們還需要將數據分為三種數據集,包括用來訓練模型的訓練集、開發過程中用戶調參的驗證集以及測試時所使用的測試集。

(3)訓練模型

在正式開始模型訓練之前,需要針對我們的訓練目標進行分類。理解目標的本質對選擇訓練的方式至關重要。機器學習可以實現的目標被分為:分類、回歸、聚類、異常檢測等。前期算法工程師需要通過測試集和訓練集,在集中可能的算法中做一些Demo測試,再根據測試的結果選擇具體的算法,這樣可以規避大范圍的訓練模型改動帶來的損失。

(4)模型評估

我們利用在數據預處理中準備好的測試集對模型進行測試。由于測試集對模型來說,時完全新的數據,因此可以客觀地度量模型在現實世界中的表現情況。模型的效果通常以“擬合程度”來形容。例如某個圖像識別在模型訓練后的誤差和人類的平均誤差率只相差1%,然而測試集誤差比訓練集誤差高10%,這就意味者該模型在全新的數據上表現不好,過度擬合了。

(5)調參

對模型評估結束后,可以通過調參對訓練過程進行優化。參數可以分為兩類,一類是超參數,即需要在訓練前手動設置的參數,另一種是不需要手動設置、在訓練過程中可以自動被調整的參數。調參的過程是一種基于數據集、模型、和訓練過程細節的實證過程。

調參是個優雅的過程。它通常需要以來經驗和靈感探尋其最優值,本質上更接近藝術而非科學。

(6)推斷

這就是機器學習的目的啦~

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,533評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,055評論 3 414
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,365評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,561評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,346評論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,889評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,978評論 3 439
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,118評論 0 286
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,637評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,558評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,739評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,246評論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 43,980評論 3 346
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,362評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,619評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,347評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,702評論 2 370

推薦閱讀更多精彩內容

  • 葉公好龍大概就是這個意思吧。整天叫囂著,號哭著多么多么想念過去,過去真真切切的擺在我面前時我卻嚇得說不出話。 她像...
    李四狗閱讀 155評論 0 1
  • 《小佳人》(一) 我的白菜花 每天 含著淚珠兒,笑 給世界看 既不高貴,又 不出眾 出身卑微 纖瘦不起眼 黃燦燦 ...
    紀心dd閱讀 1,184評論 38 37
  • 說起甲醛的危害,我們都略有耳聞,目前市場上的很多家具中都存在甲醛超標的現象,新裝修好的房子,甲醛超標的原因很多,我...
    素百凈室內空氣凈化閱讀 1,666評論 0 0
  • 曾經的裊裊炊煙,現在在農村已經完全消失了,只剩下幾個孤零零的煙囪屹立在那里,訴說著這個村莊的往事。 生在農村,特別...
    夢里水飄閱讀 348評論 0 0