最近在倫敦圖靈學院附近，無意中聽到有人說，“它聞起來像是……“的教學方法很棒。圖靈研究所對這種方法很感興趣。這種氣味教學法是一種新的學習方法，它是一種深度神經網絡學習方式，深度學習正在改變我們思考學習的方式，他們的一些技巧與心理學家多年來所描述的并沒有什么不同。但它的實際應用是非常好的，因為通過這種方法，我們接觸的都是這個世界足夠熟悉的，讓舊的想法開始以新的方式出現，變得更有意義。

以“Gavagai問題”為例，這個問題在哲學家和發展心理學家中已經存在多年了。假設你在國外旅行，遇到一群說你從未聽說過的語言的人。有人指著玉米地喊道：“semomo！”

你順著他的手看去，那里有玉米，那里是一條路。那里有一些牲畜。那里有一輛拖拉機。那他喊的“semomo”是什么意思？

現在假設稍后有人為你提供了一些肉食。 當他們把肉食遞給你時，他說，“semomo。”

你現在開始明白了。semomo可能是指某種動物，也許是你在田野里看到的一些牲畜。也許是羊。

兒童發展研究人員喜歡這個問題，因為它是兒童開始學習語言時必須面對的問題的特征。他們稱之為解決這個問題所需的學習方式。跨情境學習是通過在不同的語境中聽到同一個詞，最終確定這個詞所指的是什么。如果有人說semomo周圍沒有羊，你應該開始懷疑了。

跨情境學習也是一種統計學習。在這樣的環境中學習所需要的是跟蹤環境中事物之間的統計數據，在這種情況下，用來描述它們的詞匯。大腦基本上解決了一個統計問題。不需要天生的語言學習機制。

深度學習算法似乎以同樣的方式學習信息。最近有一種顯著的理論被稱為信息瓶頸理論(納夫塔利-提斯比Naftali Tishby是這一理論最有力的支持者之一，他在最近的一次演講中很好地描述了這一理論)

基本思想是，如果您試圖在兩個對象之間創建一個映射，比如semomo和sheep這兩個對象，那么一個最優算法所需要的是一種方法來確定與所有包含羊的情況相關的東西。在這種情況下， 在這種情況下相關意味著他們仍然預測semomo這個詞。盡管該算法最初并不知道，但通過過濾掉不需要的信息的過程，它最終會發現semomo意味著綿羊，而不是田地，玉米或藍天。

這是在克勞德·香農Claude Shannon的基礎理論上的進步探索。香農在他的理論表述中沒有包括任何關于語義學或一致性的內容。他的主要貢獻是將信息減少到0和1，以及計算出有多少信息的數學公式。這構成了現代計算的基礎，但并不能完全解決Gavagai問題。

提斯比Tishby和他的合作者諾加？諾扎-斯拉夫斯基Noga Zaslavsky和拉維德-施瓦茲齊夫Ravid Shwartz一起描述了深度神經網絡作為一個擬合然后壓縮的過程。在適應磨合階段，網絡學習標記訓練數據(例如一系列圖像中的數據)。在壓縮期間，網絡嘗試標記新數據并使用它來提高其性能。 (他們的進步是在數學上推導出，深度神經網絡中的最優壓縮極限，然后通過實驗驗證這正是這種網絡所做的。)

孩子們也這樣做。 孩子們非常善于學習像“馬”這樣的單詞，是因為他們動物書中有馬的圖片和正確的單詞。 然后他們繼續使用這個詞來標記所有四足動物，狗，貓，牛等等。 這稱為過度概括。 但隨著時間的推移，孩子們會發現“馬”具有更具體的意義。 這聽起來很像提斯比Tishby的壓縮階段。

因此，深度神經網絡中的學習至少與兒童的學習方式有一些共同之處。它可能有很多共同的東西，而且可能不僅僅是和孩子們一起分享。成年人在了解新概念的含義時往往過于概括。他們學習了一些像'認知失調'這樣的詞，他們開始在任何地方看到它，無論它是否存在。 過度概括不良理論正是優秀的科學家們所是嘗試做的。 正如費曼所說：“科學是在專家的無知時候的信念” 這句話現在感覺有點危險，但足以說科學家是糾正錯誤的專家。 他們這樣做是有目的，深層神經網絡的強大之處在于，他們似乎能夠讓人類更快地從錯誤中吸取教訓。

參考文獻

Shwartz-Ziv, R., & Tishby, N. (2017). Opening the black box of deep neural networks via information. arXiv preprint arXiv:1703.00810.

以上資料來源國外網站，如翻譯錯誤和侵權請聯系作者

編譯：心理學說