科學Sciences導讀：美國五重院士特倫斯談人工智能瓶頸遠未達極限，數學家有AI可解釋性理論工具；人工智能正在帶來數學和統計學的新紀元。B部分簡政放權建議，可回收再利用垃圾應該讓市場化解決；不可回收垃圾處理方式無非是垃圾焚燒發電、垃圾掩埋自然降解，應該分類處理！現行垃圾分類制度完全可以簡化成兩種垃圾清運。
A美國五重院士特倫斯談人工智能瓶頸遠未達極限，數學家有AI可解釋性理論工具
美國五重院士特倫斯談人工智能瓶頸遠未達極限，數學家有AI可解釋性理論工具
美國五大國家學院(國家科學院、國家工程院、國家醫學院、國家藝術與科學學院、國家發明家學院)院士，IEEE follow，美國物理學會會士，美國“腦計劃”項目領軍人物，索爾克研究所Francis Crick教授，克里克-雅各布理論和計算生物學中心主任，《深度學習》作者，人工智能科學家特倫斯·謝諾夫斯基(Terrence Sejnowski)公開表示，人工智能“瓶頸”遠未達極限，數學家已經有了實現AI可解釋性的理論工具。目前美國數學界已有相應理論工具用來實現深度學習黑盒的可解釋性，但因尚未發表，無法透露更多細節。特倫斯認為人工智能正在帶來數學和統計學的新紀元。同時，在特倫斯看來，目前正如蒸汽機和熱力學的關系一樣——在蒸汽機發明數十年后人們才了解熱力學并且用它來改良蒸汽機——人工智能的底層數學、腦科學邏輯可以在發展過程中逐漸被人們掌握和理解。 一、深度學習可解釋性問題人工智能三巨頭之一Yann LeCun認為：人類大腦是非常有限的，我們沒有那么多腦容量去研究所有東西的可解釋性。有些東西是需要解釋的，比如法律，但大多數情況下，它們并沒有你想象中那么重要。比如世界上有那么多應用、網站，你每天用Facebook、Google的時候，你也沒想著要尋求它們背后的可解釋性。LeCun舉了一個例子：他多年前和一群經濟學家也做了一個模型來預測房價。第一個用的簡單的線性于猜測模型，經濟學家也能解釋清楚其中的原理；第二個用的是復雜的神經網絡，但效果比第一個好上不少。結果，這群經濟學家想要開公司做了。你說他們會選哪個？LeCun表示，任何時候在這兩種里面選擇都會選效果好的。就像很多年里雖然我們不知道藥物里的成分但一直在用一樣。但是不可否認的是，可解釋性始終是一個非常好的性質，如果我們能兼顧效率、準確度、說人話這三個方面，具備可解釋性模型將在很多應用場景中具有不可替代的優勢。無論是考慮到學術、教學、業界、設計還是安全，可解釋性的好處遠遠大于不可解釋性。頂會ACL及其社群非常依靠經驗驅動，求并做好可以復制和重現的假設驅動的科學，如同Chris Manning教授的博士生Abigail(個人網站http://www.Abigailsee.com)的文章Machine Learning Vs Statistics(《機器學習和統計學》)中所說，深度學習高速發展的這幾年，NLP社區有理由感到興奮和焦慮。深度學習已經成功運用在自然語言、多媒體、計算機視覺、語音和跨媒體等相關的特定領域。然而，這一架構在“端到端”模式下、通過標注大量數據來進行誤差后向傳播而優化參數的學習方法被比喻為一個“黑盒子”，解釋性較弱遙可解釋性指算法要對特定任務給出清晰概括，并與人類世界中已定義的原則或原理聯結。在諸如自動駕駛、醫療和金融決策等“高風險”領域，利用深度學習進行重大決策時，往往需要知曉算法所給出結果的依據。因此，透明化深度學習的“黑盒子”，使其具有可解釋性，具有重要意義。圍繞深度學習可解釋性這一問題，Abigail從卷積神經網絡可視化、卷積神經網絡的特征分析、卷積神經網絡的缺陷及優化、利用傳統機器學習模型來解釋神經網絡和基于可解釋模塊的深度網絡學習這五個方面介紹現有研究工作。
Abigail對近年來人工智能頂級會議上關于深度學習可解釋性的論文發表數量進行統計分析，發現深度學習的可解釋性是目前人工智能研究的一個熱點。最后，Abigail認為深度學習的可解釋性研究可從因果模型、推理、認知理論和模型、智能人機交互等方面著手，以構建出可解釋、更通用和適應性強的人工智能理論、模型和方法。當然，很多學者對可解釋性的必要性也存有疑惑，在NIPS 2017會場上，曾進行了一場非常激烈火爆的主題為“可解釋性在機器學習中是否必要”的辯論，大家對可解釋性的呼聲還是非常高的。 二、有哪些可解釋性方法？機器學習目標是從數據中發現知識或解決問題，那么在這個過程中只要是能夠提供給我們關于數據或模型的可以理解的信息，有助于我們更充分地發現知識、理解和解決問題的方法，那么都可以歸類為可解釋性方法。如果按照可解釋性方法進行的過程進行劃分的話，大概可以劃分為三個大類：1. 在建模之前的可解釋性方法2. 建立本身具備可解釋性的模型3. 在建模之后使用可解釋性方法對模型作出解釋近年來，已有很多論文探索可解釋性。比如CAM論文
CAM特征圖經過GAP處理后每一個特征圖包含了不同類別的信息，其具體效果如上圖的Class Activation Mapping中的圖片所示，其中的權重w對應分類時的權重。這樣做的缺陷是因為要替換全連接層為GAP層，因此模型要重新訓練，這樣的處理方式對于一些復雜的模型是行不通的，Grad-CAM很好的解決了這個問題，繪制熱力圖：①提取出所有的權重，往回找到對應的特征圖，然后進行加權求和即可；②通常來說，最后一層卷積層的大小不等于輸入大小，所以我們需要把這個類激活映射上采樣到原圖大小，再疊加在原圖上，就可以觀察到網絡得到這個輸出是關注圖片的哪個區域。CAM的意義就是以熱力圖的形式告訴我們，模型通過哪些像素點得知圖片屬于某個類別。缺點需要修改網絡結構并重新訓練模型，導致在實際應用中并不方便！Grad-CAM
效果圖:
Grad-CAM和CAM基本思路一樣，區別就在于如何獲取每個特征圖的權重，采用了梯度的全局平均來計算權重。定義Grad-CAM中第k個特征圖對應類別c的權重
其中，Z表示特征圖的像素個數，yc表示第c類得分的梯度，Aijk表示第k個特征圖中，(i,j)位置處的像素值。然后再求得所有的特征圖對應的類別的權重后進行加權求和，這樣便可以得到最后的熱力圖，求和公式如下：
代碼實現在keras-cam和keras/pytorch實現，此處參考：
①spytensor的博客:“卷積可視化”：Grad-CAM；
②global-average-pooling-layers-for-object-localization；
③《Grad-CAM:VisualExplanations from Deep Networks via Gradient-based Localization》；④https://bindog.github.io/blog/2018/02/10/model-explanation/；
⑤Grad-CAM: Why did you say that? Visual Explanationsfrom Deep Networks via Gradient-based Localization。
[14] 三、深度學習瓶頸即將解決深度學習是目前人工智能最受關注的領域，也是這一輪人工智能興起的原因。與此同時，這一技術具有不可解釋等特性也使得一些觀點認為深度學習已經面臨瓶頸。2019年7月25日，特倫斯·謝諾夫斯基在接受采訪時[14]表示目前美國數學界已經有了相應的理論工具用來實現深度學習黑盒的可解釋性，盡管因為尚未發表，他無法透露更多細節，但特倫斯談人工智能“瓶頸”遠未達極限，數學家已經有了實現AI可解釋性的理論工具。特倫斯也認為人工智能正在帶來數學和統計學的新紀元。同時，在特倫斯看來，目前正如蒸汽機和熱力學的關系一樣——在蒸汽機發明數十年后人們才了解熱力學并且用它來改良蒸汽機——人工智能的底層數學、腦科學邏輯可以在發展過程中逐漸被人們掌握和理解。經濟觀察網：目前深度學習技術路線還有多少潛力？是否已經遇到了天花板？特倫斯：我覺得不太可能達到局限，現在深度學習剛剛進入到一個發展的開端，發展應該是以10年為周期來計算的，未來20年、30年才能達到一個極限。現在我們才做了第一步，通過展示相關AI技術來解決問題的，而未來我們還有更多問題需要解決。對比因特網，在它剛開始能夠發郵件的時候，我們沒法預測它能對我們的商業、生活帶來什么影。所以對于AI將會帶來的影響，我們還需要等待。經濟觀察網：您講的主要是應用層的影響，那么在底層理論層面，這項技術有沒有更大突破，比如數學方面？特倫斯：我之前在華盛頓參加了一個由美國科學院舉辦的學術研討會，該研討會的主題是“深度學習的科學”。組織這場學術研討會的數學家是擁有相關有技能和工具，能夠測試深度學習網絡內部結構的人。人們經常用“黑盒子”來詮釋深度學習，這是不對的，甚至恰恰相反，因為這些所謂的“黑盒子”完全是透明可見的，我們可以訪問其中每一個單獨的連接單元、每一個活動型態，它們都在那里。而現在，數學家們可以探究其中，開始檢驗模型是如何活動的，信息是如何在網絡中流動的，最終它是如何執行轉換的。這件問題經常通過一些例子被討論。這件事正在發生，在上述會議上的數學家們已經開始描述他們對此的新洞見。統計學家們則提出一些悖論，你們擁有這么多參數，現在可能會存在過度擬合的現象。眾所周知，現在有這么多的參數，其量之大遠超于任何數學家和統計學家過去所能接觸到的內容。我認為這將是數學和統計學的新紀元。我認為這將產生深遠影響，因為對于任何科技來說，一旦你觸摸到了數學和物理的基本原理，你就可以更加深入地拓展它。以蒸汽機為例，兩百五十年前，英國人詹姆斯·瓦特發明了蒸汽機。它改變了整個社會，因為它解放了人類生產力。人們用了數十年了解熱力學原理，去理解蒸汽機如何工作，以及如何優化其使用效能。在此后一百年里，人們據此原理創造出了一個全新的工業時代，出現了能夠創造數百萬社會財富的火車等交通工具，工廠也因此更新換代…這原本只是科技動能的轉換，但經過人們對此的多年認知和了解后，它最終引領了整個社會的未來發展方向。所以我們現在處于一個非常初期的階段。這是我們的第一步，我們剛剛開始試圖闡釋其復雜性，目前這是非常令人激動的，這個時間段里，大量的前期研究正在被驗證。不僅僅是在應用層面，這也將試圖讓人們去理解大腦本身，去理解我們自己的大腦是如何工作的。我們認為，在AI與神經科學之間的合作上，存在著一些令人激動的研究方向。經濟觀察網：您提到很多一次，深度學習不是“黑盒子”是可以解釋，您的意思是美國已經找到了深度學習可解釋的方法或者說找到了實現這個目標的數學工具？特倫斯：是的,我們確實有這方面的理論了。數學家已經有很多相關的研究進展了，但是內容還沒有被發表出來。但是我跟他們交流過，他們告訴我這些偉大的研究和發現在未來將不斷被推進。我現在還不能私下跟你透露任何細節，但是我可以這么說，這或將是一個革命性的研究。一旦這些數學家掌握了深度學習的規則，以及這些深度學習是如何發生的，它將成為一個改革性的事件，它將創造出數學模型中的一頁新篇章。總而言之，我的答案是肯定的，我們已經對此有了相當多的了解，但同時它還在不斷發展中。
素材(1400字)
1. terry-sejnowski介紹．UpClosed.com[引用日期2018-12-14]
2. 特倫斯·謝諾夫斯基簡介．索爾克研究所[引用日期2018-12-11]
3. 院士名單．美國國家科學院[引用日期2018-12-11]
4. 2011年院士名單．美國國家工程院[引用日期2018-12-11]
5. 成員名單．美國國家藝術與學科學院[引用日期2018-12-11]
6. 成員名單．美國國家物理學院[引用日期2018-12-11]
7. Terrence_Sejnowski簡介．ETHW[引用日期2018-12-13]
8. the most popular online course teaches you tolearn．紐約時報[引用日期2018-12-13]
9. 深度學習．MIT出版社[引用日期2018-12-11]
10. 成員名單．美國發明家學院[引用日期2018-12-11]
11. 詞條統計：瀏覽1953次，編輯2次歷史版本，最近更新：格斗天王2046 (2018-12-31)，突出貢獻榜：jiangyiming322. 特倫斯·謝諾夫斯基. [EB/OL], baike,baike.baidu.com/item/特倫斯·謝諾…, visit date: 2019-07-31Wed
12. salk. Terrence Sejnowski. [EB/OL], salk,www.salk.edu/scientist/t…, visit date: 2019-07-31Wed
13. Terry Sejnowski. [EB/OL], peoplepill, peoplepill.com/people/terr…, visit date:2019-07-31Wed
14. reallocing. 深度學習的可解釋性|Class Activation Mapping(CAM). [EB/OL],www.lxweimin.com/p/3c4aa73fd…, 2019-02-14 15:29* 字數 537, visit date: 2019-07-31Wed
15. 觀察者網.美國“四院院士”特倫斯談人工智能“瓶頸”：遠未達極限，數學家已經有了實現AI可解釋性的理論工具. [EB/OL],鳳凰網,finance.ifeng.com/c/7obWxA8jT…, 算法與數學之美, mp.weixin.qq.com/s/Eh70INWf0…, 2019-07-30, visit date:2019-07-31Wed
