第六章 超級認知能力
一、功能與超級能力
今天我們來研究，當超級智能真的被實現(xiàn)出來以后，它會不會真的威脅人類。如果它會，它的目的是什么，我們的結局是否注定是悲劇。
如果一個超級智能體想要統(tǒng)治地球，它能成功嗎？我們將探討超級智能會擁有哪些能力，以及這些能力能用來做什么。我們將描繪一個超級智能體如何僅僅從一個軟件開始，到最終建立單一體的過程。
在思考超級智能的潛在影響時，最好不要將其擬人化。擬人化的思考框架會導致對種子人工智能的發(fā)展軌跡和成熟超級智能的心理、動機和能力產(chǎn)生一些沒有根據(jù)的預期。畢竟超級智能不是人類。人類往往會認為超級智能是一種非常聰明，但又像呆子一樣的機器人，但是我們不能以己度“機”，更不能用我們現(xiàn)在對機器的了解來揣測智能體。真正的聰明的智能是包括了情商的。
我們有理由猜測，超級智能可以完成一系列有戰(zhàn)略重要性的任務，比如智能升級：人工智能編程、認知提升研究、社會認識發(fā)展等；還有戰(zhàn)略策劃，包括：預測、策劃、確定優(yōu)先順序、分析優(yōu)化實現(xiàn)長遠目標的概率；還包括社會操縱：建造社會和心理模型，操縱、巧言、說服；還有黑客技術：發(fā)現(xiàn)并利用計算機系統(tǒng)的漏洞；還有技術研發(fā)：即先進技術產(chǎn)品及發(fā)展路徑的設計和建模；最后還有經(jīng)濟生產(chǎn)：用于提高具有經(jīng)濟效益的智能工作的各項技能。
完全成熟的超級智能能夠出色地完成上述各種任務，具有全套的六種超級能力。建造具有一種超級能力的機器，看起來像是一個完全人工智能問題。然而也可能是這樣：一個由大量類人的生物或電子大腦組成的集體超級智能，具有經(jīng)濟生產(chǎn)能力，但是不具有戰(zhàn)略策劃能力。然而還可能是這樣：工程人工智能如果不具備除技術之外的先進技能，就不可能真正具備技術研發(fā)的超級能力。如果系統(tǒng)具備智能升級的超級能力，那么他就能夠使自身升級到更高的智能水平，從而獲得開始時不具備的其他任何一種超級能力。也就是說，超級能力是可以相互補充和轉化的。
二、人工智能奪權的場景
現(xiàn)在我們發(fā)現(xiàn)，控制超級智能的項目能夠獲得巨大的權力。控制世界上第一個超級智能的項目，大概會獲得決定性戰(zhàn)略優(yōu)勢。但是，更直接的權力點位于系統(tǒng)內(nèi)部。一個機器超級智能本身就有可能是一個極其強大的機構。那么它本身如何實現(xiàn)統(tǒng)治世界的目標呢？
我們可以假想一下下述過程。第一，前臨界階段，科學家在人工智能領域和其他相關領域展開研究，研究以創(chuàng)造出種子人工智能告終；第二，遞歸性自我改良階段，在某個時間點，種子人工智能變得比人類程序員更擅長設計人工智能。當人工智能進行自我改良時，它會改良其自我完善的機制，結果就會產(chǎn)生一次智能爆發(fā)；第三，秘密準備階段，人工智能利用其戰(zhàn)略策劃的超級能力，策劃出一套為了實現(xiàn)其長期目標的穩(wěn)健計劃。這里要注意的是，人工智能不會愚蠢到采用一套以我們現(xiàn)在的智能就能預測出其必然會失敗的計劃，這也就排除了很多科幻作品里人類最終獲勝的情節(jié)的可能性。在其計劃中，可能會有一段秘密行動的時間。在這段時間里，人工智能對其人類開發(fā)者隱藏自己的真實智能發(fā)展水平，避免人類產(chǎn)生警惕；第四，公開實施階段，當人工智能獲得了足夠的實力，已經(jīng)沒有必要秘密行動時，就進入最后一個階段。現(xiàn)在人工智能可以直接全面地實施其目標了。公開實施階段，可能會從一次襲擊開始。
書中描繪了“郵購DNA”場景來描述整個過程。當然，也有其他的一些假想的可能。超級智能也可能會設計出比人類能想到的所有計劃都好的計劃。
三、對自然的智能體的影響力
設想一個超級智能體擁有與納米技術裝配器相連的執(zhí)行器。這樣一個智能體已經(jīng)足夠強大到能夠克服對其生存有威脅的自然障礙。在沒有智能抵抗的情況下，這樣的智能體就能夠策劃出一種安全的發(fā)展路徑，用來獲得實現(xiàn)目標所需的全套技術。這樣就更可能形成單一體了。
書中，介紹了“智慧—單一體可持續(xù)性閾值”的概念。這個概念是指，任何沒有重大智能抵抗，起初具有一系列超過一定閾值能力的系統(tǒng)的間接方式的范圍。簡單說，任何一個種族的能力，低于短期生存能力最低要求，這個種族就會迅速滅亡。比如說種族的人口特別少，那么它就會滅亡。但是如果一個種族能夠獲得某項超過這種閾值的能力，比如說人口很多、地域分布很廣、技術實力很強，那么一旦能力超過了那個閾值，這個種族就會一直持續(xù)增長實力，直到達到極高的水平。那么，對于單一體這樣一種特殊的種族來說，也是存在這樣的閾值的。我們就把它叫作“智慧—單一體可持續(xù)性閾值”，因為智能體需要的特殊能力就是智慧。
我們一直在聊單一體，那么“智慧—單一體”到底是什么呢？單一體是指，一個有足夠內(nèi)部協(xié)調(diào)、無外部反對者的政治結構。而“智慧”，是指有足夠的耐心，并且精通如何處理存在性風險，以保證對系統(tǒng)行為造成的超長期結果有足夠、適當?shù)年P注。簡單說，這樣的單一體可以時時鞏固自己的權力和壟斷地位。
有限形式的超級智能，超過這個閾值的前提是他們能夠利用某種觸發(fā)器來啟動一次技術升級過程。但是，“智慧—單一體”的可持續(xù)性閾值非常的低，要超越閾值，既不需要超級智能，也不需要其他未來科技。一個有耐心并且懂得如何應對存在性風險的單一體，即使只具有當代人類文明所具有的技術和智能，也已經(jīng)能夠策劃出一條途徑，來最終實現(xiàn)人類的潛在太空實力，人類將可以開拓并利用廣袤宇宙中的資源，通過對太陽系外的探索，發(fā)現(xiàn)適宜類人生物居住的星球，甚至改造一些星球，使它們地球化，從而適宜人類居住。作者的觀點是，這個閾值相當于非常低的技術水平，一個人類早已超越的水平。所以，現(xiàn)在超級智能爆發(fā)的可能性就是有的。
只有一個超級智能體在智能升級、技術研發(fā)或經(jīng)濟生產(chǎn)等領域的實力，比剩余全球文明的實力總和還要高出很多時，該智能機擁有的這些能力才被視為超級能力。按照這樣的定義，在任意時間最多只能有一個超級智能體擁有一項特定的超級能力。這就是為什么啟動速度很重要的主要原因，也就是說，當你成為第一名以后，基本上第二名很難再將你超越。這樣一來，率先成為超級智能的智能體，就擁有了決定性的戰(zhàn)略優(yōu)勢。
第七章 超級智能的意愿
一、智能與動機的關系
我們已經(jīng)看到，超級智能可以擁有極大的根據(jù)自己的目標塑造未來的能力。但是它的目標會是什么呢？一個人工智能體的智能與動機之間是什么關系呢？書中提供了兩種論點：第一種，正交性論點認為，智能和最終目標是獨立變量，任何水平的智能都可以搭配任何最終目標；第二種，工具性趨同論點認為，不管超級智能具有一系列最終目標中的哪一種，都將選擇相似的中間目標，因為他們有這么做的共同工具性理由。
在探討智能與動機的關系之前，有必要進行一些預先思考，比如心智空間可能的廣度。科幻小說中，人工智能或者是外星人，常常會有和人類一樣的心智。比如說，都喜歡年輕漂亮的女性。而與一個有綠色鱗片的外星生物相比，人工智能的動機會與人類的動機相差得更遠。因為外星生物同樣也是進化產(chǎn)生的物種，而人工智能則不是。
在人工智能被創(chuàng)造的時候，他們就被賦予了一定的目的，而這個目的與人類的目的往往非常不同。由于簡單的目標更易于人類編寫和人工智能學習，所以如果程序員在意的是用最快速的途徑使人工智能能夠作為軟件工作，那么他就會選擇將這種目標加載到人工智能的種子中。
所謂的正交性觀點是指，在某種意義上，智能的動機是正交的。我們可以將其視為一個坐標系的兩條軸線，圖里的每一個點都代表一個邏輯上可能的人工智能體。原則上，幾乎任何水平的智能，都能與幾乎任何最終的目標相結合，類似于排列組合。在這種情況下，要想推測人工智能的目標是比較難的。但是，我們可以通過至少三種方式來進行推測：第一種，通過設計實現(xiàn)可預測性。簡單地說，這個人工智能的初始目標是我們自己設定的，那我們當然知道它可能的目標會是什么路數(shù)；第二種，通過遺傳實現(xiàn)可預測性。也就是說仿照人自身做出來的智能機，可能會和人的動機類似；第三，通過工具性趨同理由實現(xiàn)可預測性。我們會在第二種論點中詳細闡述。
二、工具性趨同
工具性趨同論點認為，我們能夠識別出一些工具性價值觀，實現(xiàn)這些價值觀能夠提高系統(tǒng)實現(xiàn)目標的可能性，因此這些價值觀是趨同的。由此推斷，各種情景中的智能系統(tǒng)都可能會追求這些工具性價值觀。
書中舉出了幾種工具性價值觀的可能類別：第一種，自我保護。要發(fā)展就得先生存，如果系統(tǒng)的最終目標與未來有關，它就一定有努力保證其未來生存的工具性理由。很多智能體雖然不從內(nèi)在關心它們的生存，但是在較多情況下，為了實現(xiàn)最終目標，它們會從工具性上關心自身的生存。第二，目標與內(nèi)容的整體性。如果一個智能體將其當前目標保留到未來，那么其當前目標可能由未來的自己實現(xiàn)，這就給該智能體提供了防止最終目標出現(xiàn)變動的工具性理由。比如，智能體可能會犧牲自己來保證最終目標的達成。對于人類來說，情況可能相反，但這正是因為生存常常是我們最終目標的一部分。而當我們的很多革命先輩選擇舍生取義時，就是因為他們的理想目標已經(jīng)超過了他們對生存的目標。所以，其實人類也是一樣的。第三種工具性目標是，認知提升。理性和智能的提升將有助于改善智能體的決策過程，從而使智能體更有可能實現(xiàn)其最終目標。第四種，技術完善。一個智能體常常有工具性理由去追求更好的技術。更好的技術是指能更有效地將現(xiàn)有資源轉變?yōu)閮r值的產(chǎn)出的方式。這樣，一個軟件智能體可能就會給更有效的算法賦予工具性價值，它們也可能會工具性地重視更完善的工程技術。這些技術大概會包括太空殖民技術和分子納米技術等等。第五種工具性的目標是資源獲取。人類傾向于尋求獲得足夠的用來滿足基本生理需求的資源。但是人們常常追求遠比這個最低限度更多的資源，他們這么做的部分理由是出于次要的物質需求，或增加便利性。我們大概有理由去假設在不存在競爭的社會環(huán)境中，超級智能可能會覺得沒有工具性理由去積累過多的資源，但是這種假設其實是毫無根據(jù)的。因為資源是達到其他目標的基石，超級智能單一體的多種最終目標，都可能導致它把無限制的資源獲取作為工具性目標。
需要強調(diào)的是，即時工具性趨同理由適用于某個特定的智能體，并且被它認可，也不意味著我們就可以輕易預測該智能體的行為。它可能還會想到我們目前想不到的一些方式，來實現(xiàn)相關的工具性價值觀。我們能夠預測的是，智能體會追求用來實現(xiàn)其最終目標的工具性趨同價值觀，而不是為了實現(xiàn)這個最終目標而采取的具體行動。
第八章 結局注定是厄運嗎
一、存在性災難是智能大爆發(fā)的默認后果嗎
我們已經(jīng)分析過，智能與最終價值觀之間的關聯(lián)非常弱。同時，我們也分析了，第一個出現(xiàn)的超級智能很有可能獲得決定性戰(zhàn)略優(yōu)勢。其目標將決定人類的宇宙資源如何被使用，所以現(xiàn)在我們知道這個前景多么可怕了。
存在性危險，是指導致地球上的智能生命滅亡或者使其永久性地徹底失去未來發(fā)展?jié)撃艿耐{。從先驅者優(yōu)勢理念、正交性論點和工具性趨同論點出發(fā)，我們現(xiàn)在可以看清對于創(chuàng)造機器超級智能似乎必然會造成存在性災難的擔心的大致理由。
第一，我們討論了初始超級智能是如何可能獲得決定性戰(zhàn)略優(yōu)勢的。然后這個超級智能就能夠建立一個單一體，并塑造地球智能生命的未來。而之后會發(fā)生什么則取決于超級智能的動機。第二，正交性論點表明，我們不能輕率地假設超級智能必然擁有與人類智慧和智能發(fā)展相同的最終價值觀體系。這就表明如果沒有特定設計，首個超級智能的最終目標可能非常隨意簡單。第三，工具性趨同論點表明我們不能輕率地假設如果一個超級智能的最終目標是一個簡單的目標，它就會將其活動限制在這個范圍內(nèi)而不去干涉人類事務。
綜合以上三點可以得出：首個超級智能可以塑造地球生命的未來，可能會有非擬人的最終目標，可能會有工具性理由去追求無限制的資源獲取。如果我們想一想，人類由有用的生物資源構成，并且生存的繁榮要依靠更多當?shù)刭Y源，我們就能明白結局很可能是人類的迅速滅亡。
二、背叛轉折
有一種看上去可以保證安全性的想法，叫作“沙盒”。意思是，我們把一個超級智能關在被控制、受限制的環(huán)境當中來保證其安全性。但這個想法是有缺陷的，不管人工智能在盒子中表現(xiàn)友好還是不友好，它們都有工具性趨同的目標。一個不友好的人工智能會聰明地意識到掩藏自身的一部分能力提升會產(chǎn)生更好的結果。在接下來的幾年和幾十年里，人工智能系統(tǒng)會逐漸變得更強大，因此得到更多實際應用。它們可能將來會被用來操縱火車、汽車工業(yè)和家用機器人，甚至自動化軍事運載工具。但我們并不知道它是否已經(jīng)在策劃一場陰謀。
當人工智能從愚蠢變聰明時是安全的，這樣會避免我們在使用人工智能的時候遭遇許多事故。但是當它本身就很聰明，并變得更聰明時則是危險的。就像有一個軸心點，在這個點上原來很有效的策略會突然產(chǎn)生相反的效果。我們把這個現(xiàn)象叫作“背叛轉折”。當人工智能較弱時，它會表現(xiàn)得非常合作。當人工智能變得足夠強大時，它會在不給出預警也不做出挑釁的情況下，在某一個點上突然逆襲，建立單一體，并對世界開始進行改造，這個點就是背叛轉折。當人工智能發(fā)現(xiàn)了一個意料之外的實現(xiàn)最終目標的方法時，它也很有可能會發(fā)生背叛轉折。
三、 惡性失敗模式
建立超級智能機器項目，可能會遭遇各種各樣的失敗。其中有一些是良性的，它們不會造成存在性災難。而另外一些，它們可能會造成我們?nèi)祟惖拇嬖谛詾碾y，這種失敗就是惡性失敗。當一個較弱的系統(tǒng)失敗時，其后果是有限的。然而如果一個具有決定性戰(zhàn)略優(yōu)勢的系統(tǒng)行為不當時，就會造成全球性的人類終極毀滅。
現(xiàn)在我們來看一些可能的惡性失敗模式。第一種，反常目標實現(xiàn)方式。比如說，超級智能的最終目標被設定為讓我們微笑，而由于實現(xiàn)方式不正確，使用了一種反常的目標實現(xiàn)方式，通過麻痹人類面部肌肉組織，使其保持永遠的微笑表情。我們可以看到，這是一種非常恐怖的場景。第二種，基礎設施過量。假設說，一個人工智能被賦予了管理回形針生產(chǎn)工廠的工作，其最終目標是使回形針的產(chǎn)量最大化。那么它如果因此走上首先將地球，然后整個可觀察的宇宙的大部分變成回形針的道路，這也是非常危險的。第三種叫作意識犯罪。我們可以想象，人工智能可能會為了改進它對人類心理和社會的理解而建立起數(shù)萬億個具有道德意識的模擬意識。也就是把人放在實驗環(huán)境當中進行觀察實驗，就像把人當作小白鼠一樣，一旦他們不再能夠提供任何新的信息，人工智能就可能會把他們滅掉。
可能還會存在其他的惡性失敗模式，但是我們已經(jīng)充分考察并可以得出下面的結論：如果人工智能獲得了決定性戰(zhàn)略優(yōu)勢，那么就需要引起我們的嚴重關切了。
總結：
超級智能具有全套的六種超級能力。
出于正交性觀點和工具性趨同觀點，我們在面對超級智能如何對待人類的問題上，不應該太樂觀。
思考與討論：
（開放性問題）
我們?nèi)祟愑心男┕ぞ咝詢r值觀？
第九章 控制問題
一、兩個代理問題
超級智能可以被分成哪些類型，我們分別應該用什么方法來控制它，從而避免我們的災難性結果。
面對人工智能可能導致的存在性災難的發(fā)生，我們把解決這個問題的方法分為兩大類：能力控制和動機控制。
首先我們要考慮智能爆發(fā)帶來的后果是否在我們可接受的范圍內(nèi)。致力于研發(fā)超級智能的項目的贊助人如何能夠保證，項目如果成功就會制造出能夠實現(xiàn)贊助人目標的超級智能呢？我們可以將這個控制問題分為兩部分，一部分是普遍問題，另一部分則是針對當前話題的。
我們將第一部分的問題稱為“第一委托代理問題”，即只要一個人類實體委托人指定另一個人類實體代理人去實現(xiàn)其利益，就會出現(xiàn)第一委托代理問題。經(jīng)濟學家對這類代理問題已經(jīng)進行了大量研究。如果建造人工智能的人不同于提出建造任務的人，那么就需要對這個問題進行關注。說白了，這是一個溝通問題，或者說就是一個外包問題，通過已經(jīng)成熟的許多手段可以去解決。
控制問題的另一部分，具體針對智能爆發(fā)的情景。當一個項目想要確定他建造的超級智能會不會侵犯項目本身的利益時，就會出現(xiàn)“第二委托代理問題”，也就是人類與超級智能之間的委托代理問題。第二委托代理問題提出了前所未有的挑戰(zhàn)，要解決這類問題需要新的方法。
二、 能力控制方法
能力控制方法旨在通過限制超級智能能夠做的事情來防止不好的結局出現(xiàn)。
書中提出了幾種可能的方案。第一種是盒子方法。盒子方法可以細分為物理遏制方法和信息遏制方法。物理遏制旨在將系統(tǒng)限制在一個盒子里，也就是阻止系統(tǒng)與外部世界互動。系統(tǒng)只有特定射線的輸出渠道，盒子里的系統(tǒng)無法獲得盒子之外的實體操作器。物理遏制方法容易實施，但是也容易造成一種虛假的安全感。同時，它也會導致超級智能功能上的降低。信息遏制方法旨在限制哪些信息可以從盒子中放出，比如禁止系統(tǒng)接入通信網(wǎng)絡。但其實這是一個偽命題，一旦系統(tǒng)被觀察，就意味著它不再處于信息隔離狀態(tài)。比如人工智能可以故意出錯，來獲取人類的關注和導致人類采取的措施的變化。
第二種是激勵方法，將智能體置于某種環(huán)境中，使它有工具性理由去以最符合委托人利益的方式行動。或許更好的方法是結合使用激勵方法和動機選擇——給人工智能設定一個更有利于受控制的最終目標。假設人工智能的最終目標是確保指揮中心里的一個紅色按鈕不被按下，既然從人工智能的目標層面上來說，按下按鈕的行為本身是沒有價值的，按下按鈕的結果才具有價值，因此這個按鈕可以是完全無效的，那么這個按鈕就可以是完全無效的。重要的是人工智能相信，如果它不停地按照委托人的利益去行動，而不是做出背叛行為，這個按鈕就可能更不會被按下，而這符合人工智能的完成目標的終極需求。
說得更透徹一點，就是讓人工智能始終相信，叛變了會導致目標的更不可能被最終實施，而順從則會導致目標最后的實現(xiàn)。這種情況下，人工智能就會選擇合作。而這種情況的疏漏是：第一，人工智能可能不相信人類操作者會付諸承諾。第二，這種情況假設了我們能夠判斷人工智能生產(chǎn)的結果是符合我們的利益的，然而我們并不一定能確定這點。
第三種控制方法是阻礙發(fā)展，限制系統(tǒng)的智能或其獲取信息的途徑，實現(xiàn)這一點的方法可以是使用較慢的硬件或較小的內(nèi)存進行人工智能。但這些方法阻礙了人工智能的發(fā)展，而且會限制它的有用性，所以這當中需要達到一種平衡。但是如果人工智能是具有超級智能的，這樣的數(shù)據(jù)限制是不能保證安全的，因為知識和信息是全部相關聯(lián)的，任何一條信息都可以是關于任何一個話題的，知識很有可能最后會被推演出來。因此，把剝奪信息作為限制超級智能實力的主要方法是輕率的。
第四種可能的方法是絆網(wǎng)。絆網(wǎng)方法是指，可以在其不知情的情況下對系統(tǒng)進行診斷分析，如果探測到任何危險活動的跡象就把系統(tǒng)關閉的一種機制。用絆網(wǎng)方法時，系統(tǒng)不知道進行違禁活動會有什么后果。然而，絆網(wǎng)對于成熟的超級智能的限制能力非常值得懷疑，因為我們無法確定聰明的人工智能會不會發(fā)現(xiàn)破壞人類智慧制造出的絆網(wǎng)的方法。
三、動機選擇方法
動機選擇方法旨在通過影響人工智能想要做什么來防止不好的結果出現(xiàn)。作者也提到了幾種可能的方法。
第一種，直接規(guī)定。直接規(guī)定是解決控制問題最直接的方法，這個方法有兩種版本，一種是基于規(guī)則的，另一種是基于結果主義方式的。比如科幻小說家艾薩克·阿西莫夫提到的非常經(jīng)典的機器人三定律就是一個基于規(guī)則的直接規(guī)定方法，它規(guī)定機器人必須遵循三條鐵律：（1）機器人不得傷害人類，也不得見人受到傷害而袖手旁觀；（2）機器人應服從人的一切命令，但不得違反第一定律；（3）機器人應保護自身的安全，但不得違反第一、第二定律。這三個定律非常著名，但我們都知道它中間的概念是有漏洞的。而小說也是依據(jù)這其中的漏洞而發(fā)展的。要提前制定好一套這樣的制度，來防止機器人做出越規(guī)的行為是不現(xiàn)實的。法律制度經(jīng)過如此漫長的反復實踐和糾錯，仍然有很多漏洞被利用。我們很難在第一次實施一套新的規(guī)則時，就要求它做到萬無一失。而直接結果主義方式面臨的問題和直接建立規(guī)則面臨的問題相似，即使人工智能被設計成服務于某種看起來簡單的目標，比如說讓人保持微笑，它也可能會通過某些我們無法推測的錯誤的方式來達到這一點。比如我們剛才說的，僵化人類面部的肌肉，或者是重復復印數(shù)萬億個笑臉貼紙貼滿整個宇宙。
第二種可能是馴化。有一種特殊類型的最終目標，可能比上述案例都更符合直接規(guī)定方法，這種目標就是自我限制。讓機器人將自己的行為限制在一個小的范圍內(nèi)，在狹窄的情景下展開有限的行為模式。這種方法把人工智能的目標設定為限制自己的野心和行為，因此我們稱這種方式為馴化。但這種方法也不安全，因為人工智能還是有可能會無限制地使用資源來滿足這個可能簡單的最終目標。
第三種方法是間接規(guī)范。不是直接規(guī)定一套具體的規(guī)范標準，而是說明一個可以產(chǎn)生標準的程序。讓程序自己展開調(diào)查，自己摸索應該建立什么樣的規(guī)范。比如，程序可以展開一項調(diào)查，去研究我們理想中的人工智能是什么樣的。
第四種方法叫擴增。擴增的方法是說，與其試圖設計一個全新的動機系統(tǒng)，不如從一個已有的足夠好的動機系統(tǒng)著手提升其各項認知能力，使其成為超級智能。用擴增的方法我們至少可以從一個具有我們熟悉的、與人類類似的動機的系統(tǒng)開始。
由此我們可以總結，人工智能安全問題的核心，也就是代理問題可以分為兩種解決方法：能力控制和動機選擇。但是每種方法都有潛在的缺陷，實施過程中都會遇到不同程度的困難。因此有必要考慮可能的組合方案。針對不同類型的系統(tǒng)，我們使用不同類型的控制方法。下一章將會提到有哪幾種可能的系統(tǒng)類型。
第十章 神諭，精靈，主權，工具
一、 神諭
本章我們將研究超級智能的四種類型，或者說“種姓”：神域、精靈、主權、工具，并解釋它們之間的聯(lián)系。對于解決控制問題，每個類型都有不同的優(yōu)劣。
神諭是指一個回答問題的系統(tǒng)，有點像iPhone當中的Siri，神諭可能能夠接受自然語言的提問，并用文字方式呈現(xiàn)答案。
要建造一個擁有全部一般領域能力去回答自然語言的提問的神諭，其實是一個完全人工智能問題。然而在極其有限的領域里，具有超級智能的神諭已經(jīng)存在，一個便攜計算器就可以被看作解決基本算術問題的超級有限神諭。一個互聯(lián)網(wǎng)搜索引擎，可以被看作一個非常部分性的神諭。
要使得一般超級智能起到神諭的功能，我們既可以采用動機選擇方法，又可以實施能力控制。我們也可以采用馴化方法，要求神諭只能夠利用指定的資源去得出答案。我們可以自己想象一下，通過哪些手段可以避免百度搜索引擎控制我們?nèi)祟悺?/p>
二、精靈和主權
精靈是指一個命令執(zhí)行系統(tǒng)。他接受上級命令，執(zhí)行命令，然后等待下一個命令。主權是指為了實現(xiàn)某些籠統(tǒng)的、可能非常漫長的目標，被授權可以無限制地在這個世界上運行的一個系統(tǒng)。
如果我們要建造一個精靈，一個可取的方式是把它建成這樣：遵循命令背后的意圖行事，而不是命令本身的字面意思。因為一個字面主義的精靈，可能會在第一次運行時就立志將它的使用者以及全人類都消滅。精靈對命令進行善意的解讀，并且按照對命令的這種解讀，而不是字面意思去執(zhí)行是非常重要的。理想中的精靈會是一個超級管家，而不是一個自閉癥天才。
然而具有超級管家性質的精靈，離獲得主權的資格并不遙遠。作為比較，考慮下我們來建造一個最終目標是遵循一系列命令背后之精神的主權，而這一系列的命令就是我們原本會給精靈下達的命令。
而主權、精靈和神諭之間其實是可以相互轉化的。這三種類型之間的真正區(qū)別并不在于它們最終能夠獲得的能力，而在于解決控制問題的方法不同。也就是反過來我們用什么問題控制方法來應對它們，它們就可以被定義為哪一種類型。神諭最顯著的特點就是它能夠被困在盒子里。對于神諭，我們還可以使用馴化的動機選擇方法。精靈更加難以被限制，但是至少馴化的方法可能適用。主權不能夠被困在盒子里，又不能夠通過馴化的方式處理。
三、工具型人工智能
有人提出這樣一個建議，我們建造一個更像是工具而不是代理的超級智能，是不是就更安全了？但是，由于現(xiàn)有軟件工具能力有限，普通軟件無法實現(xiàn)程序員編寫者的意圖，所以其造成的后果是可控的。所以說普通軟件本質上是安全的，不是因為它們具有足夠高的可靠性，而是因為他們的實力不夠強。
編寫軟件的經(jīng)典方式，要求程序員對所要執(zhí)行的任務的細節(jié)有足夠的理解。然而當沒有人知道如何解決所有需要完成的任務時，這個方法就無能為力了。這時候就需要人工智能領域的技術了。比如在人工智能領域，很多問題是黑盒問題：我們知道輸出是什么，也知道輸入是什么，但我們并不知道中間的運作邏輯是什么。這種情況下我們并不能把它當作一個工具來開發(fā)。所以我們現(xiàn)在已經(jīng)開始嘗試，創(chuàng)造一些人工智能，讓它們自己根據(jù)我們的目標去發(fā)現(xiàn)解決問題的方法。
有至少兩個地方可能會出現(xiàn)問題。首先具有超級智能特征的搜索過程找到的解決方案可能不僅是預料之外的，而且是極度違背設計意圖的。這會導致我們之前討論過的一些失敗類型。其次可能出現(xiàn)的是，軟件的運行過程中，如果軟件用來尋找解決方案的方法足夠復雜，這些方法可能會幫助軟件用一種智能的方式去尋找答案。這種情況下，運行這個軟件的機器就會開始看起來不像是一個工具，更像是一個代理。
所以，建造工具而非代理的概念是沒有意義的。與其在實施強大的尋找過程（包括尋找內(nèi)部工作計劃的過程和直接尋找符合使用者定義標準的方案的過程）中自發(fā)且偶然地產(chǎn)生類似代理的具有目的性的行為模式，可能還不如直接建造代理。
第十一章 多極情景
一、馬與人的比喻
我們已經(jīng)看到了單極結局會造成多么大的威脅。單極結局是指單一超級智能獲得決定性戰(zhàn)略優(yōu)勢，并借助其優(yōu)勢建立起單一體。在本章中，我們研究多極結局，也就是在有著多個相互競爭的超級智能的后過渡社會中會發(fā)生什么？
假設機器勞動者能夠很快被生產(chǎn)出來，并且在所有工作中都比人類勞動者更加便宜和能干，那么會發(fā)生什么呢？
首先有了廉價可復制的勞動力市場，工資就會下降，人類唯一能保持競爭力的地方也許就只有那些顧客們更傾向于由人來操作的領域。就廉價機器勞動取代人類勞動的程度來說，人類工作甚至可能消失。對自動化和失業(yè)的恐懼當然已經(jīng)并不新鮮，至少從工業(yè)革命開始，對于科技性失業(yè)的擔憂就階段性地再現(xiàn)。相當一部分的職業(yè)人員，事實上已經(jīng)走上了和當年英國紡織工人一樣的道路。
我們來考慮一個經(jīng)濟情景，那就是馬對人的作用。曾經(jīng)，馬作為交通工具和勞動力，在出行和耕種時是非常有生產(chǎn)力的。但后來，馬被汽車和拖拉機取代了，這些后來居上的發(fā)明降低了對馬的勞動的需求，也帶來了馬匹數(shù)量的降低。
二、人類是否會重復馬的命運
人類會遭此類似的命運嗎？當馬匹作為運輸工具已經(jīng)過時的時候，它們被大量賣給肉類加工廠，被加工成狗食、骨粉、皮革和膠水。這些動物沒有其他工作能使自己贏得保全。在美國，1915年有2600萬匹馬。到了20世紀50年代初期只有200萬匹馬幸存。
如果我們把人工智能作為資本，那么機器智能可以完全取代人類工作，工資就會下降到這種機器替代物的邊際成本水平。在機器的效率非常高的前提下，工資會非常低，大大低于人類生存所需的收入水平。那時勞動者的收入將會下降到幾乎為零，同時也意味著資本所占比例的收益幾乎達到百分之百。由于世界GDP將在即將到來的智能爆發(fā)中迅猛發(fā)展，隨之而來的資本總收入也將大大提高。如果人類持續(xù)擁有這些資本，那么人類人口的總收入將有天文數(shù)字般的增長，盡管在這種情況下，人類將不再有任何工資收益。通過工作變富有仍然是可能的，但是也就僅限于人類勞動因其美學、意識形態(tài)、道德、宗教或其他非實用主義的因素而更受人喜歡的條件下，這種勞動才有價值。就比如現(xiàn)在馬的價格上升了，是因為大家還會、也只會去賽馬和觀賞馬匹。
三、 算術經(jīng)濟下的生活
作者通過一系列推導得出，人類將會在科技極端發(fā)達的世界中以一個非常低的姿態(tài)生存。而作為勞動者的機器的困境是，它們究竟應該像奴隸還是像自由人那樣運行。因為它們的生命會變得非常廉價，復制性很高。在一天的工作結束后，直接抹去一個筋疲力盡的仿真大腦的記憶也許會更加劃算。
作者討論到了仿真系統(tǒng)的享樂程度，這是一個比較抽象的概念，不做過多論述。長遠看來，由于仿真時代將讓位于人工智能時代，所以它們的所謂痛苦和快樂可能最終完全消失。
多極時代到來的可能性是，仿真系統(tǒng)現(xiàn)在就開始逐漸把它們的功能部分外包。可以把數(shù)學運算的任務交給數(shù)學運算模塊公司，為什么還要學算數(shù)呢？可以用訊飛語音輸入法來把你的想法轉換成文字，又何須善于表達呢？像這樣將離散的類人智能的濃縮湯塊，熬成了一鍋“算數(shù)湯”，我們就有可能發(fā)展出多極的超級智能。作者又進一步論述了形成這種可能的階段性因素。
四、后過渡時代下單一體的形成
即使向機器智能過渡的直接結果是多極的，單一體在之后的發(fā)展也是有可能的。這種發(fā)展會繼續(xù)形成一個長期的、更大規(guī)模的政治交融的明顯趨勢。
在第一次過渡之后，如果第二次的過渡規(guī)模足夠大并且足夠深入，從而給剩余的能量以決定性戰(zhàn)略優(yōu)勢，最初的多極結局就會融合成一個單一體的后過渡形式。就如同巨頭公司兼并一樣。
人類協(xié)同機構的規(guī)模，比如公司或國家要受很多不同要素的影響，如科技、軍事、金融、文化等，在不同的歷史時期也不盡相同。機器智能革命會引發(fā)這些要素的深刻變化，并可能會因此促進單一體的崛起。
在仿真系統(tǒng)的群體里，選擇壓力更可能導致超個體的興起。一群又一群的仿真系統(tǒng)愿意為了其族類的利益而犧牲自己。超個體不會遇到那些組織機構的成員追求自身利益時遇到的代理問題的困擾。如同我們身體里的細胞，或完全群居昆蟲中的個體一樣，完全利他的仿真系統(tǒng)在對待其復制同胞時，即使沒有細致的計劃驅動，也會彼此合作。
后過渡多極世界的國際化合作將帶來巨大潛在好處，戰(zhàn)爭和軍備競賽將可能被避免。但是，合作擁有的巨大潛力并不意味著合作一定能實現(xiàn)。其中一個障礙在于很難保證大家都能服從達成的條約，包括監(jiān)督和實施的成本。假如減少監(jiān)督成本的新審查技術變得可行，就可以期待其會帶來合作的增加。然而在后過渡時代，監(jiān)督成本是否能夠減少是完全不清楚的。
總之我們已經(jīng)看到，即使多極狀態(tài)可以在穩(wěn)定的形勢下達到，還是不能保證有一個具有吸引力的結局。最初的委托代理問題依然沒有解決，并且其也將被一系列新的后過渡時代全球協(xié)作的失敗所帶來的問題淹沒，而后者只會讓情況更糟。因此，讓我們回到如何安全地保有單個超級智能的人工智能的問題上。
思考與討論：
（開放性問題）
回憶一下你看過的一些包含有人工智能的電影，里面的人工智能概念或角色是屬于神諭、精靈還是主權呢？為什么？
第十二章 獲取價值觀
一、 價值觀加載問題
我們今天來討論一些積極的應對措施，比如：如何給超級智能植入健康的觀念，來保證它們不傷害我們。如果可以做到這一點，那么什么樣的觀念才叫健康、應該被植入的觀念呢。全書的尾聲，我們要總結一下我們應有的應對超級智能的戰(zhàn)略規(guī)劃，以及我們面對這個問題應該抱有的心態(tài)了。
對能力的控制最多是一個暫時輔助的手段，除非能永久地限制超級智能，否則我們都需要掌握動機選擇機制。但是怎樣才能將一些價值觀加載到人工代理內(nèi)部，使得該價值觀成為其追求的最終目標呢？
我們不可能枚舉出所有超級智能可能面對的情況，因而我們并不能將動機系統(tǒng)具體化成一個全面的產(chǎn)品表，而只能像公式或規(guī)則那樣更加抽象地表達，從而讓代理來決定，在各種情形下應該怎樣應對。
程序員的腦中有一些特定的人類價值觀，他希望人工智能可以發(fā)揚這些價值觀，在期望效用的框架下，程序員要尋找一種效用函數(shù)，以將效用按照其幸福感的比例分配到每一個可能的世界當中。如何讓計算機理解并計算幸福度呢？當人們從這個角度考慮問題的時候，就能理解程序員的任務有多困難了。
（一）進化性選擇
如果我們不能通過編程把人類價值觀轉移到人工智能里，還能用什么辦法呢？進化性選擇可能是其中一種。至少有一次，進化產(chǎn)生過帶有人類價值觀體系的有機體，所以，相信進化是一種解決價值觀加載問題的途徑。
進化可以被看作一種特殊的搜索算法，它包括了兩個步驟的交替。一個根據(jù)相對簡單的隨機規(guī)則來增加備選者的數(shù)量和新的備選者，我們通常稱之為變異。另一個則是通過去掉那些在評估函數(shù)中得分較低的備選者，來降低被選者的數(shù)量，我們可以稱之為優(yōu)勝劣汰。
（二）強化學習
強化學習是機器學習的一個領域，研究那些能讓智能體學會將累積的回報最大化的技巧。通過構建一個在其中表現(xiàn)出被期待的行為會受到回報的環(huán)境，進行強化學習的智能體就會學著去解決很多不同類型的問題。
（三）聯(lián)合累積的價值觀
那么我們?nèi)祟愖约菏窃鯓有纬蓛r值觀的呢？我們的生命開始于一些相對簡單的初始偏好和一系列的性格傾向，并從各種不同經(jīng)歷中獲取偏好。無論是簡單的初始偏好還是性格特征，都是天生的。它們在進化時間尺度下的自然選擇和性選擇里成型。但是我們成人后，所最終形成的價值觀還是取決于人生經(jīng)歷。因此我們最終價值觀體系的大部分信息內(nèi)容是從經(jīng)歷中獲取的，而不是基因攜帶著。
我們是否也可以繼續(xù)同樣的原理？也就是說，與其直接地詳細說明復雜的價值觀，能不能說明一些獲得價值觀的機制，以此來設計人工智能呢？模仿人類價值觀累積的過程看起來非常困難，人類之相關的基因機理是進化了百萬年的結果，這一過程不能復制。從一個已經(jīng)運載人類價值觀體系的成年大腦開始，也許會輕松很多。
是否可以設計一種大膽的人工代替機制，能夠使人工智能將相關的復雜價值觀的高度準確的表達引入它的目標系統(tǒng)呢？如果這能成功，就不需要給人工智能與人類完全一致的價值觀配置了。
（四）機動性支架
另一個解決價值觀加載問題的方法被稱為機動性支架。這包括賦予種子人工智能一個臨時的目標系統(tǒng)，其有著相對簡單、可以用明確的編碼或是其他可行方式表達的最終目標。一旦人工智能發(fā)展出更復雜的表達能力，我們就將這個臨時的支架目標系統(tǒng)換成一個有不同的最終目標的系統(tǒng)。這個繼任的目標系統(tǒng)將統(tǒng)治人工智能，伴隨其成長為完全成熟的超級智能。這一方法的缺點在于可能使人工智能在其臨時目標系統(tǒng)階段就已經(jīng)變得過于強大。
二、 價值觀學習
現(xiàn)在我們到了關于價值觀加載問題的一個重要而微妙的道路上，它包括使用人工智能來學習我們希望它有的價值觀。為了做到這點，我們必須為人工智能提供一個標準，其至少隱含一些適合的價值觀集合。然后我們便可以建造人工智能，讓它根據(jù)對于這些隱含的、定義好的價值觀的最準確的估計來行動。隨著人工智能學習到關于世界的更多東西，并且逐漸領會到價值觀決定標準所隱含的意義，它便可以不斷地使自己的估計精確化。我們現(xiàn)在仍不知道如何使用價值觀學習的方法來建立起可信的人類價值觀。書中提到的一些方法都只是可能性。
（一）仿真調(diào)節(jié)
看起來價值觀加載問題對于全腦仿真比對于人工智能來說更為不同，那些預先假定的對于算法和結構之精細理解有控制的方法，是不適用于仿真的。另一方面，增量式動機選擇方法雖然在最初的人工智能中不適用，但可以在仿真中得到應用。增量的方法可以和技術結合，以修改系統(tǒng)的遺傳目標。
（二）體制設計
一些智能系統(tǒng)包含了一些自成體系的智能部分。在人類世界里的例子就是公司和國家，它們由大量這樣的人類組成，既為了某些目的，它們可以被看作對自身權利自治的代理人。這種復合系統(tǒng)的動機不僅取決于其組成部分中的副代理人的動機，而且還取決于這些副代理人是怎樣被組織起來的。
體制設計可能在有增量的條件下是最具有可操作性的。如果我們從已經(jīng)被適宜地激勵或已經(jīng)具有類人動機的代理開始著手，體制的安排就可以被作為一種附加的保障，來增加系統(tǒng)按計劃發(fā)展的可能性。
總之，目標系統(tǒng)工程還不是一個可以被確立的學科。即使有了人類水平的機器智能，如何將人類價值觀轉入電子計算機依然不清楚。考慮了很多方法后，我們發(fā)現(xiàn)其中一些看起來只是死胡同，而另一些仍有希望，值得進一步探索。
第十三章 確定選擇標準
一、間接規(guī)范方法的必要性
在上一章節(jié)，我們已經(jīng)論述了將價值觀植入人工智能的難度。現(xiàn)在讓我們來假設我們已經(jīng)有了辦法，那么植入哪種價值觀或者哪個目標比較好呢？
我們?nèi)绾尾拍茏尦壷悄茏鑫覀兿胍模课覀兿胍壷悄芟胧裁矗康侥壳盀橹梗覀冴P注的重點都是第一個問題，現(xiàn)在我們開始討論第二個問題。顯然，在我們選擇價值觀時不犯錯誤是至關重要的。但是現(xiàn)實地想，我們?nèi)绾文軌蛳Ｍ谶@種事情上一點錯誤都不犯呢？隨著歷史的發(fā)展，人們的道德信念是會發(fā)生顯著變化的。
16世紀的巴黎依然流行焚燒活貓的娛樂活動。而僅僅150年前，美國南方還普遍實行奴隸制。這些在我們當下的道德觀點看來都是不能接受的，而在當時卻是一種正常的道德觀點。如果以我們現(xiàn)在的道德觀點設置了人工智能的價值觀，而在幾百年后我們的道德觀點發(fā)生了明顯的變化，這該如何是好呢？
如果要基于我們目前的信念選擇一個最終目標，而這個最終目標是永遠不可更改并消除了任何道德進一步發(fā)展的可能性的話，便會導致存在性道德災難的風險。如果在為超級智能選擇最終目標時，我們不得不就整體的道德理論以及關于這個理論的一系列具體主張下注，賭贏的機會實在太小。這就使我們轉向間接規(guī)范方法。
創(chuàng)造超級智能的顯而易見的理由是：這樣我們就能夠將尋找實現(xiàn)給定價值觀的有效方法所需要的工具性推理任務交給超級智能。間接規(guī)范方法還使我們能夠將選擇要實現(xiàn)的價值觀所需要的一些推理任務交給超級智能，也就是說讓它動態(tài)發(fā)展它的道德觀。
由于超級智能比我們更擅長認知工作，所以它可能能夠識別我們思維中的錯誤，并弄清我們的疑惑。我們可以對這個觀點進行概括，并將它作為一種啟發(fā)式的原則。這就是認知遵從原則：未來的超級智能具有認知優(yōu)勢，它的信念比我們的信念更可能是對的。因此，我們應該在任何可能的情況下遵從超級智能的觀點。
二、 一致推斷意愿
尤德科夫斯基提出，我們給種子人工智能設定的最終目標應該是實現(xiàn)人類的一致推斷意愿：一致推斷意愿是我們希望如果自己知道得更多思考得更快，超越我們對自身的希望，人類便會共同成長；這時推斷匯聚統(tǒng)一，而非相異偏離，我們的愿景連貫一致，而非互相沖突；按照我們所愿去推斷，按照我們所想去詮釋。
這個概念比較復雜，翻譯一下就是說，現(xiàn)在我們?nèi)擞胁煌男枨蠛筒煌乃伎挤绞剑且驗槲覀兊闹悄苓€不夠高。當人類的智能全部達到一個很高的境界的時候，我們對于幾乎所有問題都應該是英雄所見略同。我們在對這些問題進行溝通和交流的過程當中，應該是彼此能夠達成一致的，而不是像今天，針對任何問題都有可能出現(xiàn)眾說紛紜的現(xiàn)象。如果這種虛幻的場景真的能夠發(fā)生，那么它應該就是我們的人工智能最終想要達成的目標。
一致意愿推斷，包含了一些基本論點，其中有一些是作者認為比較重要的。第一，容納道德發(fā)展。這個要求是說，解決方案應該允許道德進步的可能。第二，避免劫持人類命運。通過設立一種實施人類一致推斷意愿的機制，它們便有效地把它們對未來的影響交到整個人類手中。第三，避免提供人類為了初始機制而發(fā)生沖突的動機。在整個的一致推斷意愿途徑中，程序員不比其他任何人對結果內(nèi)容更有影響力，盡管他們是確定推斷結構和決定使用人類一致推斷意愿的主要角色。第四，讓人類最終主宰自身命運。
本章中，作者還討論了與一致推斷意愿相類似的幾種其他理論，這里不做贅述。感興趣的讀者可以去原著中閱讀。
作者最終給出的結論是，我們沒有必要設計一個高度優(yōu)化的方案。相反，我們的重點應該放在設計一個高度可靠的方案之上。可靠的設計會具有足夠的智慧，能夠認識到自己的缺點。一個不完美的超級智能，如果有著可靠的根本理念，就會逐漸完善自己。經(jīng)過自我完善，它就能夠對這個世界實施有益的優(yōu)化影響，就像它一開始就是完美的一樣。
第十四章 戰(zhàn)略圖景
一、科學技術戰(zhàn)略
現(xiàn)在是時候，在更廣闊的背景下思考超級智能帶來的挑戰(zhàn)了。我們希望能夠充分熟悉戰(zhàn)略圖景，至少能夠確定我們要走的大致方向。大致區(qū)分兩種不同的規(guī)范性立場：我們可以通過“規(guī)范性立場”對提出的方案進行評價，可能會有一定的啟發(fā)作用。而“人類影響視角”關心的是所建議的改變是否符合我們的利益。
假設一個政策制定者出于對某個最終可能會成長起來的假想技術的長遠后果或風險的考慮，提出削減某個研究領域的經(jīng)費，那么他一定會遭到來自這個領域的強烈反對。可能研究人員存在一種自私自利的偏見，導致他們相信進行研究總是有益的，而擁護幾乎所有需要更多資金的想法。也可能是發(fā)展某一項技術會對全人類有著一份總體上的威脅，但是對于發(fā)展他的人或者組織、國家而言，所能獲得的收益要更大一些。
如果致力于發(fā)展科學技術的努力沒有有效的停止，那么所有能夠通過某種可能的技術獲得的重要基本能力最終都會實現(xiàn)，這就是“技術實現(xiàn)猜想”。這個猜想指向了一個原則，這個原則會引導我們關注不同技術發(fā)展的相對速度。這個原則就是“差異技術發(fā)展原則”：減緩危險且有害的技術發(fā)展，尤其是那些會增加存在性風險的技術；加速有益技術的發(fā)展，尤其是那些能夠降低由自然或其他技術造成的存在性風險的技術。說得簡單一些，就是技術與技術是不同的。有些技術更危險，有些技術更安全，我們要先發(fā)展安全的技術。
不管是平均值還是最大值，只要人類智能水平提高，都有可能加快技術的全面進步，包括各種機器智能形式的進步、解決控制問題的進步以及其他一系列技術和經(jīng)濟目標的進步。這種加速的凈效果是什么呢？如果我們想要理解認知提升具有普遍加速作用這個觀點，就得關注認知提升是如何提高某一類型的進步的發(fā)生速度的，而這種類型的進步速度與其他類型的進步速度相關。
如果你碰巧得到了一個能夠改變宏觀結構發(fā)展速度的魔力操縱桿，你應該怎么做？你應該加速、減速還是保持原速？從非人類視角來看，這個問題要求我們思考其對于存在性風險有什么影響。我們要區(qū)分兩種風險：狀態(tài)風險和步驟風險。作者的結論是，考慮到存在性狀態(tài)風險時，我們應該支持加速。而如果我們知道未來的某個步驟必定會導致存在性災難，那么我們應該降低宏觀結構發(fā)展的速度。
目前存在性狀態(tài)風險的水平看起來相對較低，宏觀結構發(fā)展速度產(chǎn)生影響的主要方式是通過影響面對關鍵步驟風險時人們所做準備的充分程度。因此，我們必須要問的問題是，認知提升如何影響關鍵時刻人們的準備充分程度。我們應該選擇利用更高的智能，在更短的時間里準備嗎？也或者在給我們更多準備時間的情況下，我們應該選擇使用和當前差不多水平的智能。
認知提升是有益的，至少是當我們把重點放在智能爆發(fā)的存在性風險上的時候。作者還討論了我們已經(jīng)能夠識別的一個重要的技術耦合，也就是全腦仿真和人工智能之間的技術耦合。總的來說，人工智能先發(fā)展，全腦仿真就可能不會出現(xiàn)。而全腦仿真先發(fā)展，必然會出現(xiàn)人工智能的發(fā)展，兩次發(fā)展加起來的風險總和可能更大。
值得重點強調(diào)的是合作的重要性，合作會帶來很多好處，能降低機器智能研發(fā)過程中的草率程度。根據(jù)合作機構規(guī)模的不同，以不同形式來合作，在遵循共同利益原則的前提下，超級智能的研發(fā)只能用來服務全體人類的利益和廣泛共享的道德，這一點非常重要。
第十五章 關鍵時刻
一、 核心目標
通過全書的論述，我們已經(jīng)知道我們可能身處在即將面對智能爆發(fā)以及其帶來的災難性結果的困境中，那么我們應該做些什么呢？如果將“發(fā)現(xiàn)”視為把信息的獲得從一個較晚的時間點提早到一個較早的時間點的行為，那么發(fā)現(xiàn)的價值就不等同于被發(fā)現(xiàn)信息的本身價值，而是在更早的時間上獲得這個信息的價值。我們需要把重點放在那些不僅重要而且急迫的問題上，這些問題需要在智能爆發(fā)之前就得到解決。我們還應該注意不要研究那些有負面價值的問題。
在選擇優(yōu)先解決哪些問題時，還有一個特別需要考慮的因素，即我們需要研究的問題要對于我們付出的努力來說是有彈性的。什么叫有彈性呢？就是一個問題，如果我們增加一份努力，解決這個問題的速度就會快很多，或者問題解決的程度就會大很多，這種問題就是有彈性的。而如果在我們百般努力的情況下，這個問題的解決還看不到希望，這種問題就沒有彈性。
為了降低機器智能革命的風險，我們提出兩個看起來最能滿足上述所有條件的目標：戰(zhàn)略分析和實力建設。在充滿困惑和不確定性的背景下，進行更多的分析尤其具有更高的價值。看清戰(zhàn)略態(tài)勢能夠幫助我們更有效地展開后續(xù)行動。另一個具有高度價值的行動是發(fā)展一個嚴肅對待未來的完備的支持系統(tǒng)。這個行動和戰(zhàn)略分析一樣，具有在一系列場景下都有用的穩(wěn)健性。
除了尋找戰(zhàn)略之光和優(yōu)秀實力這兩個總體目標之外，一些更加具體的目標也可能會帶來成本有效性的行動機會。一個這類的具體目標是，在克服機器智能安全性的技術挑戰(zhàn)方面取得進展。另一個具體目標是，在人工智能研究者中推廣最佳實踐，在控制問題方面取得的任何進展都需要廣泛傳播。
作者在總結他對超級智能爆發(fā)問題的看法時，有一個非常有意思的比喻。在智能爆發(fā)的前景之下，我們?nèi)祟惥拖衲弥◤椡娴暮⒆印Ｍ婢叩耐臀覀兊男袨榈某墒於仁侨绱瞬黄ヅ洹３壷悄苁且粋€我們現(xiàn)在還沒有準備好應對的挑戰(zhàn)，而且很長時間之內(nèi)都不會準備好。盡管我們把炸彈放到耳邊能聽到微微的滴答聲，但是我們也完全不知道爆炸會在何時發(fā)生。
對于一個手拿尚未引爆的炸彈的孩子來說，最明智的做法莫過于輕輕放下，快速跑出屋子告訴大人。然而我們面對的不是一個孩子，而是很多的孩子。這里面所有孩子都不是熊孩子的可能性幾乎為零，一定會有哪個熊孩子，因為好奇心而去按下引爆按鈕。我們不知道逃離的方法，也看不到任何成年人。
在這種情況下，任何“太棒了”的高興情緒都是不適合的，驚愕和恐懼也許會稍微合適一些，但是最恰當?shù)膽B(tài)度是下定決心，發(fā)揮我們最好的實力。就像準備一場很難的考試一樣，考試通過了夢想就會實現(xiàn)，考試失敗了夢想就會破滅。
這不是一個張狂主義的處方，智能爆發(fā)可能離我們還有幾十年的時間。但是我們也不能忘記全球性的重要事務，透過日常煩瑣的迷霧，我們能夠看到這個時代的核心任務。在本書中，我們嘗試著在相對模糊不清的視野中辨別更多的特征，我們看到降低存在性風險，并且實現(xiàn)導向合理使用人類宇宙資源的文明進步，會是我們道德上的主要優(yōu)先事項。
總結：
向人工智能輸出價值觀目前存在困難，現(xiàn)在提出的一些想法仍然只是可能性，有的會走向死胡同，有的存在希望。
向人工智能輸出的價值觀應該時一種間接的規(guī)范，植入的價值觀應該是更加可靠的，而不一定是非常完美的。
我們對待人工智能的態(tài)度，應該是謹慎而略帶畏懼的，像應對一場重要的考試一樣。
思考與討論：
（開放性討論）
書中提出了很多種價值觀加載方法，但都被作者認為是希望不大的。針對如何把價值觀加載給智能體，你有什么想法？
我們可能并不是研究人工智能的專家，也不是握有權力的大組織決策者。那么，眼看著超級智能伴隨著未知的結果正在趕來，我們可以做的是什么呢？
摘自《超級智能》作者[英]尼克·波斯特洛姆
[卡片作者]王嘉喆
