如果有一天，機器學會了互相通信，超越人類的認知，這個世界會變成什么樣？美國前國務卿亨利·基辛格向人類發出了一個嚴厲警告：人工智能的進步可能導致一個人類將無法理解的世界 ，而我們應該從現在就開始準備，否則“不久后我們就會發現開始得太晚了”。

“如果機器學會相互通信怎么辦？ 如果他們開始建立自己的目標怎么辦？ 如果他們變得太聰明以至于做出超出人類思維能力的決策呢？”

這些是95歲的基辛格發表在《大西洋月刊》的文章《啟蒙如何終結》(How The Enlightenment Ends)中提出的一些問題。

基辛格對人工智能的興趣始于他了解到一個已經成為Go專家的計算機程序的工作原理。在比國際象棋更復雜的圍棋比賽中，基于圍棋規則，機器在與自己對弈的實戰中來訓練自己去掌握游戲;它會從錯誤中吸取教訓，重新定義算法，完美呈現“熟能生巧”。

進入未知世界

基辛格警告稱，我們正處于“一場全面的技術革命中，這場革命的后果我們沒有完全考慮，其高潮可能是一個依賴數據和算法驅動、不受倫理或哲學規范支配的機器的世界。”

基辛格應用了自動駕駛汽車的例子。駕駛汽車需要在不可預測的情況下做出判斷。他問道，如果汽車發現自己必須在殺死祖父母或殺死一個孩子之間作出決定，會發生什么？它會選擇誰，為什么？

他說，人工智能遠遠超出了我們習慣的那種自動化，因為人工智能有能力“建立自己的目標”，這使它“本質上不穩定”。換句話說，通過運行，AI“培養了一個以前人類認為是為自己保留的能力。”

蘇格蘭國家黨主席Nicola Sturgeon在Twitter上推薦基辛格的文章

意想不到的后果

典型的科幻小說敘述是機器人將發展到他們成為自己的創造者并威脅全人類的程度 。

但是，根據基辛格的說法，雖然人工智能的危險性很大，但現實中它的威脅性可能會更溫和一點。他認為，更有可能的是危險將來自人工智能“由于語境理解的缺失”而誤解人類指令。

最近的一個例子是一個名為Tay的AI聊天機器人。該機器被指示以一名19歲女孩的身份進行友好交談，然而最終卻成為種族主義，產生了性別歧視和煽動性反應。基辛格說，人工智能不能完全按照人類的期望工作的風險在于，它可能會從我們預期的結果“陷入災難性的偏離”。

對人類來說太聰明了

第二個危險是，人工智能將變得過于聰明，無論是為了它們自己的利益還是我們的利益。在Go游戲中，計算機能夠制造出人類還沒想到的前所未有具有戰略意義的動作。 “這些動作是否超出了人類大腦的能力？”基辛格問道。 “或者人類所了解的他們已經被新主人掌控了嗎？”

事實是人工智能學習速度比人類快得多。最近的另一個例子是計算機程序AlphaZero，它學會了國際象棋界史無前例的下棋風格。在僅僅給出了游戲的基本規則后，它在短短幾個小時內便達到了人類花費了1500年才達到的技能水平。

原英國財政大臣George sborne的Twitter

這種極快的學習過程意味著人工智能也將犯下更多“比人類更快，更大”的錯誤。基辛格指出，人工智能研究人員經常設想通過將“道德”和“倫理”結果納入編程能夠避免這些錯誤，但是什么是符合道德的和倫理的？這些是人類仍然在爭論如何定義的事情。

沒辦法解釋

如果AI達到預期目標但無法解釋其基本原理會發生什么？ “人工智能的決策能力是否會超越人類語言和理性的解釋力？”基辛格問道。

他認為，這種情況對人類意識的影響將是深遠的。事實上，他認為這是我們所面臨的新世界最重要的問題。

“如果人類的認知被人工智能超越，那將會變成什么樣？社會是不是再也無法解釋他們賴以生存的世界對他們來說是否還有意義？”

法律和機會

除了哲學問題之外，基辛格還概述了一些合法性的問題：在這個發生巨大變化的世界中，誰將對人工智能的行為負責？ 如何為其錯誤承擔責任？ 人類設計的法律體系能跟上一個能夠思考的人工智能世界的腳步嗎？

不過關于人工智能也并不全是這么黑暗又令人沮喪的事情。 基辛格承認，AI遲早會給醫療科學、清潔能源和環境問題等領域帶來“巨大的好處”。

基辛格承認科學家更關心推動發現的極限，而不是理解他們或思考他們的哲學后果。政府也更關心AI如何被用于安全和情報，而不是檢驗其對人類狀況的結果。

最后，這位高級外交官懇求美國政府將人工智能作為國家重點關注的焦點，“最重要的是，從協調人工智能與人文傳統的關系角度去看。”

他認為，應該建立一個由該領域杰出思想家組成的總統委員會，以幫助制定國家遠景計劃。 “如果我們不盡快開始這項工作，”基辛格寫道，“不久后我們就會發現開始得太晚了。”

今年3月，一則亞馬遜Echo音箱中搭載的虛擬助手Alexa在半夜發出令人毛骨悚然的笑聲的新聞傳遍網絡，亞馬遜隨后立即對其程序進行修改防止誤報。雖然知道這是由于語音識別的誤判，但想象一下一個機器半夜發出的怪笑依然會讓人有點后怕。

如果有一天，機器真的發展到了互相通信、做出超越人類認知的決策的地步，人類將做出怎樣的應對措施呢？