李飛飛帶領的斯坦福“以人為本AI研究院”發(fā)表文章，探討人工智能、神經(jīng)科學、心理學和認知科學，以及數(shù)學、物理和社會科學等學科過去是怎樣、以及未來將如何共同合作，追求對理解和創(chuàng)造智能系統(tǒng)的探索。

最初的類人智能出現(xiàn)在幾百萬年前的非洲大陸，并持續(xù)進化，最終在大約 10 萬年前，在我們?nèi)祟愡@一物種——智人的大腦中達到頂峰。

作為現(xiàn)代人類，我們只能想象我們遠古的祖先凝視夜空，思考物質(zhì)現(xiàn)實的本質(zhì)，內(nèi)省地窺視自己的內(nèi)心，思考自己的心理現(xiàn)實本質(zhì)時的感受。

在過去幾百年里，我們?nèi)祟愅ㄟ^發(fā)現(xiàn)控制空間、時間、物質(zhì)和能量行為的基本數(shù)學規(guī)律，在對物理現(xiàn)實 (physical reality)的精確理解方面取得了巨大的智力進步。這些基本數(shù)學規(guī)律現(xiàn)在被編纂在量子力學和廣義相對論的大框架中。

然而，在探索心理現(xiàn)實 (mental reality)本質(zhì)方面，我們?nèi)詣倓傞_始。特別是，人類智能是如何從由 1000 億個神經(jīng)元通過 100 萬億個突觸連接而成的生物有機體中產(chǎn)生的？

神經(jīng)科學、心理學和認知科學等現(xiàn)代學科在過去 100 年里取得了許多重要進展，為攻克這個大問題奠定了基礎。事實上，正如奧巴馬在 2013 年宣布美國大腦計劃 (United States Brain Initiative) 時所解釋的那樣，“揭開我們兩耳之間三磅重物質(zhì)之謎”的時機已經(jīng)成熟。

但是，當涉及到我們自己的心智能力時，對于現(xiàn)代人來說，僅僅理解它們是不夠的。我們也非常希望在無生命的系統(tǒng)中重建這些能力，這些系統(tǒng)有時是以我們自己的形象為基礎構(gòu)建的。

從本質(zhì)上說，人類作為進化的產(chǎn)物，有時渴望扮演創(chuàng)造者的角色。從瑪麗 · 雪萊的《弗蘭肯斯坦》到艾薩克 · 阿西莫夫的《我，機器人》，這種渴望滲透在人類文學作品中。

事實上，人工智能 (AI) 這一新興領域，經(jīng)常與神經(jīng)科學、心理學和認知科學領域合作，在創(chuàng)造具有某些類人能力的機器方面取得了巨大進展。在這篇文章里，我將進一步探討人工智能、神經(jīng)科學、心理學和認知科學，以及數(shù)學、物理和社會科學等學科過去是怎樣、以及未來如何共同合作，追求交織在一起的對理解和創(chuàng)造智能系統(tǒng)的探索。

生物智能與人工智能之間的合作

在過去的 60 多年里，AI 深受神經(jīng)科學和心理學的影響，并且確實受到神經(jīng)科學和心理學的啟發(fā)。早期，許多 AI 從業(yè)者在神經(jīng)科學和心理學方面做了一些很好的研究。這里我列舉了神經(jīng)科學、心理學和人工智能之間相互影響的一些事實：

由相對簡單的元素 (神經(jīng)元) 組成的分布式網(wǎng)絡，能夠完成源自神經(jīng)科學、如今以神經(jīng)網(wǎng)絡形式滲透到現(xiàn)代人工智能系統(tǒng)中的人類智能的驚人計算。這一觀點并不總是顯而易見的，直到大約一百年前，在高爾基和卡哈爾之間著名的辯論之后，這一觀點才變得堅定起來。

各種降維技術(shù)，包括多維尺度和因子分析，最初是在心理測量學研究的背景下發(fā)展起來的。

著名神經(jīng)學家赫拉斯 · 巴洛 (Horace Barlow) 提出了分解代碼的思想，這一思想反過來又啟發(fā)了獨立分量分析 (ICA) 和當前的 AI 研究，旨在解開數(shù)據(jù)變異的獨立因素。

托爾曼對認知地圖的研究提供了證據(jù)，證明即使是老鼠也能形成對世界的心理模型，并能利用這些模型進行規(guī)劃和導航。這鞏固了內(nèi)部模型形成是動物智能的關鍵組成部分這一觀點，這是目前人工智能研究的前沿。

Hopfield network 是理論神經(jīng)科學的一個模型，為思考分布式、結(jié)合存儲的存儲器和檢索提供了一個統(tǒng)一的框架，也啟發(fā)了玻耳茲曼機，這反過來又為證明深度神經(jīng)網(wǎng)絡模型的成功提供了關鍵的一步，并啟發(fā)了許多弱約束的分布式滿足作為 AI 計算模型的想法。

目前主宰機器視覺的深層卷積網(wǎng)絡的關鍵組成部分直接受到大腦的啟發(fā)。這些成分包括腹側(cè)流的分層視覺處理，表明深度的重要性；視網(wǎng)膜拓撲映射 (retinotopy) 作為整個視覺皮層的組織原理的發(fā)現(xiàn)，啟發(fā)了卷積；簡單和復雜的細胞的發(fā)現(xiàn)，啟發(fā)了如最大池化等操作；以及皮層內(nèi)神經(jīng)歸一化的發(fā)現(xiàn)，推動了人工網(wǎng)絡中的各種歸一化階段。

將稀疏編碼作為理解初級視覺皮層中定向邊緣檢測器起源的一種嘗試而進行的開創(chuàng)性工作，這啟發(fā)了將稀疏編碼作為現(xiàn)代人工智能系統(tǒng)的基本構(gòu)建塊。

像時序差分學習 (temporal difference learning) 這樣的算法，現(xiàn)在已經(jīng)成為強化學習的基礎，其靈感來源于經(jīng)典條件反射的動物實驗。

反過來，強化學習對基底神經(jīng)節(jié)手術(shù)的解釋產(chǎn)生了巨大的影響，其中多巴胺能神經(jīng)元為基底神經(jīng)節(jié)提供了非常重要的獎勵預測誤差信號，該信號驅(qū)動了許多強化學習算法中的學習。

大腦中記憶系統(tǒng)的模塊化啟發(fā)了現(xiàn)代記憶神經(jīng)網(wǎng)絡，它在一定程度上將存儲器存儲和決定何時從存儲器中讀寫的執(zhí)行控制電路的操作分開。

人類注意力系統(tǒng)激發(fā)了注意力神經(jīng)網(wǎng)絡，這些神經(jīng)網(wǎng)絡可以被訓練來動態(tài)地關注或忽略其狀態(tài)和輸入的不同方面，以進行未來的計算決策。

形式生成語法在語言學和認知科學中的發(fā)展，導致了概率語法和句法分析在 CS 和 AI 領域的發(fā)展。

像 dropout 這樣的現(xiàn)代正則化技術(shù)受到神經(jīng)動力學內(nèi)在隨機性的啟發(fā)。

人工智能未來的生物學啟示

盡管目前人工智能系統(tǒng)在有監(jiān)督的模式識別任務上已經(jīng)取得了巨大的商業(yè)成功，但在模仿真正的人類智能方面，我們還有很長的路要走。在這里，我概述了生物和人工智能領域可以攜手前進的一些方向。

生物學上合理的信用分配

信用分配問題可能是神經(jīng)科學和人工智能領域最大的開放性問題之一。夸張點說，假設你正在打網(wǎng)球，你的一個擊球失誤了。這應該責怪你的 100 萬億個突觸中的哪一個？大腦是如何在你的運動系統(tǒng)中找到正確的突觸組并糾正它，尤其是當錯誤發(fā)生幾百毫秒內(nèi)通過視覺系統(tǒng)傳遞的時候?

在人工智能中，這種信用分配問題在很多情況下是通過錯誤的反向傳播，通過多層計算來解決的。然而，目前還不清楚大腦是如何解決這個問題的。我們只知道，大腦使用一個局部學習規(guī)則 (local learning rule)：即每個突觸僅使用實際可用的信息來調(diào)整強度，例如由突觸連接的兩個神經(jīng)元的電活動，附近其他突觸的強度，以及反映獎勵和錯誤的任何神經(jīng)調(diào)節(jié)輸入。

闡明這些局部突觸規(guī)則是什么、以及它們?nèi)绾喂ぷ鳎赡軙?AI 產(chǎn)生重大影響，使得在神經(jīng)形態(tài)芯片上實現(xiàn)并行學習成為可能，從而避免反向傳播的通信開銷。

但更普遍的情況是，找到一個困擾神經(jīng)科學和人工智能的常見未解問題，應該會促使研究取得進展，通過將生理學家、計算神經(jīng)科學家和人工智能研究者聚集在一起，共同解決生物學上合理的信用分配問題。要成功應對這一重大挑戰(zhàn)，可能需要將實驗知識、理論和工程技術(shù)結(jié)合起來。

整合突觸的復雜性

生物神經(jīng)模型和人工神經(jīng)模型之間的一個主要區(qū)別在于我們模擬連接神經(jīng)元的突觸的方式。在人工神經(jīng)網(wǎng)絡中，突觸是由單個標量值來模擬的，這個標量值反映了一個乘法增益因子，它轉(zhuǎn)換了突觸前神經(jīng)元的輸入如何影響突觸后神經(jīng)元的輸出。

相比之下，每個生物突觸內(nèi)都隱藏著極其復雜的分子信號通路。例如，海馬突觸隱藏在我們對最近事件的記憶之下，每個突觸都包含一個由數(shù)百種不同類型分子組成的化學反應網(wǎng)絡，該網(wǎng)絡能夠?qū)崿F(xiàn)具有復雜時間處理能力的整個動力系統(tǒng)。

看到這樣的復雜性，理論家或工程師可能會傾向于簡單地忽略它，認為它是進化過程中偶然產(chǎn)生的生物混亂。然而，理論研究表明，這種突觸復雜性可能確實對學習和記憶至關重要。

更普遍的情況是，我們目前的 AI 系統(tǒng)很可能忽略了生物突觸的動態(tài)復雜性，僅僅關注表格上體現(xiàn)的性能提升。正如我們在網(wǎng)絡中增加了空間深度來實現(xiàn)復雜的層次表示一樣，我們也可能需要在突觸中增加動態(tài)深度來實現(xiàn)復雜的時間學習能力。

單個突觸內(nèi)的復雜分子狀態(tài)有助于學習和記憶。(參考：A memory frontier for complex synapses.)

從系統(tǒng)級模塊化大腦架構(gòu)中獲取線索

通常，當前的商業(yè) AI 系統(tǒng)涉及的訓練網(wǎng)絡具有相對同質(zhì)的分層結(jié)構(gòu)或從隨機權(quán)重表開始的遞歸結(jié)構(gòu)。然而，對于更復雜的任務來說，這可能是一個很難解決的問題。

事實上，生物進化走的道路截然不同。所有脊椎動物最后的共同祖先生活在 5 億年前。從那以后，它的原始大腦一直在進化，形成了大約 1 億年前的哺乳動物大腦，和大約幾百萬年前的人類大腦。這種不間斷的進化鏈導致了復雜的大腦結(jié)構(gòu)和高度保守的計算元素，以及巨大的系統(tǒng)級模塊化。

事實上，我們目前缺乏任何工程設計原理能解釋像大腦這樣復雜的傳感、通信、控制和記憶網(wǎng)絡如何在 5 億多年的時間里不斷地擴大規(guī)模和復雜性，同時又不會失去在動態(tài)環(huán)境中自適應運作的能力。因此，AI 從大腦的系統(tǒng)級結(jié)構(gòu)中獲取線索可能非常有趣。

一個關鍵的系統(tǒng)特性是功能和解剖層次上的模塊化。大腦并不像我們目前的 AI 架構(gòu)一樣是同質(zhì)的，而是有不同的模塊，比如海馬體 (用于輔助情景記憶和導航)、基底神經(jīng)節(jié)(基礎強化學習和行為選擇) 和小腦(運動控制和更高層次的認知)。

此外，人腦中的記憶系統(tǒng) (習慣性記憶、運動技能、短期記憶、長期記憶、情景記憶、語義記憶) 在功能上也是模塊化的；不同的患者可能在一種記憶上有缺陷，而在另一種記憶上沒有缺陷。

又如，在運動系統(tǒng)中，嵌套反饋回路結(jié)構(gòu)占主導地位，簡單的快速回路通過脊髓在 20 毫秒內(nèi)就能實現(xiàn)自動運動校正，稍慢的智能回路通過運動皮層在 50 毫秒內(nèi)能實現(xiàn)更復雜的運動校正，最后，流經(jīng)整個大腦的視覺反饋實現(xiàn)有意識的運動錯誤糾正。

最后，所有哺乳動物大腦的一個主要特征是由大量相似的 6 層皮質(zhì)柱組成的新皮層，所有這些柱狀結(jié)構(gòu)都被認為是在一個標準的計算模塊上實現(xiàn)變化的。

總的來說，經(jīng)過 1 億年進化而來的現(xiàn)代哺乳動物大腦非凡的模塊性，表明這種系統(tǒng)級模塊化可能有利于實現(xiàn)人工智能系統(tǒng)，當前的從白紙狀態(tài)開始訓練神經(jīng)網(wǎng)絡方法對于實現(xiàn)更一般的人類智能是不可行的。

5 億年來，脊椎動物大腦的進化創(chuàng)造了一個高度異構(gòu)和模塊化的計算系統(tǒng)。

無監(jiān)督學習、遷移學習與課程設計

AI 系統(tǒng)與 human-like learning 之間的另一個主要區(qū)別在于，AI 系統(tǒng)要接近人類水平的表現(xiàn)，需要大量的標記數(shù)據(jù)。

例如，最近的語音識別系統(tǒng)使用 11940 小時的語音進行訓練，并有對應的文本語料。如果我們每天花 2 小時看和聽另一個人大聲朗讀文本，需要 16 年才能獲得這么大的數(shù)據(jù)集。

AlphaGo zero 自我對弈了 490 萬場圍棋，才擊敗了人類圍棋大師。如果一個人話 30 年的時間，每天必須要下 450 場才能達到 AlphaGo zero 的練習量。

此外，最近的一個關于可視化問答的數(shù)據(jù)集包含 0.25M 的圖像、0.76M 的問題和~ 10M 的答案。如果我們每天收到 100 個關于圖像的問題的答案，那么我們需要 274 年的時間才能接觸到這么大的數(shù)據(jù)集。

很明顯，在所有這些情況下，人類接收到的帶標簽的訓練數(shù)據(jù)要少得多，但人類能夠很好地識別語音、下圍棋和回答有關圖像的問題。

彌合人工智能和生物智能之間這一鴻溝的幾個關鍵在于，人類從無標記數(shù)據(jù)中學習 (無監(jiān)督學習) 的能力，以及從解決先前任務時獲得的強大先驗知識，并將這些知識轉(zhuǎn)移到新任務 (轉(zhuǎn)移學習) 的能力。

最后，人類社會已經(jīng)建立了教育系統(tǒng)，包括精心選擇的任務序列的設計，以促進知識的獲取 (課程設計)。

為了在人工系統(tǒng)中有效地實例化這些概念，我們需要對人類和其他動物如何進行無監(jiān)督學習、如何在任務之間傳遞知識以及如何優(yōu)化課程等問題有更深層次的理解和數(shù)學形式化。這些領域的進步，需要計算機科學家、心理學家和教育工作者的相互合作，這可能是減少當前 AI 系統(tǒng)令人望而卻步的數(shù)據(jù)需求的關鍵。在其他標記數(shù)據(jù)稀缺的領域，它們對于增強 AI 的能力至關重要。

Taskonomy：斯坦福大學進行的一項關于 26 項不同視覺任務之間的遷移學習的研究

建立理解，規(guī)劃和積極因果學習的世界模型

當前成功商用的 AI，多是監(jiān)督學習模型。AI 被動獲取輸入，人為調(diào)參糾正輸出的結(jié)果。

但是反觀人類，即使是嬰兒也可以主動去探索周圍環(huán)境，具有學習和利用世界模型的卓越能力。

舉個例子。我們可以玩?zhèn)€小魔術(shù)，給嬰兒看兩個東西，A 好像是可以穿墻而過；B 好像撒手后不會掉下來。

把這兩個東西教給嬰兒后，嬰兒拿到 A 會嘗試去把它推進硬質(zhì)表面；而拿到 B 則會撒手，看看它到底會不會掉下來。

你看，嬰兒不需要人為去糾正結(jié)果，而是會去主動去探索結(jié)果。這個非凡的實驗表明：

嬰兒的腦海中已經(jīng)建立起物理世界運作規(guī)律的模型

能夠注意到違反物理世界運作規(guī)律的事件

積極驗證上述事件收集數(shù)據(jù)，并主動根據(jù)模型選擇訓練數(shù)據(jù)

這個實驗給了我們很大啟發(fā)，即：從經(jīng)驗中學習世界模型，并使用這些世界模型來制定未來的行動規(guī)劃，以及進行決策。

該系統(tǒng)直接將世界狀態(tài)映射到值或預期的未來獎勵，人工智能中的這項工作可以與神經(jīng)科學的工作攜手并進，揭示動物的神經(jīng)活動如何與想象的和實現(xiàn)的未來相關。

此外，好奇心等基本驅(qū)動因素可以化為強化學習系統(tǒng)，以促進學習和探索。

這種基于模型的規(guī)劃和決策，可能是當前無模型強化學習系統(tǒng)的有力輔助。進一步深入理解促進動物和人類學習的內(nèi)在生物驅(qū)動，可能對加速人工智能的學習非常有益。

科學家發(fā)現(xiàn)嬰兒的感官體驗統(tǒng)計數(shù)據(jù)有了新的變化

在后摩爾定律的世界中實現(xiàn)節(jié)能計算

生物系統(tǒng)和人工智能系統(tǒng)之間的另一個數(shù)量級差異，在于它們的能量消耗。 同樣的計算量，人腦僅消耗 20 瓦的功率，而超級計算機則以兆瓦的功率運行。

人腦消耗的功率比家里的節(jié)能燈還小！

造成這種差異有兩個愿意。首先，可能是因為數(shù)字計算本身需要在計算的中間階段，以極高的可靠性翻轉(zhuǎn)每一個 bit。

相對的，生物計算像是讓一群猴子敲代碼，嘈雜又不精確；可每個中間步驟卻非常可靠，導致最終結(jié)果是精準的。

另外，大腦還會智能地，根據(jù)所需的通信速度調(diào)節(jié)能量成本，只在需要更高速度且僅需要更高可靠性時，才會消耗更多能量。而數(shù)字計算機的每個時鐘周期，都需要消耗大量的能量。

我們以大腦中遍歷目標神經(jīng)元的單個 bit 所需的成本為例 [18]。

首先，囊泡的隨機釋放化學信號，以 1 毫米 / 秒的速度擴散到源神經(jīng)元和目標神經(jīng)元之間的空間，僅消耗 2.3fJ 能量（考慮到神經(jīng)元連接之間的距離只有 20 納米，這個速度完全沒有問題）。

然后，該化學信號被轉(zhuǎn)換為無源電信號，再以 1 米 / 秒的速度流過神經(jīng)元細胞體，橫穿約 10 微米燃燒 23fJ。

最后到達軸突終端并轉(zhuǎn)換為長軸，沿著軸突以 100 米 / 秒的速度行進 1cm，消耗 6000fJ。

可以看到，在從化學信號傳遞到被動電信號時，大腦動態(tài)地將通信速度上調(diào) 1000 倍，以跨越增加 1000 倍的距離，從而導致能量消耗增加 10 倍。

類似地，在從被動到主動電信號傳輸?shù)倪^程中，大腦將通信速度提高 100 倍，以跨越增加 1000 倍的距離，從而導致能量消耗增加約 200 倍。

所以生物計算的混亂模式，反而可能反映出高能效的設計原則，值得我們借鑒到 AI 硬件中。

Neurogrid：由硅實驗室的斯坦福大腦開發(fā)的一種生物啟發(fā)的神經(jīng)形態(tài)計算機

AI 的神經(jīng)科學和神經(jīng)科學的 AI：一種良性的科學螺旋

最近，神經(jīng)科學和人工智能之間的相互作用的發(fā)展，綜合深度和復發(fā)神經(jīng)網(wǎng)絡模型的發(fā)展，成功構(gòu)建出動物的在對應不同任務時，調(diào)用不同大腦區(qū)域的模型。例如腹側(cè)視覺流，聽覺皮層，前額皮質(zhì)，運動皮質(zhì)和視網(wǎng)膜。

我們驚奇的發(fā)現(xiàn)，當訓練深度或復發(fā)網(wǎng)絡來解決任務時，其內(nèi)部活動模式，與測量出來的（解決相同任務的）動物內(nèi)部神經(jīng)活動模式非常相似。

這就涉及到一個基本問題：我們?nèi)绾卫斫膺@些模型正在做什么以及它們?nèi)绾喂ぷ鳎恳簿褪钦f，如何解決 AI 神經(jīng)網(wǎng)絡的可解釋性？

某些應用場景，尤其像醫(yī)學診斷或和法律，AI 必須是透明的、可解釋的。如果醫(yī)生和法官無法解釋為什么 AI 系統(tǒng)給出這樣的決定，就沒人敢采用人工智能系統(tǒng)的建議。

任務驅(qū)動的視覺系統(tǒng)卷積循環(huán)模型可以同時執(zhí)行機器視覺任務并解釋猴子視覺系統(tǒng)的動態(tài)

發(fā)現(xiàn)人工智能普世定律

正如我們相信物理世界中一切現(xiàn)象的背后，都被普世的定律控制：空氣動力學控制飛行；量子力學控制納米世界的演化等等。

我們認為在智能領域，同樣存在著普世的定律，可以連接和統(tǒng)一神經(jīng)科學，心理學，認知科學以及人工智能等相關學科，同時和分析計算領域（如物理，數(shù)學和統(tǒng)計學）互惠互利。

例如本文作者同時使用了動力系統(tǒng)理論 [25-28]，統(tǒng)計力學[29-33]，黎曼幾何[34]，隨機矩陣理論[13,35] 和自由概率理論 [36] 等技術(shù)，獲得對生物和人工網(wǎng)絡運作的概念性見解。

創(chuàng)造智能機器可能存在多種解決方案，其中一些組件在生物解決方案和人工智能解決方案之間共享，而其他組件則可能不同。通過尋求普世的智能定律，我們可以更有效地理解和遍歷整個解決方案空間。

人工智能，以人為本

發(fā)現(xiàn)適用于生物和人工系統(tǒng)的新興智能的潛在法則，以及建立受神經(jīng)科學和心理學啟發(fā)的新型 AI，需要大家共同努力。

我們需要建立新的研究團體，遍布不同的學科，還需要培養(yǎng)新一代思想領袖，能夠在計算機科學家，神經(jīng)生物學家，心理學家和數(shù)學理論家等不同身份之間，隨意轉(zhuǎn)換。

這可能是本世紀及以后最激動人心的智力活動之一！