編者注：

OpenAI首席科學家Ilya Sutskever的X賬號可能是科技界名人里最特別的那種，他極少分享自己的個人生活，除了轉發公司產品鏈接，他的推文通常都是一些零碎的閃念和思考：“自我是成長的敵人”；“GPU就是新時代的比特幣”；“如果你把智力看得比人類所有其他品質都重要，那么你會過得很糟糕”；“生活和商業中的同理心被低估了”；“完美毀掉了很多完美的好東西。”

更多時候，是為（通用人工智能）AGI站臺，正如他的X簽名：“通往復數的人性，喜歡AGI們”（towards a plurality of humanity loving AGIs）。

他在現實生活里同樣如此，Sutskever不熱衷社交，很少在媒體前拋頭露面。唯一能讓他感到興奮的東西，就是人工智能。

近期，Ilya Sutskever接受了《麻省理工科技評論》記者Will Douglas Heaven專訪，他在采訪中談到了OpenAI早年的創業史、實現AGI的可能性，還介紹了OpenAI未來在管控“超級智能”方面的計劃，他希望讓未來的超級智能，可以像父母看待孩子那樣看待人類。

以下為正文：

伊爾亞·蘇茨克維（Ilya Sutskever）低頭沉思。他雙臂張開，手指放在桌面上，就像音樂會上即將彈奏第一個音符的鋼琴家。我們靜靜地坐著。

我是來和OpenAI的聯合創始人兼首席科學家Sutskever會面的，他的公司位于舊金山傳教區一條不起眼的街道上，辦公樓沒有任何標志，我想聽聽他一手打造的這項顛覆世界的技術的下一步計劃。我還想知道他的下一步計劃，尤其是，為什么建立他公司的下一代旗艦生成模型不再是他的工作重點。

Sutskever告訴我，他的新工作重點不是制造下一代GPT或圖像制造機DALL·E，而是研究如何阻止AGI（他認為這是一種假想的未來技術）的失控。

Sutskever還告訴了我很多其他事情。他認為ChatGPT可能有意識（如果你瞇起眼睛仔細看的話）。他認為，世界需要清醒地認識到他的公司和其他公司正在努力創造的技術的真正威力。他還認為，總有一天人類會選擇與機器融合。

Sutskever說的很多話都很瘋狂，但不像一兩年前聽起來那么瘋狂。正如他自己告訴我的那樣，ChatGPT已經改寫了很多人對未來的預期，把"永遠不會發生"變成了"會比你想象的更快發生"。

他說：

“重要的是要討論這一切的方向。”

他在預測AGI（通用人工智能，像人類一樣聰明的AI）的未來時，仿佛它就像另一部iPhone一樣信心滿滿：

“總有一天，AGI會實現。也許來自OpenAI。也許來自別的公司。”

自去年11月發布紅極一時的新產品ChatGPT以來，圍繞OpenAI的討論一直令人印象深刻，即使在這個以炒作著稱的行業也是如此。沒有人不會對這家市值800億美元的初創公司感到好奇。世界各國領導人尋求（且得到）和CEO Sam Altman私人會面。ChatGPT這個笨拙的產品名稱在閑聊中不時出現。

今年夏天，OpenAI的首席執行官Sam Altman花了大半個夏天的時間，進行了長達數周的外聯之旅，與政客們親切交談，并在世界各地座無虛席的會場發表演講。但Sutskever并不像他那樣是個公眾人物，他也不經常接受采訪。

他說話時深思熟慮，有條不紊。他會停頓很長時間，思考自己想說什么、怎么說，把問題像解謎一樣反復推敲。他似乎對談論自己不感興趣。

他說：

“我的生活很簡單。我去上班，然后回家。我不做其他事情。一個人可以有很多社交，可以參加很多活動，但我不會。”

但當我們談到人工智能，談到他所看到的劃時代的風險和回報時，他的眼睛亮了起來：

“AI將萬世不朽、震撼整個世界。它的誕生如同開天辟地。”

越來越好，越來越好

在一個沒有OpenAI的世界里，Sutskever仍將載入人工智能史冊。作為一名以色列裔加拿大人，他出生在前蘇聯，但從五歲起就在耶路撒冷長大（他至今仍能說俄語、希伯來語和英語）。之后，他移居加拿大，在多倫多大學師從人工智能先驅杰弗里·辛頓（Geoffrey Hinton）。(Sutskever不想對辛頓的言論發表評論，但他對超級智能災難的關注表明他們是同道中人）。

辛頓后來與楊立昆（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）分享了圖靈獎，以表彰他們在神經網絡方面的研究成果。但當Sutskever在2000年代初加入他的團隊時，大多數人工智能研究人員都認為神經網絡是一條死胡同。辛頓是個例外。

Sutskever說：

“這就是生成式人工智能的開端。真的很酷，只是還不夠好。”

Sutskever對大腦非常著迷：它們是如何學習的？以及如何在機器中重新創建或至少模仿這一過程？和辛頓一樣，他看到了神經網絡的潛力，以及辛頓用來訓練神經網絡的試錯技術，即深度學習。Sutskever說：“它變得越來越好，越來越棒。”

2012年，Sutskever、Hinton和Hinton的另一名研究生Alex Krizhevsky建立了一個名為AlexNet的神經網絡，經過訓練，他們識別照片中物體的能力遠遠超過了當時的其他軟件。這是深度學習的大爆炸時刻。

在經歷了多年的失敗之后，他們終于證明了神經網絡在模式識別方面的驚人功效。你只需要足夠多的數據（他們使用的，是普林斯頓大學研究員李飛飛自2006年以來一直在維護的ImageNet數據集中的一百萬張圖片）和強到爆炸的算力。

算力的提升來自于英偉達公司生產的一種名為圖形處理器（GPU）的新型芯片。GPU的設計目的是以閃電般的速度將快速移動的視頻游戲視覺效果投射到屏幕上。但GPU擅長的計算——大量數字網格的乘法——卻與訓練神經網絡所需的計算十分相似。

英偉達現在已經是一家市值上萬億美元的公司。當時，它正急于為其市場狹窄的新硬件尋找應用領域。

“當你發明一項新技術時，你必須接受瘋狂的想法，”英偉達首席執行官黃仁勛說。“我的思想狀態總是在尋找一些古怪的東西，而神經網絡將改變計算機科學的想法，就是一個非常古怪的想法。”

黃仁勛說，在多倫多團隊開發AlexNet時，英偉達給他們寄了幾塊GPU讓他們試用。但他們想要的是最新版本，一種名為GTX580的芯片，這種芯片在門店里很快就賣光了。根據黃仁勛的說法，Sutskever從多倫多開車到紐約買到了GPU。

“人們在街角排起了長隊，”黃仁勛說。“我不知道他是怎么做到的——我很確定每個人只能買一個；我們有非常嚴格的政策，每個玩家只能買一個GPU，但他顯然把它們裝滿了一個后備箱。滿滿一后備箱的GTX580改變了世界。”

這是一個偉大的故事，只是可能不是真的。Sutskever堅稱他的第一批GPU是在網上買的。但在這個熱鬧的行業里，這樣的神話是司空見慣的。

Sutskever本人則更為謙虛，他說：

“我想，如果我能取得哪怕一丁點真正的進展，我都會認為這是一種成功。現實世界的影響感覺太遙遠了，因為那時的計算機太弱小了。”

AlexNet取得成功后，谷歌來敲門了。谷歌收購了辛頓的公司DNNresearch，并聘請了Sutskever。在谷歌，Sutskever展示了深度學習的模式識別能力可以應用于數據序列，如單詞和句子，以及圖像。Sutskever的前同事、現任谷歌首席科學家的杰夫·迪恩（Jeff Dean）說：“Ilya一直對語言很感興趣，這些年來，我們進行了很好的討論。Ilya對事物的發展方向有很強的直覺。”

但Sutskever并沒有在谷歌工作太久。2014年，他受聘成為OpenAI的聯合創始人。這家新公司擁有10億美元的資金支持（來自CEO Altman、馬斯克、彼得·蒂爾、微軟、Y Combinator和其他公司），他們有那種硅谷式的雄心，從一開始就把目光投向了開發AGI，這一前景在當時很少有人認真對待。

Sutskever是公司的幕后推手，他的雄心是可以理解的。在此之前，他已經在神經網絡方面取得了越來越多的成果。Y Combinator投資董事總經理Dalton Caldwell說，Sutskever當時已經聲名在外，他是OpenAI吸引力的關鍵來源。

Caldwell說：“我記得山姆（Sam Altman）說伊利亞是世界上最受尊敬的研究人員之一。他認為Ilya能夠吸引很多頂尖的人工智能人才。他甚至提到，世界頂級人工智能專家Yoshua Bengio認為，不可能找到比Ilya更合適的人選來擔任OpenAI的首席科學家。”

然而，OpenAI一開始卻舉步維艱。

Sutskever說：“在我們啟動OpenAI的時候，有一段時間我并不確定將如何繼續取得進展。但我有一個非常明確的信念，那就是不能與深度學習對賭。不知怎的，每次遇到障礙，研究人員都會在半年或一年內找到繞過它的方法。”

他的信念得到了回報。2016年，OpenAI的第一個GPT大型語言模型（該名稱代表"生成預訓練轉換器"）問世。隨后，GPT-2和GPT-3相繼問世。然后是引人注目的圖片生成模型DALL·E。當時還沒人能造出這么好的東西。每一次發布，OpenAI都提高了人們對可能性的認識。

管理期望值

去年11月，OpenAI發布了一款免費使用的聊天機器人，對其部分現有技術進行了重新包裝。它重新設定了整個行業的議程。當時，OpenAI對自己的產品可能達到的熱度一無所知。

公司內部的期望值低得不能再低了，Sutskever說：“我承認，我有點尷尬——我不知道我是否應該承認，但管它呢，這是事實——當我們制作ChatGPT時，我不知道它是否好。當你問它一個事實性的問題時，它會給你一個錯誤的答案。我以為它會很平淡無奇，人們會說，你為什么要做這個？這太無聊了！”

Sutskever說，吸引人的地方在于它的便利性。ChatGPT引擎蓋下的大型語言模型已經存在了幾個月。但是，將其封裝在一個易于訪問的界面中并免費贈送，讓數十億人第一次了解到OpenAI和其他公司正在構建的東西。

Sutskever說：

“這種初次體驗吸引了人們。第一次使用它，我認為幾乎是一種精神體驗。你會想，天哪，電腦似乎能理解我說的話。”

OpenAI在不到兩個月的時間里就積累了1億用戶，其中許多人都被這個令人驚嘆的新玩具迷住了。存儲公司Box的首席執行官亞倫·列維（Aaron Levie）在推特上總結了發布后一周的氛圍：“ChatGPT是技術領域難得一見的時刻，讓你看到了未來一切都將不同的曙光。”

當ChatGPT說出一些蠢話時，這種奇妙的感覺馬上就坍塌了。但到那時就無所謂了。Sutskever說：“那一瞥已經足夠了。ChatGPT改變了人們的看法。”

“在機器學習領域，AGI不再是一個骯臟的詞，”他說。“這是一個巨大的變化。人們歷來的態度是：人工智能行不通，人工智能行不通，每一步都非常困難，你必須為每一絲進步而奮斗。當人們大肆宣揚人工智能時，研究人員會說：'你在說什么？這個不行，那個也不行。問題太多了。'但有了ChatGPT，感覺就開始不一樣了。”

這種轉變是一年前才開始發生的嗎？“是因為ChatGPT，”他說。“ChatGPT讓機器學習研究人員有了夢想。”

OpenAI的科學家們從一開始就是傳道者，他們通過博客文章和巡回演講激起了這些夢想。

這一切正在起作用：“我們現在有人在談論人工智能會發展到什么程度，有人在談論AGI或超級智能。不僅僅是研究人員。各國政府也在談論它，這太瘋狂了。”

不可思議的事物

Sutskever堅持認為，所有這些關于尚未存在（可能永遠不會存在）的技術的討論都是好事，因為這讓更多人意識到他已經認為理所當然的未來。

他說：“你可以用AGI做很多了不起的事情，不可思議的事情：實現醫療自動化，讓醫療成本低一千倍，醫療效果好一千倍，治愈很多疾病，真正解決全球變暖問題。但也有很多人擔心，天哪，人工智能公司能否成功管理這項巨大的技術？”

AGI聽起來更像是一個實現愿望的精靈，而非可以出現在現實世界的技術。很少有人會拒絕拯救生命和解決氣候變化問題。但一項不存在的技術的問題在于，你可以對它說任何你想說的話。

當Sutskever談到AGI時，他到底在說什么？

他說：“AGI并不是一個科學術語。它只是一個有用的門檻，一個參照點。它是一種理念。”他開始說，然后停頓了一下。“它是指人工智能的智能程度，如果人類能完成的任務，人工智能也能完成。然后，你可以說實現了AGI。”

AGI仍然是AI領域最具爭議性的想法之一。很少有人認為AGI的到來是必然的。許多研究人員認為，在我們看到類似Sutskever所想的東西之前，還需要在概念上取得重大突破，而有些人則認為我們永遠不會看到。

然而，這是他從一開始就有的愿景。Sutskever說：“我一直受到這個想法的啟發和激勵。當時還不叫AGI，但你知道，就像讓神經網絡做所有事情一樣。我并不總是相信它們能做到。但這是一座需要攀登的高山。”

他將神經網絡和大腦的運作方式做了類比。兩者都接收數據，匯總數據中的信號，然后根據一些簡單的過程（神經網絡中的數學，大腦中的化學物質和生物電）來決定是否傳播這些信號。這是簡化的比喻，但原理是類似的。

Sutskever說：

“如果你相信這一點，如果你允許自己相信這一點，那么就會產生很多有趣的影響。如果你有一個非常大的人工神經網絡，它應該能做很多事情。特別是，如果人腦可以做一些事情，那么一個大型人工神經網絡也可以做類似的事情。”

“如果你足夠認真地認識到這一點，一切都會水到渠成，”他說。“我的大部分工作都可以用這一點來解釋”。

在我們談論大腦的時候，我想問一下Sutskever在X（推特）上發表的一篇文章。Sutskever的帖子就像一卷箴言：“如果你把智力看得比人類所有其他品質都重要，那么你會過得很糟糕”；“生活和商業中的同理心被低估了”；“完美毀掉了很多完美的好東西。”

2022年2月，他發帖稱，“也許今天的大型神經網絡略有意識”（谷歌DeepMind首席科學家、倫敦帝國理工學院教授兼電影《機械姬》（ExMachina）科學顧問默里·沙納漢（Murray Shanahan）對此回復道：“……就像一大片麥田可能略帶意大利面一樣”）。

當我提起這件事時，Sutskever笑了。他是在開玩笑嗎？他沒有。"他問道："你熟悉玻茲曼大腦的概念嗎？

他指的是量子力學中以19世紀物理學家路德維希·波茲曼（Ludwig Boltzmann）命名的一個（調侃式的）思想實驗，在這個實驗中，人們想象宇宙中的隨機熱力學波動會導致大腦突然出現或消失。

“我覺得現在這些語言模型有點像波茲曼大腦，”Sutskever說，“你開始跟它說話，你說了一會兒；然后你說完了，大腦就……”他用手做了一個消失的動作。噗——再見，大腦。”

我問他，你是說，在神經網絡活躍的時候，也就是在它發射的時候，有什么東西在那里？

他說：

“我想可能是的。我不確定，但這是一種很難反駁的可能性。但誰知道會發生什么呢，對吧？”

人工智能，但不是我們所知的那種

當其他人還在為機器能與人類的智能相媲美而糾結時，Sutskever正在為機器能超越我們而做準備。他稱之為人工超級智能：“它們會看得更透徹。它們會看到我們看不到的東西。”

我還是很難理解這到底是什么意思。人類智能是我們衡量智能的基準。Sutskever所說的比人類更聰明的智能是什么意思？

他說，我們已經在AlphaGo身上看到了一個有限的超級智能的例子。2016年，DeepMind的AI圍棋機器人在一場圍棋比賽中以4:1的比分擊敗了世界上最好的圍棋選手之一李世石。

Sutskever說：

“它找出了下圍棋的方法，與人類幾千年來共同開發的方法不同。它提出了新的想法。”

Sutskever指出了AlphaGo謎一樣的第37手。在與李世石的第二場比賽中，AI下出了讓評論員們大跌眼鏡的一步棋，他們認為AlphaGo下砸了。事實上，AlphaGo下出了在對局史上從未有人見過的神之一手（被圍棋迷們稱為“阿狗流”）。“想象一下，AlphaGo的洞察力是如此之強，而且是全方位的。”Sutskever說。

正是這種思路促使Sutskever做出了他職業生涯中最大的轉變。他與OpenAI的科學家揚·雷克（Jan Leike）一起成立了一個團隊，專注于他們所說的超級對齊（superalignment）。Alignment是行話，意思是讓人工智能模型做你想做的事，僅此而已。Superalignment是OpenAI的術語，指超級智能的對齊問題。

超級對齊的目標是，為構建和控制這項未來技術制定一套萬無一失的程序。OpenAI表示，它將分配五分之一的龐大計算資源來解決這個問題，并在四年內解決。

“現有的排列方法對于比人類更聰明的模型不起作用，因為它們從根本上假定人類能夠可靠地評估人工智能系統正在做的事情，”Leike說，“隨著人工智能系統的能力越來越強，它們將承擔更艱巨的任務。這種想法認為，人類將更難對它們進行評估。在與Ilya組建超對齊團隊的過程中，我們已經著手解決這些未來的對齊挑戰。”

谷歌首席科學家迪恩說：

“不僅要關注大型語言模型的潛在機遇，還要關注其風險和弊端，這一點非常重要。”

OpenAI于7月份大張旗鼓地宣布了這一項目。但對一些人來說，這不過是天方夜譚。OpenAI在Twitter上發表的博文引起了大科技界著名批評家的嘲諷，其中包括在Mozilla從事人工智能問責工作的Abeba Birhane（"在一篇博文中出現了這么多聽起來宏偉卻空洞的詞句"）；分布式人工智能研究所（Distributed Artificial Intelligence Research Institute）聯合創始人Timnit Gebru（"想象一下，ChatGPT與OpenAI的技術人員更加‘超級對齊’。不寒而栗"）；以及人工智能公司HuggingFace的首席倫理科學家瑪格麗特·米切爾（"我的聯盟比你的更大"）。誠然，這些都是我們耳熟能詳的不同聲音。但這也有力地提醒我們，在一些人看來，OpenAI是站在前沿的領導者，而在另一些人看來，OpenAI則是站在邊緣的領導者。

不過，對Sutskever來說，結盟是不可避免的下一步。“這是一個尚未解決的問題，”他說。他認為，像他自己這樣的核心機器學習研究人員正在研究的問題還不夠多。“我這么做是為了自己的利益。顯然，重要的是，不管是誰構建的超級智能都不能背叛人類。”

超級智能的工作才剛剛開始。Sutskever說，這需要研究機構進行廣泛的改革。不過，對于他希望設計的保障措施，他心中已經有了一個范例：能像父母看待孩子那樣看待人類的AI。他說：“在我看來，這是黃金標準。”他說，“畢竟人們真的關心孩子。AI有孩子嗎？沒有，但我希望它能這么想。”

我和Sutskever的談話時間快到了，我想我們已經結束了。但他又有了新的想法——一個我沒有想到的想法：

“一旦你解決了人工智能失控的挑戰，然后呢？在一個擁有更智能人工智能的世界里，人類還有生存空間嗎？”

"有一種可能性——以今天的標準來看可能很瘋狂，但以未來的標準來看就不那么瘋狂了——那就是許多人會選擇成為人工智能的一部分。這可能是人類試圖跟上時代的方式。一開始，只有最大膽、最有冒險精神的人才會嘗試這樣做。也許其他人會跟進，或者不會。”

等等，什么？他準備起身離開。你會這么做嗎？我問他，你會是第一批嗎？第一批？我不知道，他說。但這是我考慮過的事情。真正的答案是：也許吧。

說完，他站起身，走出了房間。“很高興再次見到你。”他邊走邊說。