哈佛大學(xué)的科學(xué)家們把猴子的大腦與神經(jīng)網(wǎng)絡(luò)連接起來，試圖刺激猴子大腦中負(fù)責(zé)識別面部的單個(gè)神經(jīng)元。他們利用AI生成圖像，然后向猴子展示這些圖像，最終成功地激活特定的神經(jīng)元，而不影響其他神經(jīng)元。相關(guān)論文發(fā)表在最新的Cell期刊上。

新智元不久前報(bào)道，MIT 的三位科學(xué)家首次利用 AI 生成圖像來激活特定視覺神經(jīng)元，實(shí)現(xiàn)了控制動物大腦的神經(jīng)元活動。

該研究引起熱議，被認(rèn)為是使用人工神經(jīng)網(wǎng)絡(luò)來理解真實(shí)神經(jīng)網(wǎng)絡(luò)的最強(qiáng)有力的驗(yàn)證。

無獨(dú)有偶，在一項(xiàng)新實(shí)驗(yàn)中，哈佛大學(xué)的科學(xué)家們把猴子的大腦與神經(jīng)網(wǎng)絡(luò)連接起來，試圖刺激猴子大腦中負(fù)責(zé)識別面部的單個(gè)神經(jīng)元。他們利用 AI 生成圖像，然后向猴子展示這些圖像，試圖盡可能地激活這些特定的神經(jīng)元。

最終，AI 系統(tǒng)學(xué)會了生成能夠激活單個(gè)腦細(xì)胞、而不會同時(shí)激活它的相鄰細(xì)胞的圖像。這些圖像像是超現(xiàn)實(shí)的噩夢中的景象一般，模模糊糊的又與臉孔或其他熟悉的形狀相似 —— 這是傳感器和人工智能開始窺視生物大腦的又一個(gè)令人興奮的例子。

一張由神經(jīng)網(wǎng)絡(luò)進(jìn)化而來、刺激獼猴神經(jīng)元的圖像

相關(guān)研究發(fā)表在最新的 Cell 期刊上。

研究者提出的算法名為XDREAM，可以根據(jù)特定神經(jīng)元對圖像的反應(yīng)強(qiáng)度的實(shí)時(shí)反饋來生成新圖像。

論文的第一作者、哈佛大學(xué)和華盛頓大學(xué)神經(jīng)科學(xué)家 Carlos Ponce 說：“如果細(xì)胞會做夢，那么 (這些圖像) 就是細(xì)胞夢見的景象。”

該研究的幾個(gè)要點(diǎn)：

在神經(jīng)元放電的引導(dǎo)下，深度神經(jīng)網(wǎng)絡(luò)和遺傳算法進(jìn)化生成圖像

演進(jìn)的圖像使獼猴視覺皮層的神經(jīng)元放電最大化

演進(jìn)的圖像比大量的自然圖像更能激活神經(jīng)元

與演進(jìn)圖像的相似性可以預(yù)測神經(jīng)元對新圖像的反應(yīng)

研究概覽

具體來說，研究人員利用 AI 生成圖像并展示給猴子，然后研究猴子的神經(jīng)元對圖像的反應(yīng)。然后，AI 算法可以根據(jù)大腦反應(yīng)的信息來調(diào)整圖像，生成可能與猴子的視覺處理系統(tǒng)產(chǎn)生更多共鳴的新圖像。

Ponce 說：“當(dāng)我們第一次看到這種情況時(shí)，感覺就好像我們是在用一種神經(jīng)元自己的語言與它進(jìn)行交流，就好像我們賦予了細(xì)胞一種交流的能力。”

實(shí)驗(yàn)過程：GAN+遺傳算法，窺探猴子的夢境

為什么我們的眼睛更容易被某些形狀、顏色和輪廓所吸引呢？

半個(gè)多世紀(jì)以來，科學(xué)家們已經(jīng)了解到，大腦視覺系統(tǒng)中的神經(jīng)元對某些圖像的反應(yīng)會比對其他圖像的反應(yīng)更強(qiáng)烈 —— 這一特征對于我們識別、理解和解釋周圍大量視覺信息的能力至關(guān)重要。

例如，當(dāng)人類或其他靈長類動物 —— 具有高度協(xié)調(diào)性和視覺系統(tǒng)的動物 —— 在看到面孔、地點(diǎn)、物體或文字時(shí)，大腦中被稱為下顳葉皮層的特定視覺神經(jīng)元群會更活躍。但這些神經(jīng)元究竟是對什么做出了反應(yīng)，至今仍不清楚。

迄今為止，絕大多數(shù)試圖測試神經(jīng)元偏好的實(shí)驗(yàn)都使用了真實(shí)的圖像。但真實(shí)的圖像帶有固有的偏見：僅限于現(xiàn)實(shí)世界中可用的刺激以及研究人員選擇測試的圖像。基于 AI 的程序可以根據(jù)每個(gè)神經(jīng)元的偏好來創(chuàng)建合成圖像，從而克服了這個(gè)障礙。

在這個(gè)研究中，來自哈佛大學(xué)醫(yī)學(xué)院的幾位研究人員，使用預(yù)訓(xùn)練的深度生成神經(jīng)網(wǎng)絡(luò)(Dosovitskiy and Brox, 2016) 和遺傳算法，實(shí)現(xiàn)了讓神經(jīng)元反應(yīng)來知道合成圖像的進(jìn)化。

深度生成對抗網(wǎng)絡(luò)通過遺傳算法表達(dá)和搜索

為了記錄視覺神經(jīng)元的活動，研究團(tuán)隊(duì)將微電極陣列植入六只猴子的下顳葉皮質(zhì)(耳朵上方稍微靠后的區(qū)域)。然后，研究人員通過電腦屏幕向猴子展示圖像，并測量猴子在觀看圖像時(shí)大腦中單個(gè)視覺神經(jīng)元的放電率。

如下圖所示，網(wǎng)絡(luò)以 4096 維的向量 (圖像代碼) 作為輸入，然后將其轉(zhuǎn)換為 256×256 的 RGB 圖像。

圖 1：通過神經(jīng)元引導(dǎo)的進(jìn)化合成首選的刺激特定神經(jīng)元的圖像

（A）生成對抗網(wǎng)絡(luò)。

（B）初始的合成圖像，這里顯示了 30 個(gè)示例。

（C）行為任務(wù)。

（D）實(shí)驗(yàn)流程。圖像代碼通過深度生成對抗網(wǎng)絡(luò)傳遞，以合成呈現(xiàn)給猴子看的圖像。使用神經(jīng)元反應(yīng)對圖像代碼進(jìn)行排序，然后對其進(jìn)行選擇，重組和變異，以生成新的圖像代碼。

具體來說，遺傳算法使用從獼猴大腦中記錄到的神經(jīng)元響應(yīng)來優(yōu)化輸入到神經(jīng)網(wǎng)絡(luò)的圖像代碼。每個(gè)實(shí)驗(yàn)從 GAN 隨機(jī)產(chǎn)生的 40 個(gè)圖像（圖 1B）開始。

然后記錄猴子在被動執(zhí)行固定任務(wù)時(shí) IT 神經(jīng)元的反應(yīng)。圖 1C 顯示了一個(gè)單元的感受野。

然后根據(jù)神經(jīng)元對每個(gè)合成圖像的反應(yīng)對圖像編碼進(jìn)行評分，確定 10 張?jiān)诮o定神經(jīng)元或神經(jīng)元群中最活躍的圖像。研究人員將這些圖像通過一種遺傳算法 —— 本質(zhì)上是重新組合這些像素 —— 生成 30 張類似的圖像，然后將這些圖像連同最初的前 10 張圖像一起展示給猴子（圖 1D） 。

研究人員將整個(gè)方法稱為XDREAM (EXtending DeepDream with Real-time Evolution for Activity Maximization in real neurons)。

這個(gè)過程在 1-3 小時(shí)內(nèi)重復(fù)多達(dá) 250 代。

作為對照，研究人員還向猴子展示了包含人物、地點(diǎn)等的自然圖像和簡單的線條圖。

進(jìn)化的圖像(左)和自然圖像(右)

在幾個(gè)小時(shí)的過程中，研究人員將每張 AI 生成的圖像向猴子展示 100 毫秒。

這些圖像從灰度隨機(jī)紋理圖案開始，根據(jù)實(shí)驗(yàn)中猴子神經(jīng)元的激活程度，程序逐漸引入形狀和顏色，直到形成最終的充分體現(xiàn)神經(jīng)元偏好的圖像。

“每次實(shí)驗(yàn)結(jié)束時(shí)，” 參與該研究的哈佛醫(yī)學(xué)院研究生 Will Xiao 說：“程序會生成對這些細(xì)胞產(chǎn)生超級刺激的圖像。”

神經(jīng)元選擇的怪異圖像，有助于理解認(rèn)知問題

CaffeNet 中單元首選刺激的演變

研究人員首先在人工神經(jīng)網(wǎng)絡(luò)中的單元上驗(yàn)證 XDREAM，作為生物神經(jīng)元的模型。他們的方法為 CaffeNet 的各層單元產(chǎn)生了超級刺激（圖 2）。

圖 2：XDREAM 算法為 CaffeNet 中的單元生成超級刺激

一種生物神經(jīng)元的偏好刺激的演變

隨著遺傳算法根據(jù)神經(jīng)元的響應(yīng)優(yōu)化圖像，合成圖像會隨著每一代的進(jìn)化而改變。下圖是進(jìn)化實(shí)驗(yàn)的一個(gè)例子。

圖 3：一個(gè)猴子選擇的合成圖像演化

每個(gè)圖像都是每代的前 5 個(gè)合成圖像的平均值（從左到右，從上到下排序），幾代之后，合成圖像進(jìn)化成更有效的刺激 (圖 4)。

圖 4：通過最大化單個(gè)神經(jīng)元的響應(yīng)來合成圖像的演變

視頻：猴子神經(jīng)元的選擇導(dǎo)致合成圖像演化的兩個(gè)示例，每個(gè)演化實(shí)時(shí)都需要幾個(gè)小時(shí)

其他神經(jīng)元中優(yōu)選刺激的演變

圖 5：其他 IT細(xì)胞的演化

圖 6：其他 IT 神經(jīng)元中合成圖像的演化

其中一些圖片符合研究人員的預(yù)期。例如，他們懷疑神經(jīng)元可能會對面孔做出反應(yīng)，一個(gè)神經(jīng)元進(jìn)化生成圓形的粉紅色圖像，上面有兩個(gè)類似眼睛的大黑點(diǎn)。

其他的則更令人驚訝。例如，其中一只猴子的神經(jīng)元不斷地生成看起來像猴子身體的圖像，但在它的脖子附近有一個(gè)紅色斑點(diǎn)。研究人員最終發(fā)現(xiàn)，這只猴子被關(guān)在另一只總是戴著紅項(xiàng)圈的猴子旁邊。

Ponce 說：“從霧中看到一個(gè)像臉一樣的東西在盯著你看，而你知道這張照片是來自猴子的大腦時(shí)，這可能是我的科學(xué)生涯里的最神奇的經(jīng)歷之一。”

研究人員說：“我們認(rèn)為這個(gè)神經(jīng)元不僅對猴子的身體有優(yōu)先反應(yīng)，而且對特定的猴子也有優(yōu)先反應(yīng)。”

但并不是每一張最終的突破看起來都可以辨認(rèn)。一只猴子的神經(jīng)元進(jìn)化產(chǎn)生一個(gè)黑色的小方塊。另一只則產(chǎn)生無確定形狀的黑色和橙色的混合體。

這些研究表明，這些神經(jīng)元的反應(yīng)并不是天生的，而是通過長期持續(xù)地接觸視覺刺激來學(xué)習(xí)的。但目前還不知道這種識別特定圖像的能力是如何出現(xiàn)的。研究團(tuán)隊(duì)計(jì)劃在未來的研究中調(diào)查這個(gè)問題。

了解視覺系統(tǒng)如何對圖像產(chǎn)生反應(yīng)可能是更好地理解驅(qū)動認(rèn)知問題的基本機(jī)制的關(guān)鍵，這些認(rèn)知問題涉及學(xué)習(xí)障礙、自閉癥譜系障礙等，通常以兒童處理面部線索和識別面孔的能力受損為特征。

研究人員表示，大腦視覺處理系統(tǒng)的故障會干擾人們連接、溝通和理解基本線索的能力，通過研究那些對面孔做出優(yōu)先反應(yīng)的細(xì)胞，我們可以發(fā)現(xiàn)社會發(fā)展如何發(fā)生的線索，以及有可能出現(xiàn)的問題。