神經(jīng)科學(xué)家和計(jì)算機(jī)視覺科學(xué)家表示，一個空前龐大的新數(shù)據(jù)集將幫助研究人員更好地理解大腦是如何處理圖像的。

卡內(nèi)基梅隆大學(xué)和福德姆大學(xué)的研究人員今天在《科學(xué)數(shù)據(jù)》雜志上發(fā)表報(bào)告說，在這種規(guī)模下獲得功能性磁共振成像(fMRI)掃描呈現(xiàn)出獨(dú)特的挑戰(zhàn)。

每位志愿者都參與了20個小時或更長時間的核磁共振掃描，這對他們的毅力和實(shí)驗(yàn)者協(xié)調(diào)掃描過程的能力都構(gòu)成了挑戰(zhàn)。為了解開與單個圖像相關(guān)的神經(jīng)反應(yīng)，有必要做出一個極端的設(shè)計(jì)決策，即讓相同的個體運(yùn)行如此多的會話。

由此產(chǎn)生的數(shù)據(jù)集被稱為BOLD5000，它使認(rèn)知神經(jīng)科學(xué)家能夠更好地利用深度學(xué)習(xí)模型，這些模型極大地改善了人工視覺系統(tǒng)。深度學(xué)習(xí)最初受到人類視覺系統(tǒng)架構(gòu)的啟發(fā)，通過對人類視覺如何工作的新見解的追求，以及對人類視覺的研究更好地反映現(xiàn)代計(jì)算機(jī)視覺方法，可以進(jìn)一步改進(jìn)。為此，BOLD5000測量了從兩個流行的計(jì)算機(jī)視覺數(shù)據(jù)集ImageNet和COCO中獲取的圖像所產(chǎn)生的神經(jīng)活動。

“大腦科學(xué)和計(jì)算機(jī)科學(xué)的纏繞意味著科學(xué)發(fā)現(xiàn)可以在兩個方向流動,共同作者M(jìn)ichael J. Tarr（Moura認(rèn)知和腦科學(xué)教授，CMU心理系主任 ） 說 ：“未來的視覺研究將使用BOLD5000數(shù)據(jù)集，這將有助于神經(jīng)科學(xué)家更好地理解人類大腦中的知識組織。隨著我們對視覺識別的神經(jīng)基礎(chǔ)了解得越來越多，我們也將更好地為人工視覺的進(jìn)步做出貢獻(xiàn)。”

該研究的主要作者、加州大學(xué)機(jī)器人研究所(CMU’s Robotics Institute)專攻計(jì)算機(jī)視覺的博士生Nadine Chang表示，計(jì)算機(jī)視覺科學(xué)家正將目光投向神經(jīng)科學(xué)，以幫助在快速發(fā)展的人工視覺領(lǐng)域進(jìn)行創(chuàng)新——這加強(qiáng)了這項(xiàng)研究的雙向性。

“ Chang說：“計(jì)算機(jī)視覺科學(xué)家和視覺神經(jīng)科學(xué)家本質(zhì)上有著相同的最終目標(biāo):理解如何處理和解釋視覺信息”。

從一開始，改善計(jì)算機(jī)視覺就是BOLD5000項(xiàng)目的重要組成部分。資深作者Elissa Aminoff，當(dāng)時是CMU心理學(xué)系的博士后，現(xiàn)在是福特漢姆大學(xué)的心理學(xué)助理教授，與機(jī)器人研究所副教授Abhinav Gupta共同發(fā)起了這一研究方向。

將生物視覺和計(jì)算機(jī)視覺聯(lián)系起來所面臨的挑戰(zhàn)之一是，大多數(shù)人類神經(jīng)成像研究只包含很少的刺激圖像——通常是100幅或更少——這些圖像通常被簡化為在中性背景下只描繪單個物體。相比之下，BOLD5000包含超過5000個真實(shí)世界的復(fù)雜場景圖像、單個對象和交互對象。

該小組認(rèn)為BOLD5000只是利用現(xiàn)代計(jì)算機(jī)視覺模型研究生物視覺的第一步。

“坦率地說,BOLD5000數(shù)據(jù)集仍然太小,”塔爾說,這表明一個合理的功能磁共振成像數(shù)據(jù)集需要至少50000刺激圖像和更多的志愿者來取得進(jìn)展的事實(shí)的深層神經(jīng)網(wǎng)絡(luò)用于分析視覺表象訓(xùn)練在數(shù)以百萬計(jì)的圖像。為此，研究小組希望他們能夠生成5000個大腦掃描數(shù)據(jù)集，這將為人類視覺和計(jì)算機(jī)視覺科學(xué)家之間更大規(guī)模的合作鋪平道路。

到目前為止，該領(lǐng)域的反應(yīng)是積極的。公開可用的BOLD5000數(shù)據(jù)集已經(jīng)被下載超過2500次。

除了Chang，Tarr，Gupta和Aminoff之外，研究團(tuán)隊(duì)還包括CMU-Pitt BRIDGE中心的高級研究科學(xué)家和科學(xué)運(yùn)營總監(jiān)John A. Pyles以及Tarr實(shí)驗(yàn)室的研究助理Austin Marcus。美國國家科學(xué)基金會，美國海軍研究辦公室，阿爾弗雷德·斯隆基金會和大川信息和電信基金會贊助了這項(xiàng)研究。