視覺(jué)系統(tǒng)是人類(lèi)用來(lái)觀察并認(rèn)知外部世界的最重要的感覺(jué)系統(tǒng)。視覺(jué)認(rèn)知的形成，需要眼睛將物體攜帶的光信息轉(zhuǎn)化為視覺(jué)神經(jīng)沖動(dòng)，并傳遞給大腦視覺(jué)皮層進(jìn)行視覺(jué)信息處理。得益于這種視網(wǎng)膜和大腦視覺(jué)皮層垂直分層的結(jié)構(gòu)和信息加工能力，人類(lèi)視覺(jué)系統(tǒng)能以極低的功耗和極高的信息處理效率完成復(fù)雜的視覺(jué)認(rèn)知。將這種強(qiáng)大的視覺(jué)信息處理能力賦予機(jī)器，使其能夠像人一樣具有獨(dú)立思考和行動(dòng)的能力，是人們一直以來(lái)的夢(mèng)想。傳統(tǒng)機(jī)器視覺(jué)采用攝像頭和計(jì)算機(jī)的組合架構(gòu)，雖然一定程度上實(shí)現(xiàn)了對(duì)人類(lèi)視覺(jué)系統(tǒng)部分功能的模擬,但是要想達(dá)到能與人類(lèi)視覺(jué)系統(tǒng)相比擬的高效信息處理能力，仍面臨很大的挑戰(zhàn)。

近日，南京大學(xué)物理學(xué)院繆峰教授團(tuán)隊(duì)將視網(wǎng)膜形態(tài)傳感陣列和憶阻交叉陣列結(jié)合為一體，提出和實(shí)現(xiàn)了“垂直結(jié)構(gòu)”的類(lèi)腦視覺(jué)系統(tǒng)，為未來(lái)實(shí)現(xiàn)類(lèi)腦機(jī)器視覺(jué)提供了一個(gè)可行的思路。 多功能光電傳感和類(lèi)腦計(jì)算器件對(duì)于研發(fā)能夠工作在全模擬域的類(lèi)腦視覺(jué)系統(tǒng)至關(guān)重要。近年來(lái)，繆峰團(tuán)隊(duì)（https://nano.nju.edu.cn）利用“原子樂(lè)高”的技術(shù)途徑，分別在室溫高靈敏紅外探測(cè)器（Science Advances 2017）、耐高溫憶阻器（Nature Electronics 2018）、彈道雪崩探測(cè)器件（Nature Nano. 2019）、可重構(gòu)類(lèi)腦視覺(jué)傳感器（Science Advances 2020）、可重構(gòu)類(lèi)腦電路（Nature Electronics 2020）等方向陸續(xù)取得突破。與此同時(shí)，繆峰團(tuán)隊(duì)也一直探索憶阻交叉陣列的應(yīng)用領(lǐng)域，首次利用憶阻交叉陣列構(gòu)建了一個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，用于核心信息處理單元，實(shí)現(xiàn)了具有一定自適應(yīng)能力的智能小車(chē)（Advanced intelligent systems 2020）。 基于這系列工作打下的基礎(chǔ)，該團(tuán)隊(duì)近日提出，通過(guò)將視網(wǎng)膜形態(tài)傳感器陣列與憶阻交叉陣列結(jié)合在一起，可以模擬人類(lèi)視覺(jué)系統(tǒng)的“垂直分層”架構(gòu)，從而同步實(shí)現(xiàn)對(duì)視覺(jué)信息的感知和預(yù)處理，并高效執(zhí)行較復(fù)雜的包括圖像識(shí)別、物體追蹤、運(yùn)動(dòng)軌跡預(yù)測(cè)等在內(nèi)的任務(wù)。該工作為未來(lái)開(kāi)發(fā)三維垂直集成的新型類(lèi)腦視覺(jué)系統(tǒng)奠定了科學(xué)與技術(shù)基礎(chǔ)。 相關(guān)研究成果以“Networking retinomorphic sensor with memristive crossbar for brain-inspired visual perception”（基于視網(wǎng)膜形態(tài)傳感器和憶阻交叉陣列的類(lèi)腦視覺(jué)系統(tǒng)）為題于近日在線發(fā)表在National Science Review上。南京大學(xué)物理學(xué)院博士生王爽、王晨宇和王鵬飛為論文的共同第一作者，梁世軍副研究員和繆峰教授為該工作的共同通訊作者。該工作得到了王振林教授課題組、陳坤基教授課題組的實(shí)驗(yàn)協(xié)助，和國(guó)家杰出青年科學(xué)基金、國(guó)家自然科學(xué)基金、江蘇省青年基金等項(xiàng)目的資助，以及微結(jié)構(gòu)科學(xué)與技術(shù)協(xié)同創(chuàng)新中心的支持。 被譽(yù)為“憶阻器之父”、美國(guó)加州大學(xué)伯克利分校的蔡少棠(Leon Chua)教授在同期National Science Review上為本文撰寫(xiě)了專(zhuān)題評(píng)論文章“A promising route to neuromorphic vision“ 《一條通往類(lèi)腦視覺(jué)的光明之路》，指出“Liang和Miao關(guān)于在完全模擬域內(nèi)執(zhí)行感算識(shí)任務(wù)的類(lèi)腦視覺(jué)系統(tǒng)原型展示的工作是一個(gè)重大的突破”。蔡少棠教授進(jìn)一步指出，該工作“為將來(lái)探索類(lèi)腦視覺(jué)系統(tǒng)在自動(dòng)駕駛、智能安防和智能醫(yī)療領(lǐng)域的應(yīng)用開(kāi)辟了一條可遵循的潛在技術(shù)路線”。（https://doi.org/10.1093/nsr/nwaa182） 研究成果

人類(lèi)視覺(jué)系統(tǒng)強(qiáng)大的信息處理能力很大程度上依賴(lài)于視網(wǎng)膜和大腦視覺(jué)皮層所形成的分層結(jié)構(gòu)（圖1a所示）。人類(lèi)對(duì)外界信息形成視覺(jué)認(rèn)知的過(guò)程需要經(jīng)歷以下基本過(guò)程：攜帶外部世界信息的光首先投射在眼球底部的視網(wǎng)膜上，視網(wǎng)膜上的光感受器會(huì)將光信號(hào)轉(zhuǎn)化為電信號(hào)，傳遞給視網(wǎng)膜中的其它細(xì)胞實(shí)現(xiàn)對(duì)信息的初步整合加工，整合后的信號(hào)將由視網(wǎng)膜神經(jīng)節(jié)細(xì)胞通過(guò)視神經(jīng)傳遞給大腦；進(jìn)入大腦的視覺(jué)信息會(huì)被大腦中不同的視覺(jué)皮層進(jìn)行深層次加工處理，最終傳遞給高級(jí)腦區(qū)形成視覺(jué)認(rèn)知。為了實(shí)現(xiàn)對(duì)人類(lèi)視覺(jué)系統(tǒng)結(jié)構(gòu)和功能的逼真模擬，繆峰團(tuán)隊(duì)提出，通過(guò)將采用“原子樂(lè)高”的方式搭建的可重構(gòu)視網(wǎng)膜傳感器和憶阻交叉陣列進(jìn)行集成，可以實(shí)現(xiàn)全模擬域的視覺(jué)信息傳遞和處理，如圖1b所示。

圖1：人類(lèi)視覺(jué)系統(tǒng)和類(lèi)腦視覺(jué)系統(tǒng)。人類(lèi)視覺(jué)系統(tǒng)主要由視網(wǎng)膜和大腦皮層視覺(jué)中樞組成；對(duì)應(yīng)地，類(lèi)腦視覺(jué)系統(tǒng)主要由可重構(gòu)視網(wǎng)膜傳感器和憶阻器交叉陣列所構(gòu)成。 在實(shí)驗(yàn)中，研究團(tuán)隊(duì)首先展示了視網(wǎng)膜形態(tài)的傳感器陣列及其在圖像預(yù)處理方面的應(yīng)用。為了制備傳感器陣列，該團(tuán)隊(duì)利用機(jī)械剝離方法獲得了二維材料硒化鎢和氮化硼，并將它們依次轉(zhuǎn)移至氧化鋁上制備成范德華異質(zhì)結(jié)器件。在背柵調(diào)控下，所制備的器件展現(xiàn)出極性相反的，且依賴(lài)于柵極電壓、光強(qiáng)、波長(zhǎng)等物理參數(shù)變化的光電流響應(yīng)。這種光響應(yīng)特征與視網(wǎng)膜中雙極性細(xì)胞的特征類(lèi)似。為了證實(shí)范德華異質(zhì)結(jié)器件具有圖像信息加工的能力，研究團(tuán)隊(duì)將異質(zhì)結(jié)器件組裝至3×3的PCB陣列上。通過(guò)控制施加到每個(gè)器件上的獨(dú)立柵極電壓源，陣列的圖像預(yù)處理功能能夠被配置為不同卷積核的形式。根據(jù)基爾霍夫定律，把每次光信號(hào)輸入之后的所有器件源漏電流變化量ΔIds進(jìn)行求和，作為對(duì)圖像信息處理后的結(jié)果。如圖2所示，器件陣列實(shí)現(xiàn)了對(duì)Lenna圖的同步感知和預(yù)處理（邊緣增強(qiáng)、風(fēng)格化）。通過(guò)對(duì)Lenna圖的預(yù)處理結(jié)果進(jìn)行評(píng)估，研究團(tuán)隊(duì)指出所制備的異質(zhì)結(jié)陣列傳感器能夠模擬人類(lèi)視網(wǎng)膜的垂直結(jié)構(gòu)和信息預(yù)處理功能。

圖2，視網(wǎng)膜形態(tài)的傳感器陣列及圖像預(yù)處理功能。（a）按照3×3陣列排布的視網(wǎng)膜形態(tài)傳感器陣列，單個(gè)器件結(jié)構(gòu)如光學(xué)圖片所示。（b）在背柵調(diào)控下，器件展示出正負(fù)光電流響應(yīng)。（c）用于圖像預(yù)處理的Lenna原圖。（d）經(jīng)過(guò)邊緣增強(qiáng)處理過(guò)的Lenna圖片。（e）對(duì)Lenna圖的邊緣增強(qiáng)結(jié)果進(jìn)行評(píng)估，處理后的圖片的灰度值（綠）呈現(xiàn)出高斯分布。（f）經(jīng)過(guò)風(fēng)格化處理的圖片。（g）對(duì)Lenna圖的風(fēng)格化結(jié)果進(jìn)行評(píng)估，處理后的圖片與模擬值呈現(xiàn)相似的灰度值排布。 進(jìn)一步地，研究團(tuán)隊(duì)將2100張含有噪點(diǎn)的“N”，“J”，“U”字母集輸入視網(wǎng)膜形態(tài)陣列傳感器，并將陣列中的背柵電壓配置為可具有執(zhí)行邊緣增強(qiáng)功能的卷積核。視網(wǎng)膜形態(tài)陣列輸出的電信號(hào)經(jīng)過(guò)電流-電壓轉(zhuǎn)換器，輸入至憶阻交叉陣列。憶阻交叉陣列中每一個(gè)交叉點(diǎn)具有可調(diào)的電導(dǎo)值，且呈現(xiàn)出線性的電壓-電流特征，這允許其被用于執(zhí)行類(lèi)似大腦視覺(jué)皮層功能的人工神經(jīng)網(wǎng)絡(luò)。研究發(fā)現(xiàn)，類(lèi)腦視覺(jué)系統(tǒng)對(duì)2100張“N”，“J”，“U”字母集圖片的識(shí)別率達(dá)到100%。相比于基于傳統(tǒng)傳感器的視覺(jué)系統(tǒng)，集成有視網(wǎng)膜形態(tài)傳感器的類(lèi)腦視覺(jué)系統(tǒng)能夠加速圖像識(shí)別的收斂過(guò)程，如圖3所示。

圖3，用于圖像識(shí)別的類(lèi)腦視覺(jué)系統(tǒng)。（a）類(lèi)腦視覺(jué)系統(tǒng)用于圖像識(shí)別的流程圖。用于圖像識(shí)別的8×8“N”，“J”，”U“噪點(diǎn)字母集（c左圖）被輸入視網(wǎng)膜形態(tài)傳感器中，進(jìn)行同步圖像感知和預(yù)處理；處理后的結(jié)果輸入憶阻交叉陣列進(jìn)行圖像識(shí)別。（b）憶阻器具有線性的電壓-電流特征。類(lèi)腦視覺(jué)系統(tǒng)對(duì)該字母集的識(shí)別率達(dá)到100%（c右圖）。（d）視網(wǎng)膜形態(tài)傳感器的存在能夠加速圖像的識(shí)別率和收斂速度。 得益于憶阻交叉陣列可重新配置的靈活性，研究團(tuán)隊(duì)將其配置成能夠處理與時(shí)序信息相關(guān)的循環(huán)神經(jīng)網(wǎng)絡(luò)，可以進(jìn)一步完成對(duì)動(dòng)態(tài)物體的追蹤任務(wù)。在實(shí)驗(yàn)中，研究團(tuán)隊(duì)利用視網(wǎng)膜形態(tài)傳感器，對(duì)視野中的目標(biāo)“十”字進(jìn)行邊緣特征提取，并將移動(dòng)“十”字目標(biāo)的坐標(biāo)按照時(shí)序信息的形式輸入由憶阻交叉陣列執(zhí)行的循環(huán)神經(jīng)網(wǎng)絡(luò)中。循環(huán)神經(jīng)網(wǎng)絡(luò)能夠根據(jù)“十”字目標(biāo)在n時(shí)刻以及之前的坐標(biāo)信息，獲得n+1時(shí)刻的坐標(biāo)值，從而實(shí)現(xiàn)對(duì)n+1時(shí)刻物體的運(yùn)動(dòng)軌跡進(jìn)行預(yù)判。研究團(tuán)隊(duì)指出，該類(lèi)腦視覺(jué)系統(tǒng)可以對(duì)動(dòng)態(tài)視覺(jué)信息進(jìn)行逐級(jí)簡(jiǎn)化處理，提升對(duì)移動(dòng)物體追蹤的效率。這一項(xiàng)工作從原理上證明，利用視網(wǎng)膜形態(tài)的傳感器和憶阻交叉陣列進(jìn)行垂直集成的類(lèi)腦視覺(jué)系統(tǒng)，有望在將來(lái)應(yīng)用于眾多新興智能科技領(lǐng)域。

圖4，用于動(dòng)態(tài)視覺(jué)任務(wù)的類(lèi)腦視覺(jué)系統(tǒng)。（a）類(lèi)腦視覺(jué)系統(tǒng)用于運(yùn)動(dòng)追蹤的流程圖。利用視網(wǎng)膜形態(tài)傳感器，對(duì)視野中的 “十”字目標(biāo)進(jìn)行邊緣特征提取，并將“十”字目標(biāo)的坐標(biāo)以時(shí)序信息形式輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，對(duì)下一時(shí)刻該目標(biāo)的軌跡進(jìn)行預(yù)測(cè)。（b）類(lèi)腦視覺(jué)系統(tǒng)經(jīng)過(guò)運(yùn)動(dòng)追蹤獲得的“十”字目標(biāo)物運(yùn)動(dòng)軌跡（綠色線）與經(jīng)過(guò)軌跡預(yù)測(cè)獲得的“十”字目標(biāo)物運(yùn)動(dòng)軌跡（橘黃色線）基本一致。