為了監控環境并在現實世界中導航，機器人應該能夠在不同的背景光照條件下采集圖像和環境測量值。近年來，世界各地的科研人員及工程師們都在努力開發越來越先進的傳感器，以將其集成于機器人、監控系統或其他可以感知周圍環境的設備。

據麥姆斯咨詢報道，香港理工大學、北京大學、延世大學和復旦大學的研究人員最近研發了一款新型的仿生視覺傳感器，其采用了一種人工模擬視網膜功能的機制，并且可在各種光照條件下采集數據。這款仿生視覺傳感器基于由二硫化鉬制成的光電晶體管，相關研究成果以“Bioinspired in-sensor visual adaptation for accurate perception”為題發表在Nature Electronics期刊上。

仿生視覺傳感器陣列照片（左）；視覺傳感器單元的示意圖結構和光學顯微鏡圖像（右）

“我們研究團隊五年前就開始了光電存儲器的研究工作。”開發該視覺傳感器的研究人員之一Yang Chai介紹說，“這種新興器件可以輸出光相關和歷史相關的信號，能夠實現圖像集成、微弱信號累積、光譜分析等復雜的圖像處理功能，將傳感、數據存儲和數據處理的多功能集成于一顆器件。”

2018年，Yang Chai和他的同事發表了第一篇關于光電存儲器的論文，他們在其中介紹了一種電阻開關存儲器件，該器件可以執行光傳感和邏輯操作。一年后，該團隊推出了一種具有三種不同功能的新型光電電阻隨機存取存儲器。具體來說，這種新器件可以感知環境，將信息存儲在內存中，并執行神經形態的視覺預處理操作。

“我們在2020年研究了近傳感器（near-sensor）和傳感器內計算范式的概念，并發表了我們在該領域的觀點。”Yang Chai繼續說道，“仿生視覺傳感器的這項新研究建立在我們之前的所有努力之上。”

環境自然光的強度變化很大，總范圍為280 dB。人類視網膜在感知外界光信號時，會根據信號的強度調整其感光器（即視桿細胞和視錐細胞）的光敏性。這最終使人眼能夠逐漸適應不同程度的照明水平，在黑暗和明亮的環境中都能看清楚，這種能力被稱為“視覺適應”。

“例如，當你從一個明亮的大廳進入一個黑暗的電影院時，最初你幾乎看不到任何東西，但在電影院里呆了一會兒，就變得更容易看到東西了。”Yang Chai解釋說，“這種現象被稱為暗適應（scotopic adaptation）。相反，如果你從黑暗的電影院走到陽光明媚的戶外，一開始你會覺得非常眼花繚亂，需要適應一段時間才能看到周圍的景色。這個過程與暗適應相反，被稱為光適應（photopic adaptation）。”

Yang Chai和他的同事最近研究工作的主要目標是構建一種受人類視網膜結構和功能啟發的視覺傳感器。為此，他們首先開始研究人類視網膜，然后嘗試設計感知策略，從而能夠人工模擬視覺適應能力。

基于CMOS技術的最先進圖像傳感器通常具有70 dB的有限動態范圍。但是，這個動態范圍比自然場景的光照范圍（280 dB）要窄得多。

“為了在較大的光照強度范圍內實現視覺感知，研究人員已經探索了在后處理中使用受控光學孔徑、液體透鏡、可調節曝光時間和去噪算法。”Yang Chai說道，“然而，這些方法通常需要復雜的硬件和軟件資源。”

仿生視覺傳感器陣列的暗適應和光適應。（a）暗適應測試示意圖：暗環境下使用8 x 8像素陣列識別低照度圖像。（b）光適應測試示意圖：亮環境下使用8 x 8像素陣列識別高照度圖像。（c）識別“8”圖案的暗適應過程。（d）識別“8”圖案的光適應過程。

具有光照適應性的視覺并在感覺終端具有寬廣感知范圍的光電器件可能具有非常有價值的應用。例如，它們可以幫助提高計算機視覺工具的性能，降低構建機器人或其他傳感系統所需的硬件復雜性，并提高圖像識別系統的準確性。

雖然，其他研究團隊在過去一段時間已經研發了可以適應不同光照條件的光電器件。但是，大多數先前展示的器件只能模擬視網膜的光適應機制。暗適應過程迄今被證明更難模擬。

“要完全復制視網膜的視覺適應功能，還有很長的路要走。”Yang Chai解釋說，“為了實現這一目標，我們設計了一種使用超薄半導體的光電晶體管型視覺傳感器，它可以通過施加不同的柵極電壓來控制同一器件中的暗適應和光適應程度。通過這種方式，我們模擬了視網膜中的光感受器和水平細胞（horizontal cell），并成功實現了具有199 dB感知范圍的仿生傳感器內視覺自適應器件。”

人工模擬視網膜中的光感受器和水平細胞，實現視覺自適應（暗適應和光適應）

Yang Chai及其同事開發的仿生視覺傳感器基于由超薄半導體材料（即二硫化鉬）制成的光電晶體管。他們使用的光電晶體管具有多種電荷陷阱狀態，這些狀態可以在不同的柵極電壓下捕獲或釋放溝道內的電子。

最終，這些狀態允許研究人員動態調節其器件的電導。這反過來又使他們能夠人工模擬人類視網膜的暗適應和光適應機制，從而擴大其傳感器對不同光照條件的感知范圍。

“我們的仿生視覺傳感器有幾個優點和特點。”Yang Chai表示，“首先，視覺適應功能在單顆器件中實現，大大減少了占位面積。其次，可以在單顆器件上實現多種功能，包括光傳感、記憶和處理。最后，可以通過控制其柵極電壓來實現在不同的光照強度下進行暗適應和光適應。”

Yang Chai和他的同事在一系列測試中評估了這款仿生視覺傳感器，發現它可以有效地模擬人類視網膜的功能，在暗適應和光適應方面都取得了顯著的成果。此外，與之前提出的解決方案相比，它具有明顯更高的感知范圍（199 dB）。

“我們的視覺傳感器可以豐富機器視覺功能，降低硬件復雜度，實現高圖像識別效率。”Yang Chai說道，“所有這些優點在復雜照明環境下的自動駕駛、人臉識別和工業制造等領域都有很大的應用前景。”

在接下來的研究中，研究人員計劃進一步提高視覺傳感器的性能，同時還使用其來制造由傳感器陣列組成的大規模系統。理想情況下，他們希望在柔性或半球形襯底上構建此傳感器陣列，以實現更寬的視野。

“需要改進的一個方面是我們視覺傳感器的適應時間，因為它仍然不足以支持機器視覺應用。”Yang Chai補充道，“我們的目標是將適應時間降低到微秒級。此外，視覺傳感器陣列規模也需要進一步提升。我們近期的陣列規模目標是大于100 x 100像素。最后，視覺傳感器和后處理單元（包括基于硅的控制電路）的異構集成是邁向實際應用的非常重要的一步。”

論文信息：
https://www.nature.com/articles/s41928-022-00713-1

審核編輯 ：李倩