傳感新品

【華中科大/香港理工：研發(fā)計(jì)算事件驅(qū)動(dòng)的視覺傳感器】

基于神經(jīng)形態(tài)事件的圖像傳感器只捕捉場景中的動(dòng)態(tài)運(yùn)動(dòng)，然后轉(zhuǎn)移到計(jì)算單元進(jìn)行運(yùn)動(dòng)識(shí)別。然而，這種方法會(huì)導(dǎo)致時(shí)間延遲，而且可能非常耗電。為此，華中科技大學(xué)何毓輝教授和香港理工大學(xué)柴揚(yáng)教授聯(lián)合報(bào)告了計(jì)算事件驅(qū)動(dòng)的視覺傳感器，捕獲和直接轉(zhuǎn)換動(dòng)態(tài)運(yùn)動(dòng)為可編程，稀疏和信息尖峰信號(hào)。這些傳感器可以用來形成一個(gè)用于運(yùn)動(dòng)識(shí)別的尖峰神經(jīng)網(wǎng)絡(luò)。每個(gè)單獨(dú)的視覺傳感器由兩個(gè)極性相反的平行光電二極管組成，其時(shí)間分辨率為5 μs。為了響應(yīng)光強(qiáng)度的變化，傳感器通過電編程其各自的光響應(yīng)率，產(chǎn)生具有不同振幅和極性的尖峰信號(hào)。視覺傳感器的非揮發(fā)性光響應(yīng)性和多級(jí)光響應(yīng)性可以模擬突觸權(quán)重，并可用于創(chuàng)建一個(gè)傳感器內(nèi)的尖峰神經(jīng)網(wǎng)絡(luò)。本研究中的視覺傳感器方法消除了傳感過程中的冗余數(shù)據(jù)，以及傳感器和計(jì)算單元之間的數(shù)據(jù)傳輸?shù)男枰?/p>

【事件驅(qū)動(dòng)的峰值生成】

傳統(tǒng)基于幀的圖像傳感器以固定幀率傳輸絕對(duì)的光強(qiáng)度會(huì)產(chǎn)生大量冗余的視覺數(shù)據(jù)，而信息有限。受生物視網(wǎng)膜的啟發(fā)，事件驅(qū)動(dòng)的視覺傳感器只對(duì)場景中的相關(guān)變化做出反應(yīng)。這些傳感器只在事件發(fā)生時(shí)和發(fā)生時(shí)提供峰值，減少冗余數(shù)據(jù)的量，同時(shí)保留稀疏但重要的信息（圖1a）。本研究報(bào)道了一個(gè)事件驅(qū)動(dòng)的像素單元，它可以在變化的光強(qiáng)度下產(chǎn)生具有可編程振幅的稀疏脈沖序列，這允許在像素陣列內(nèi)進(jìn)行可視化數(shù)據(jù)計(jì)算（圖1b）。通過設(shè)計(jì)一個(gè)像素單元（圖1c），當(dāng)光強(qiáng)度變化時(shí)產(chǎn)生峰值信號(hào)，表現(xiàn)出事件驅(qū)動(dòng)的特征。該單元格由兩個(gè)平行連接的獨(dú)立分支組成。這兩個(gè)分支中的光電二極管分別具有相反和對(duì)稱的構(gòu)型（PN和NP）。無電容器的PN分支光響應(yīng)比有電容器的分支光響應(yīng)要快。因此，在瞬態(tài)光強(qiáng)增加的時(shí)刻，在該單位中產(chǎn)生一個(gè)正尖峰信號(hào)。相反，當(dāng)光強(qiáng)度降低時(shí)，會(huì)產(chǎn)生負(fù)尖峰信號(hào)（圖1d）。與現(xiàn)有的攝像機(jī)相比，該設(shè)計(jì)顯示出更簡單的電路結(jié)構(gòu)。

圖1 事件驅(qū)動(dòng)的傳感器內(nèi)尖峰神經(jīng)網(wǎng)絡(luò)

【非易失性和可編程的WSe2光電二極管】

通過設(shè)計(jì)一種具有浮動(dòng)分柵結(jié)構(gòu)的WSe2光電二極管，以降低后續(xù)傳感器內(nèi)計(jì)算功耗。為了提高功率效率和可擴(kuò)展性，設(shè)計(jì)了非易失性可編程光電二極管，即使在去除柵極電壓后也可以局部存儲(chǔ)光電二極管中的突觸權(quán)值。圖2a i、ii分別顯示W(wǎng)Se2光電二極管結(jié)構(gòu)的橫截面結(jié)構(gòu)示意圖和頂視圖光學(xué)顯微鏡圖像。通過設(shè)置兩個(gè)相同值的局部柵極電壓VG1和VG2，可以測(cè)試WSe2場效應(yīng)晶體管的特性（圖2b）。通過進(jìn)一步將兩個(gè)分離的門配置為不同極性，WSe2通道左右部分的載流子類型和密度被獨(dú)立調(diào)制，表現(xiàn)出四種不同的傳導(dǎo)機(jī)制（圖2c）。在正柵電壓和負(fù)柵電壓下，該器件表現(xiàn)出幾乎對(duì)稱的行為（NN或PP）。在不同入射激光功率強(qiáng)度（Pin），激光激發(fā)波長λ = 520 nm下，PN和NP二極管表現(xiàn)出明顯的光電流（圖2d）。圖2e顯了ISC作為入射光強(qiáng)度（Pin）的函數(shù)。在PN和NP結(jié)中，ISC幾乎是線性依賴于Pin的，表明光電效應(yīng)在光電二極管的光電流產(chǎn)生中占主導(dǎo)地位。為了模擬神經(jīng)網(wǎng)絡(luò)中的突觸功能，需要用多級(jí)和非揮發(fā)性狀態(tài)來調(diào)節(jié)光響應(yīng)性來表示突觸的權(quán)重。通過耦合兩個(gè)電壓偏差相反的柵極，光電二極管的光響應(yīng)率R能以類似的方式進(jìn)行調(diào)制（圖2f）。

圖2 WSe2光電二極管的非揮發(fā)性和可編程光響應(yīng)性

【基于WSe2光電二極管的可編程事件驅(qū)動(dòng)像素】

圖3a顯示表征光脈沖下光電二極管光響應(yīng)的測(cè)量裝置。在一系列光強(qiáng)為50 mW cm?2、波長為520 nm的光脈沖下，由于該電路中產(chǎn)生的光電流，電阻RL（Vout）上的電壓下降發(fā)生相應(yīng)變化（圖3b）。當(dāng)施加光脈沖時(shí)，上升時(shí)間從20 μs變化到100 μs，電容范圍為0到300nF（圖3c）。通過將光電二極管編程為NP結(jié)構(gòu)，該器件在同一瞬態(tài)光脈沖下表現(xiàn)出相反的光響應(yīng)和可調(diào)諧的響應(yīng)時(shí)間（圖3d）。與傳統(tǒng)基于固定光響應(yīng)性的化學(xué)摻雜硅光電二極管的事件驅(qū)動(dòng)相機(jī)不同，本研究設(shè)計(jì)的浮動(dòng)分柵配置的WSe2光電二極管能夠非揮發(fā)性地調(diào)制WSe2通道中的載流子類型和密度，從而實(shí)現(xiàn)可編程光響應(yīng)性（圖3e）。在相同的光變化條件下，隨著光電二極管光響應(yīng)率增加，輸出峰值振幅A單調(diào)增加（圖3f）。圖3g為波長為520 nm的外部光激發(fā)下實(shí)時(shí)變化的Itotal，表現(xiàn)出事件驅(qū)動(dòng)特性。通過重新相反配置兩個(gè)分支（圖3h），生成的尖峰極性被反轉(zhuǎn)。當(dāng)外部光強(qiáng)度增加（減小）時(shí)，輸出電流為一個(gè)負(fù)（正）峰值（圖3i、j)，表明負(fù)突觸權(quán)重的實(shí)現(xiàn)。

圖3 基于WSe2光電二極管單元中的可調(diào)事件驅(qū)動(dòng)特性

【傳感器內(nèi)峰值神經(jīng)網(wǎng)絡(luò)】

為了執(zhí)行實(shí)現(xiàn)運(yùn)動(dòng)識(shí)別的計(jì)算任務(wù)，可以將光電二極管陣列設(shè)計(jì)成交叉桿配置，形成一個(gè)尖峰神經(jīng)網(wǎng)絡(luò)（圖4a）。當(dāng)手在移動(dòng)時(shí)，由于光強(qiáng)變化，在128×128光電二極管陣列中產(chǎn)生一系列的輸出尖峰（圖4b）。經(jīng)過100個(gè)訓(xùn)練后，傳感器內(nèi)SNN顯示出92%的識(shí)別準(zhǔn)確率。然后用亞像素陣列的光響應(yīng)率來表示突觸的權(quán)重（圖4c）。圖4d顯示當(dāng)三種類型的運(yùn)動(dòng)按順序執(zhí)行時(shí)，每個(gè)神經(jīng)元的輸出峰值情況。每個(gè)輸出神經(jīng)元只有對(duì)特定運(yùn)動(dòng)類型的響應(yīng)（圖4d），表明在設(shè)計(jì)的傳感器內(nèi)SNN中成功實(shí)現(xiàn)運(yùn)動(dòng)識(shí)別任務(wù)。

圖4 用于運(yùn)動(dòng)識(shí)別的傳感器內(nèi)置SNN

綜上所述，本研究報(bào)道了一種計(jì)算事件驅(qū)動(dòng)的視覺傳感器，它只在光強(qiáng)度變化時(shí)產(chǎn)生可調(diào)諧的電流峰值，其時(shí)間分辨率為5 μs。WSe2光電二極管表現(xiàn)出非揮發(fā)性、可編程性和線性光強(qiáng)依賴的光響應(yīng)性，使神經(jīng)網(wǎng)絡(luò)中模擬突觸權(quán)重成為可能。通過進(jìn)一步合并輸出神經(jīng)元可以構(gòu)建一個(gè)傳感器SNN，其運(yùn)動(dòng)識(shí)別準(zhǔn)確率為92%的傳感器內(nèi)SNN。在事件驅(qū)動(dòng)的感覺終端內(nèi)部的直接運(yùn)動(dòng)識(shí)別有可能被用于開發(fā)實(shí)時(shí)邊緣計(jì)算視覺芯片。

傳感動(dòng)態(tài)

【曝蘋果將自研影像傳感器 與華為自研CMOS不謀而合？】

近日，據(jù)知名蘋果爆料人士古爾曼透露，蘋果公司正考慮自研影像傳感器，它不僅將成為iPhone系列手機(jī)最關(guān)鍵的賣點(diǎn)之一，同時(shí)也將成為混合現(xiàn)實(shí)和自動(dòng)駕駛汽車行業(yè)未來發(fā)展的核心。

古爾曼表示，蘋果公司一直在致力于自主研發(fā)關(guān)鍵組件，以增強(qiáng)其在全球智能手機(jī)市場的競爭力。而影像傳感器作為智能手機(jī)的核心組件之一，對(duì)于拍照效果和用戶體驗(yàn)至關(guān)重要。因此，蘋果公司決定自研影像傳感器，以進(jìn)一步提升iPhone手機(jī)的性能和用戶體驗(yàn)。

值得一提的是，此前有消息稱華為也在自研CMOS圖像傳感器，涉及從晶圓到芯片全流程，而且在部分工藝上有所創(chuàng)新，可以與主流的背照式工藝（BSI）兼容。此外，數(shù)碼博主爆料稱華為P70系列的國產(chǎn)化率將進(jìn)一步提升，同時(shí)索尼暫未與華為續(xù)約，庫存似乎已空，很久沒有拿高端的CMOS。這表明華為P70很有可能會(huì)采用自研的CMOS。

蘋果和華為自研影像傳感器這種自主研發(fā)的關(guān)鍵組件，將有助于提高企業(yè)的核心競爭力，有利于企業(yè)在關(guān)鍵技術(shù)上掌握更多話語權(quán)。

總之，對(duì)智能手機(jī)行業(yè)和消費(fèi)者來說，兩大巨頭自研影像傳感器都是一個(gè)積極的信號(hào)。這將推動(dòng)行業(yè)技術(shù)的創(chuàng)新和發(fā)展，同時(shí)也意味著消費(fèi)者將能夠獲得更好的產(chǎn)品和服務(wù)。

關(guān)于中國科學(xué)院長春光機(jī)所

中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所（簡稱“長春光機(jī)所”）始建于1952年，由長春光機(jī)所與長春物理所于1999年整合而成，是新中國在光學(xué)領(lǐng)域建立的第一個(gè)研究所，主要從事發(fā)光學(xué)、應(yīng)用光學(xué)、光學(xué)工程、精密機(jī)械與儀器的研發(fā)生產(chǎn)。

建所70年來，長春光機(jī)所在以王大珩院士、徐敘瑢院士等為代表的一批科學(xué)家的帶領(lǐng)下，研制出中國第一臺(tái)紅寶石激光器、第一臺(tái)大型電影經(jīng)緯儀等多種先進(jìn)儀器設(shè)備，創(chuàng)造了十幾項(xiàng)“中國第一”。現(xiàn)有18個(gè)研究部室，其中國家重點(diǎn)實(shí)驗(yàn)室/工程中心6個(gè)、中科院重點(diǎn)實(shí)驗(yàn)室2個(gè)；在職職工2500余人，其中國家級(jí)各類領(lǐng)軍人才15人，國務(wù)院政府特殊津貼獲得者37人；設(shè)有碩士點(diǎn)9個(gè)、博士點(diǎn)7個(gè)、博士后流動(dòng)站3個(gè)，在學(xué)研究生千余人。

【英偉達(dá)聯(lián)手 SK 海力士，嘗試將 HBM 內(nèi)存 3D 堆疊到 GPU 核心上】

11 月 20 日消息，據(jù) Joongang.co.kr 報(bào)道，SK 海力士已經(jīng)開始招聘邏輯半導(dǎo)體（如 CPU 和 GPU）設(shè)計(jì)人員，希望將 HBM4 通過 3D 堆疊的方式直接集成在芯片上。

據(jù)報(bào)道，SK 海力士正在與幾家半導(dǎo)體公司討論其 HBM4 集成設(shè)計(jì)方法，包括 Nvidia。

外媒認(rèn)為，Nvidia 和 SK 海力士很可能會(huì)共同設(shè)計(jì)這種集成芯片，并借助臺(tái)積電進(jìn)行代工，然后通過臺(tái)積電的晶圓鍵合技術(shù)將 SK 海力士的 HBM4 芯片堆疊到邏輯芯片上。而為了實(shí)現(xiàn)內(nèi)存芯片和邏輯芯片的一體協(xié)同，聯(lián)合設(shè)計(jì)是不可避免的。

如果 SK 海力士能夠成功，這可能會(huì)在很大程度上改變行業(yè)的運(yùn)作方式，因?yàn)檫@不僅會(huì)改變邏輯和存儲(chǔ)新芯片的互連方式，還會(huì)改變它們的制造方式。

現(xiàn)階段，HBM 堆疊主要是放置在 CPU 或 GPU 旁邊的中介層上，并使用 1024bit 接口連接到邏輯芯片。SK 海力士的目標(biāo)是將 HBM4 直接堆疊在邏輯芯片上，完全消除中介層。

在某種程度上來講，這種方法有些類似于 AMD 的 3D V-Cache 堆疊，它就是直接將 L3 SRAM 緩存封裝在 CPU 芯片上，而如果是 HBM 的話則可以實(shí)現(xiàn)更高的容量且更便宜。

目前困擾業(yè)界的主要因素之一在于 HBM4 需要采用 2048bit 接口，因此 HBM4 的中介層非常復(fù)雜且成本高昂。因此，如果能夠?qū)?nèi)存和邏輯芯片堆疊到一起，這對(duì)于經(jīng)濟(jì)效益來說是可行的，但這同時(shí)又提出了另一個(gè)問題：散熱。

現(xiàn)代邏輯芯片，如 Nvidia H100，由于配備了巨大的 HBM3 內(nèi)存，在帶來巨大 VRAM 帶寬的同時(shí)也產(chǎn)生了數(shù)百瓦的熱能。因此，要想為邏輯和內(nèi)存封裝集合體進(jìn)行散熱可能需要非常復(fù)雜的方法，甚至要考慮液冷和 / 或浸沒式散熱。

韓國科學(xué)技術(shù)院電氣與電子工程系的教授 Kim Jung-ho 表示，“如果散熱問題在兩到三代之后解決，那么 HBM 和 GPU 將能夠像一體一樣運(yùn)作，而無需中介層” 。

一位業(yè)內(nèi)人士告訴 Joongang，“在未來 10 年內(nèi)，半導(dǎo)體的 ' 游戲規(guī)則 ' 可能會(huì)發(fā)生變化，存儲(chǔ)器和邏輯半導(dǎo)體之間的區(qū)別可能變得微不足道”。

【森威電子更名“深達(dá)威”啟動(dòng)IPO輔導(dǎo)，年產(chǎn)300萬臺(tái)儀器儀表】

11月15日，深達(dá)威科技（廣東）股份有限公司（以下簡稱“深達(dá)威”）在廣東證監(jiān)局進(jìn)行輔導(dǎo)備案，輔導(dǎo)機(jī)構(gòu)為廣發(fā)證券股份有限公司。

官網(wǎng)資料顯示，深達(dá)威是專業(yè)生產(chǎn)銷售高精儀器儀表的一家企業(yè)，主要從事紅外測(cè)溫儀、激光測(cè)距儀、噪音計(jì)、風(fēng)速計(jì)等工業(yè)儀表的研發(fā)生產(chǎn)。

深達(dá)威擁有近150項(xiàng)國內(nèi)外專利，公司專業(yè)研發(fā)人員近60余人，年產(chǎn)約300萬臺(tái)各類儀器儀表，產(chǎn)品覆蓋商光測(cè)距儀、激光測(cè)距望遠(yuǎn)境、無損檢測(cè)儀、激光測(cè)距傳感器、環(huán)境檢測(cè)儀等系列，遠(yuǎn)銷全球30多人國家和地區(qū)。

天眼查顯示，深達(dá)威成立于2010年8月16日（前身為東莞市森威電子有限公司），法定代表人為何剛，注冊(cè)資本5000萬元。該公司大股東為東莞市深達(dá)威實(shí)業(yè)投資合伙企業(yè)（有限合伙），持股58.8853%；實(shí)際控制人為何剛，直接持股21.8%。

據(jù)傳感器專家網(wǎng)獲悉，深達(dá)威2023年8月經(jīng)過股份制改革，企業(yè)名稱從“東莞市森威電子有限公司”變更為“深達(dá)威科技（廣東）股份有限公司”；同時(shí)，公司注冊(cè)資本從從“3980.05萬元人民幣”增加到“5000萬元人民幣”。

審核編輯 黃宇