DVS（Dynamic vision sensor）公司Prophesee調整了其基于事件的（event-based）攝像頭的規格，使其外形尺寸適用于始終在線的AIoT設備。Prophesee的CEO Luca Verre表示，與該公司100MP的第四代傳感器相比，第五代GenX320已將分辨率降至320x320像素，芯片尺寸也縮小到13mm2，現在還包括便于下游處理的標準數據格式，以及可用于喚醒系統其它部分的超低功耗模式層次。 ?

Prophesee的GenX320第五代DVS傳感器 ? Verre說：“基于事件的傳感器技術目前正在消費類領域創造機會，更大的生態系統正在意識到這項技術，并有興趣采用它。其實在三年前，我們就發現了很多機會，但這些機會不一定適合我們的第四代傳感器。這就是我們開發第五代傳感器的原因，它適用于出于成本、功耗和集成原因而需要非常小的傳感器設備的應用。” ? 像DVS傳感器這樣基于事件的傳感器是基于人類視網膜的生物學原理：它們只輸出像素亮度的變化，而不是完整的圖像幀。這樣就能以較低的延遲產生低帶寬數據，但仍能包含足夠的場景信息。

處理這種低帶寬數據所需的計算量較小，這意味著可以節省功耗。該技術對弱光條件的適應能力也很強。 ? Prophesee與Sony合作設計的上一代傳感器已于2021年底量產。這種高清傳感器是一種BSI（back-side illuminated）三維堆疊芯片，體積很小，首次用于消費類電子產品。 ?

Prophesee一直在與Qualcomm合作，演示這種傳感器與Snapdragon mobile處理器的結合。Verre說，至少有兩家手機廠商正在采用這種技術，Snapdragon加Prophesee組合的智能手機計劃于2025年發布。這里的用例是融合全幀數據和事件數據，以提高智能手機攝像頭的圖像質量。使用Prophesee傳感器檢測照片中的運動，然后使用Prophesee的計算攝影算法進行修正，可以減少運動模糊。 ? GenX320具有分辨率低、功耗低和體積小的特點，其目標市場是AR/VR頭戴式設備、安防和監控/檢測系統、無觸摸顯示器、眼球跟蹤和其他始終在線的IoT設備。不過，雖然仍采用BIS 3D堆疊設計，但這款傳感器并非與Sony合作開發，而是由另一家代工廠制造。 ?

Verre說：“我們與Sony的關系非常好：我們共同開發了第四代傳感器，而且我們還與Sony達成了共同進入市場的商業協議。因此，這種合作關系還在繼續，但第五代傳感器是由Prophesee設計、我們的代工合作伙伴制造，并由我們銷售的。第四代和第五代傳感器在市場定位上完全不同，傳感器的分辨率也不同，適用于非常不同的用例，因此它們是互補的。沒有重疊，這使得我們與Sony的市場戰略非常直接。” ?

接口和電源模式

Prophesee聯合創始人兼CTO Christoph Posch表示，GenX320有幾個與邊緣AI和IoT應用相關的關鍵新功能。 ? 他說：“以前我們的數據格式是非常規的，沒人知道該如何處理，沒人了解事件中動態視覺信息的編碼。我們有非恒定的數據傳輸速率，也沒有標準的數據格式或接口。我們意識到，所有這些因素都延緩了這項技術的應用。這就是為什么我們認為，需要設計一種更實用的傳感器，可以集成到邊緣AI視覺系統中，幫助潛在客戶真正使用該系統。” ? GenX320包括片上預處理，可根據需要將數據重新格式化為行業標準格式，并有三種接口可供選擇： ?

高帶寬MIPI接口與應用處理器連接，在數據流之前使用完整的數字pipeline對數據進行預處理和過濾。

CPI接口（DCMI）連接低延遲應用中的微控制器。數據可匯總成二維直方圖，供AI處理使用。

Prophesee現有的AER（address-event representation）接口完全繞過了數字預處理管道，可用于神經形態和spiking神經網絡加速器。

GenX320還包括一系列低功耗模式。最低功耗模式用于始終在線的活動檢測，功耗約為36μW。全激活模式的CPI接口功耗約為3.5mW，MIPI接口功耗約為20mW。 ?

Prophesee的GenX30芯片，傳感器芯片在頂部，處理器在底部。ESP指event signal processing pipeline。 ? Posch說：“我們可以通過逐級提升的電源模式，實現更高的分辨率和更智能的檢測，直至最高的模式，即通過輸出接口將所有事件數據完全流式傳輸到應用處理器。在最高和最低功耗模式之間，我們可以根據場景中發生的情況，在這些功耗模式之間進行循環。” ? 這些模式使用了一種稱為GCD（global contrast detector）的新功能，它可以檢測移動、進入或離開視場的物體。像素陣列被細分為若干區域，這些區域可以小到4x4像素。Prophesee使用陣列每個區域光電二極管的光電流總和（由硬件計算）來檢測該區域的活動。在最低功耗模式下，有9個檢測區域；其效果就好像總共100,000個像素中只有9個像素被打開，因此可以節省大量電力。 ? RISC-V CPU還可用于對感興趣的區域進行靈活編程，最多可同時對12個區域進行編程。 ?

GCD（Global contrast detection）是一項新功能，可將陣列分成若干區域，以節省功耗。這些區域的活動檢測可用于喚醒系統的其它部分。 ?

商業應用??

GenX320傳感器已被20多家領先客戶用于原型開發。 ? Zinn Labs利用GenX360為AR/VR眼鏡開發了基于事件的眼球追蹤器，其產生的數據量比全幀攝像頭少100倍。這意味著眼球追蹤可以在1kHz或更高的頻率下完成，比全幀相機快10倍。快速眼球追蹤的應用之一是有焦點渲染：我們的眼睛不會同時聚焦于整個場景，因此，如果我們知道眼睛在看哪里，選擇性地渲染我們正在看的部分就可以節省計算量。Verre說，Zinn Labs正在與客戶合作，爭取明年開始量產Prophesee GenX320傳感器。 ? 英國初創公司Ultraleap已將GenX320用于無觸摸HMI的手部跟蹤系統。Verre說，這種應用的照明條件可能很苛刻，但Prophesee傳感器具有很高的動態范圍（120dB以上）。 ?

Xperi的DMS采用了Prophesee的DVS傳感器 ? Xperi已經有了一套使用Prophesee上一代傳感器的DMS，現在它正在考慮將GenX360用于智能設備和家用電器。臺灣的YunX計劃明年向市場推出由GenX320驅動的隱私保護型跌倒探測系統。 ? Verre表示，Prophesee將在未來幾周內展示GenX320與用于邊緣AI的STM32微控制器的搭配，隨后還將展示更多采用不同類型處理器的參考設計。GenX320的生產將于明年上半年加速。

編輯：黃飛

?