視覺SLAM (vSLAM)是指移動機(jī)器人通過相機(jī)感知外部世界并估計(jì)機(jī)器人的位姿和重建周圍環(huán)境的三維地圖。vSLAM在各種應(yīng)用中扮演著不可或缺的角色，包括自動駕駛，機(jī)器人導(dǎo)航和增強(qiáng)現(xiàn)實(shí)。例如，在機(jī)器人導(dǎo)航里，vSLAM能夠提供環(huán)境信息和機(jī)器人的位置來幫助它到達(dá)指定的地點(diǎn)。vSLAM通常利用傳統(tǒng)的RGB相機(jī)獲取圖片信息。然而傳統(tǒng)的相機(jī)局限于低動態(tài)感光范圍和運(yùn)動中產(chǎn)生的動態(tài)模糊，而無法在復(fù)雜的場景下得到精準(zhǔn)的位姿估計(jì)和三維重建結(jié)果。近年來，基于一種新的仿生相機(jī)，即事件相機(jī)，相應(yīng)的vSLAM算法被相繼提出。該類方法利用事件相機(jī)的高幀率、高動態(tài)感光范圍、低能耗、低延遲等特性在一些復(fù)雜的場景下也能得到了非常優(yōu)異的結(jié)果。

本綜述綜合性地概述了基于事件相機(jī)的vSLAM研究進(jìn)展，同時(shí)也包含了事件相機(jī)的工作原理和事件數(shù)據(jù)的預(yù)處理和表征形式。我們將主流的算法分為四大類，即特征法、直接法 、運(yùn)動補(bǔ)償法和基于深度學(xué)習(xí)的方法。在每個(gè)類別中，我們對相應(yīng)的算法框架、突出貢獻(xiàn)、優(yōu)勢和局限性都進(jìn)行了充分的論述。另外，本文還整合了包含事件相機(jī)及多模態(tài)的諸多vSLAM的數(shù)據(jù)集，并在典型的數(shù)據(jù)集上對具有代表性的方法進(jìn)行了系統(tǒng)的結(jié)果評估，也同時(shí)討論了不同方法各自適用的場景。最后，我們討論了目前基于事件相機(jī)的vSLAM存在的挑戰(zhàn)以及未來可能的研究方向。

一、事件相機(jī)vSLAM介紹

vSLAM能夠通過視覺傳感器來獲取環(huán)境信息，以達(dá)到估計(jì)機(jī)器人位姿和周圍環(huán)境三維重建的目的。但是傳統(tǒng)的視覺傳感器受限于它的硬件而導(dǎo)致的低動態(tài)感光范圍和運(yùn)動中產(chǎn)生的動態(tài)模糊，在一些復(fù)雜的場景下無法得到良好的結(jié)果，例如高速運(yùn)動中的或者復(fù)雜的光照條件下的場景。

近年來，事件相機(jī)受到了研究者們的關(guān)注。由于事件相機(jī)的高幀率、低延遲和高動態(tài)感光范圍，使得基于事件相機(jī)的vSLAM 能夠勝任一些復(fù)雜的場景，尤其是高速運(yùn)動和復(fù)雜光照下的場景。但是，事件相機(jī)產(chǎn)生的事件數(shù)據(jù)和傳統(tǒng)相機(jī)產(chǎn)生的圖像完全不同。如圖1(a, b)所示，事件相機(jī)通過記錄了每個(gè)像素點(diǎn)的光度變化而產(chǎn)生時(shí)間連續(xù)性的、異步的、稀疏的和不規(guī)則的數(shù)據(jù)。因此傳統(tǒng)的vSLAM算法不能直接運(yùn)用在事件數(shù)據(jù)上。同時(shí)，每個(gè)事件傳遞的信息極少，且極易受到硬件噪聲的影響。此外，事件相機(jī)引入了更加復(fù)雜的多視圖幾何關(guān)系。所以，我們需要一個(gè)新的框架來處理事件數(shù)據(jù)來實(shí)現(xiàn)vSLAM。

圖1. 事件數(shù)據(jù)在時(shí)間空間中的表示、投影到圖像平面上的表示以及基于事件相機(jī)的vSLAM方法的相機(jī)位姿和三維重建圖。

為了能讓基于事件相機(jī)的vSLAM在事件數(shù)據(jù)上實(shí)現(xiàn)位姿估計(jì)和三維重建，研究者設(shè)計(jì)出了多種多樣針對事件相機(jī)的數(shù)據(jù)關(guān)聯(lián)、位姿估計(jì)和三維重建的解決方案。我們將主流的算法分類為四種類別，分別為特征法、直接法、運(yùn)動補(bǔ)償法和基于深度學(xué)習(xí)的方法。特征法通過在事件數(shù)據(jù)中提取并跟蹤特征點(diǎn)實(shí)現(xiàn)vSLAM；而直接法隱式關(guān)聯(lián)事件數(shù)據(jù)一次實(shí)現(xiàn)vSLAM；運(yùn)動補(bǔ)償法通過消除投影在圖像平面上的事件表征所產(chǎn)生的動態(tài)模糊來估計(jì)相機(jī)的運(yùn)動；基于深度學(xué)習(xí)的方法利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端的預(yù)測位姿和三維圖。本文對相關(guān)的研究算法做了詳盡的介紹，并對一些具有代表性的方法進(jìn)行了結(jié)果評估。

圖2. 基于事件相機(jī)的vSLAM的方法總結(jié)表，包括了他的優(yōu)化方法、分類、事件表征、相機(jī)運(yùn)動類型、場景類型以及采用的傳感器等。

二、具體研究進(jìn)展及討論

為了處理事件相機(jī)產(chǎn)生的異步的、不規(guī)則的事件數(shù)據(jù)，研究者利用濾波器和脈沖神經(jīng)網(wǎng)絡(luò)來單獨(dú)處理每一個(gè)原始的事件數(shù)據(jù)，但是這些方法通常需要大量的運(yùn)算。另一方面，研究者提出將一組連續(xù)的事件數(shù)據(jù)轉(zhuǎn)化成同步的事件表征形式，例如二維事件幀、時(shí)間平面和voxel grid，來平衡延遲和運(yùn)算量。更多詳情可見文章第三章。

主流的vSLAM算法通常包括三個(gè)主要的步驟：數(shù)據(jù)關(guān)聯(lián)、位姿估計(jì)和三維重建。它們對相同三維點(diǎn)在不同二維圖像平面上的像素點(diǎn)構(gòu)建關(guān)聯(lián)，通過多視角的幾何學(xué)進(jìn)行位姿估計(jì)和三維重建。基于事件相機(jī)的vSLAM也遵循了這一范式。

特征法通常從事件數(shù)據(jù)中提取并跟蹤特征來構(gòu)建數(shù)據(jù)關(guān)聯(lián)，例如原始的點(diǎn)和線特征。利用特征和顯式的特征關(guān)聯(lián)，特征法能夠估計(jì)每個(gè)特征點(diǎn)對應(yīng)的相機(jī)位姿和三維點(diǎn)。特征法十分依賴于特征提取和算法的表現(xiàn)，而由于事件數(shù)據(jù)中的噪聲和運(yùn)動變化的特性，現(xiàn)有的基于事件相機(jī)的特征提取算法還不夠成熟，使得特征法的效果相對比較差。VIO方法通過結(jié)合慣性數(shù)據(jù)提高特征法的魯棒性并取得了較好的性能。更多詳情可見文章第四章。

直接法分為兩類：(a) 事件-圖像對齊法利用光度變化和絕對光度的關(guān)系來建立每個(gè)事件和參照光度圖像的像素點(diǎn)，(b) 事件表征對齊法利用了事件數(shù)據(jù)中的空間-時(shí)間的關(guān)系對齊兩幀事件表征。由于事件一般產(chǎn)生于高圖像梯度的區(qū)域，這一先驗(yàn)可以幫助直接法篩選像素點(diǎn)。同時(shí)，事件相機(jī)的高幀率特性保證了兩幀之間的相對位姿較小，從而保證了直接法能夠得到最優(yōu)解。更多詳情可見文章第五章。

長時(shí)間跨度的事件幀通常會產(chǎn)生動態(tài)模糊，而運(yùn)動補(bǔ)償法旨在優(yōu)化事件數(shù)據(jù)的對齊銳化事件幀來估計(jì)相機(jī)的運(yùn)動。這種方法能夠保留長期的邊緣模型，提高相機(jī)位姿估計(jì)的魯棒性，同時(shí)它們能夠運(yùn)動到事件數(shù)據(jù)中的時(shí)間戳。但是，運(yùn)動補(bǔ)償法有可能產(chǎn)生事件塌縮的現(xiàn)象，即所有事件對齊到一個(gè)點(diǎn)或者一條線上，而得到不準(zhǔn)確的相機(jī)位姿。更多詳情可見文章第六章。

基于深度學(xué)習(xí)的方法通常將事件數(shù)據(jù)轉(zhuǎn)換成二維的事件表征或者三維的voxel grid，采用神經(jīng)網(wǎng)絡(luò)提取特征來預(yù)測位姿和重建三維圖。(a) 無監(jiān)督學(xué)習(xí)法利用事件的光流作為訓(xùn)練信號來估計(jì)位姿和深度。(b) 監(jiān)督學(xué)習(xí)法直接利用位姿和深度真 值來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而直接預(yù)測位姿和深度。神經(jīng)網(wǎng)絡(luò)能夠提取事件相機(jī)的非線性特征并處理事件噪聲和異常。但是，深度學(xué)習(xí)方法需要大量的訓(xùn)練數(shù)據(jù)，并且其泛用性較差。另外，脈沖神經(jīng)網(wǎng)絡(luò)能夠直接處理異步的、規(guī)則的事件數(shù)據(jù)，但是這項(xiàng)技術(shù)還不夠成熟，它的脈沖消失問題和訓(xùn)練問題有待解決。更多詳情可見文章第七章。

圖3. 四種方法的流程圖，左上為特征法，右上為兩種直接法，包括事件-圖像對齊和事件表征對齊，左下為運(yùn)動補(bǔ)償法，右下為兩種基于深度學(xué)習(xí)的方法，包括無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)。

三、實(shí)驗(yàn)對比

我們首先詳細(xì)介紹了常用的基于事件相機(jī)的vSLAM數(shù)據(jù)集以及近幾年最新的相關(guān)數(shù)據(jù)集。它們提供了事件相機(jī)在不同場景、不同光照條件下的事件數(shù)據(jù)以及相機(jī)的位姿和深度圖。另外，我們詳細(xì)介紹了位姿和深度估計(jì)的評價(jià)標(biāo)準(zhǔn)。我們分別在相機(jī)位姿和深度估計(jì)兩個(gè)子任務(wù)上對具有代表性的算法進(jìn)行了詳盡的比較。我們在相同的設(shè)定下以公正的評測目前的基于事件相機(jī)的vSLAM方法與傳統(tǒng)相機(jī)的方法。相關(guān)指標(biāo)結(jié)果如圖4，5所示。最后，我們討論了四種主流方法的適用場景。

圖4. 深度估計(jì)算法的評估結(jié)果。

圖5. vSLAM位姿估計(jì)的評估結(jié)果。

四、挑戰(zhàn)與展望

在這一節(jié)，我們討論了基于事件相機(jī)的vSLAM面臨的主要挑戰(zhàn)和未來的研究方向。我們在這里做一個(gè)簡要的討論。更多詳情可見文章第九章。

理論研究

理論分析能夠提供基于事件相機(jī)的vSLAM方法泛用性和驗(yàn)證性提供理論保證。近幾年，傳統(tǒng)的vSLAM發(fā)展了許多理論研究，然而基于事件相機(jī)的vSLAM缺乏相應(yīng)的理論研究。如何將傳統(tǒng)的vSLAM的理論研究擴(kuò)展到事件相機(jī)上或者建立新的理論體系是一個(gè)值得研究的未來方向。

歡迎關(guān)注「3D視覺工坊」，加群/文章投稿/課程主講，請加微信：dddvisiona，添加時(shí)請備注：加群/投稿/主講申請

提高惡劣環(huán)境下的魯棒性

即將事件相機(jī)在高動態(tài)感光范圍的環(huán)境下有巨大的優(yōu)勢，但是一些惡劣環(huán)境下的場景依舊會提高事件數(shù)據(jù)的噪聲，降低基于事件相機(jī)的vSLAM方法的準(zhǔn)確率，例如，夜晚場景和極端天氣狀況。如何提高vSLAM方法在惡劣環(huán)境下的魯棒性保有精確的位姿估計(jì)和三維重建是一個(gè)充滿潛力的研究方向。

全局優(yōu)化

由于不準(zhǔn)確的數(shù)據(jù)關(guān)聯(lián)和傳感器的噪聲，基于事件相機(jī)的vSLAM算法會累積偏移誤差，導(dǎo)致在長時(shí)間的相機(jī)運(yùn)動下產(chǎn)生更大的誤差，而偏離實(shí)際的位置。額外的全局優(yōu)化有望消除累積的便宜誤差，例如，全局地圖優(yōu)化和位姿圖優(yōu)化。

多模態(tài)的基于事件相機(jī)的vSLAM

將基于事件相機(jī)的vSLAM方法與多模態(tài)領(lǐng)域進(jìn)行融合可以進(jìn)一步提高算法的魯棒性。例如，慣性傳感器能夠提供慣性數(shù)據(jù)防止相機(jī)跟蹤丟失。事件-圖像對齊直接法利用光度變化和絕對廣度的關(guān)系對齊事件和圖像上的像素點(diǎn)。未來可以進(jìn)一步探究不同傳感器和事件相機(jī)之間互補(bǔ)的特性來得到更精確、魯棒的vSLAM方法。

五、總結(jié)

我們提供了一份基于事件相機(jī)的vSLAM領(lǐng)域的綜述，涵蓋了事件相機(jī)的工具原理、事件預(yù)處理的表征形式、四種主要的vSLAM方法，公開的評估結(jié)果以及未來的研究方向。事件相機(jī)能夠提高vSLAM算法在高速運(yùn)動和高動態(tài)感光范圍場景下的魯棒性。為了能夠利用事件相機(jī)的優(yōu)勢并運(yùn)用到vSLAM上，未來還需要我們更好地處理異步的、稀疏的事件數(shù)據(jù)。我們將長期維護(hù)一個(gè)開放的github倉庫來定期更新最新的工作進(jìn)展和數(shù)據(jù)集 ( https://github.com/kun150kun/ESLAM-survey )。

編輯：黃飛

?