相關(guān)工作

(TSDF-Fusion, DI-Fusion) 首先介紹一下這個(gè)TSDF-Fusion，這個(gè)是一種非常經(jīng)典的顯示表達(dá)，最早于1996年提出。它是在每一個(gè)voxtel里面都會(huì)存TSDF值，也可以存顏色值。存儲(chǔ)的是在一個(gè)很密集的一個(gè)個(gè)網(wǎng)格中，其保存的幾何清晰程度與網(wǎng)格的分辨率相關(guān)。如果我們想得到一個(gè)比較好的結(jié)果，即不在TSDF這一步出現(xiàn)精度損失的話，那么則需要一般512左右的分辨率，也就是說要存512*512*512這么多個(gè)網(wǎng)格數(shù)據(jù)。更新方式如圖1所示，是通過帶DS圖來進(jìn)行融合更新。

圖1 TSDF更新方式 然后我們講一個(gè)非常新的方法是DI-Fusion，分為mapping跟tracking這兩個(gè)部分。Mapping部分是是單純前向計(jì)算的方法，并不急于優(yōu)化，而是提前已經(jīng)訓(xùn)練好編碼層和解碼層。 編碼層輸入的就是點(diǎn)的體素范圍內(nèi)的點(diǎn)坐標(biāo)和法線，然后進(jìn)行編碼后得到一個(gè)特征，再通過解碼出來這個(gè)SDF的值。如果是續(xù)接有很多張深度圖，則在訓(xùn)練時(shí)候已經(jīng)加入這個(gè)更新的過程，來更新特征。tracking有兩部分： SDF的loss和基于顏色的intensity warp loss。 基于幾何SDF的loss是最小化當(dāng)前輸入的深度圖，根據(jù)帶優(yōu)化的相機(jī)外參反投到點(diǎn)云對(duì)應(yīng)的SDF值，然后這個(gè)SDF值按理說是應(yīng)該接近于0， 所以我們就最小化SDF值。SDF值可以由特征通過解碼層得到。基于顏色的優(yōu)化目標(biāo)是當(dāng)前幀的圖片根據(jù)這個(gè)帶優(yōu)化的相機(jī)外參wrap到前一幀對(duì)應(yīng)的顏色應(yīng)該是相同的。

IMAP

IMF的動(dòng)機(jī)是要做一個(gè)輸入為RGB-D的，只用MLP作為場(chǎng)景唯一表達(dá)的實(shí)時(shí)的SLAM系統(tǒng)。這篇文章主要有3個(gè)創(chuàng)新點(diǎn)，首先它是第一個(gè)用神經(jīng)影視表達(dá)的稠密實(shí)時(shí)SLAM系統(tǒng)，同時(shí)能夠同時(shí)優(yōu)化整個(gè)的MLP表達(dá)的三維地圖。其次它是能夠增強(qiáng)隱式神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，還能夠進(jìn)行關(guān)鍵幀選擇和loss指導(dǎo)采樣上。最后，它是并行實(shí)現(xiàn)的，能直接的連上RGB-D相機(jī)從而在線跑數(shù)據(jù)。

接下來講一下這個(gè)system overview，如圖2所示。

圖2 IMF系統(tǒng)概述 上面一行是tracking，下面一行是mapping。tracking是對(duì)于新來的每一幀都要優(yōu)化出它的相機(jī)位置，這個(gè)tracked pose就是他優(yōu)化好的相機(jī)位置，現(xiàn)在判斷新來的這一幀是不是keyframe，如果是的話，則加入keyframe set里面。之后，更新隱式的表達(dá)和相機(jī)的參數(shù)。他使用的是一個(gè)單MLP的結(jié)構(gòu)，feature size為256，輸出是和nerf一樣的color和volume density，可以渲染deeps圖和color圖。 首先是occupancy probability：，這個(gè)是通過一個(gè)類似激活函數(shù)的變換，得到occupancy，之后就能計(jì)算光線到這個(gè)點(diǎn)的截止概率，然后我們得到這個(gè)權(quán)重(類似一個(gè)加權(quán)平均)，如果加到這個(gè)deeps上，其實(shí)就渲染一張deeps圖。如果是加到顏色上的，那么就可以把這個(gè)顏色圖給渲染出來。此外還要算一個(gè)是deeps variance:， 這個(gè)是整條ray上深度的方差，即對(duì)每個(gè)采樣點(diǎn)求方差再加權(quán)。 接下來看看這個(gè)Joint optimization和camera tracking。前一個(gè)是用在mapping里，后一個(gè)是前端的那個(gè)tracking。Joint optimization是隱式表達(dá)幾何的MLP的所有參數(shù)和選中的這些keyframe的相機(jī)外參。 光度損失為，然后將所有像素光損失平均起來就是，幾何損失也一樣。 同時(shí)這兩個(gè)損失之間是有一個(gè)平衡權(quán)重，也就是我們最小化的一個(gè)目標(biāo)，θ是整個(gè)MLP的參數(shù)，ti的集合是所有相機(jī)的外參。 ? ? 接下來講解keyframe selection。先假設(shè)每一次已經(jīng)有一個(gè)新keyframe已經(jīng)加載完成，我們拿到當(dāng)前整個(gè)網(wǎng)絡(luò)參數(shù)的備份就類似當(dāng)前地圖的一個(gè)快照，然后我們每新來的一幀，就從這個(gè)快照里面渲染一張depth圖。它不需要渲染整個(gè)depth圖，就能得到統(tǒng)計(jì)規(guī)律。 所以渲染一部分depth的pixel就跟grand truth的depth pixel相減，然后看這一幀這多少區(qū)域是已被lock區(qū)域表達(dá)。如果小于這個(gè)閾值，則說明這一幀看的地方是比較新的，那么就把它加到keyframe list或者keyframe set里面。 IMF還有一個(gè)比較好的貢獻(xiàn)是active sampling。首先是image active sampling，就比如 我們要把一張待優(yōu)化的圖片，可以將它分成一個(gè)個(gè)bin，先均勻采樣并渲染出來，得到loss的分布，若loss相差較大則根據(jù)lost distribution來分配每個(gè)bin中的pixel數(shù)量。另外一個(gè)是keyframe active sampling，首先它是有一個(gè)全局的keyframe set，但每次mapping的時(shí)候，只選常數(shù)個(gè)frame，這個(gè)選法是能設(shè)計(jì)一種機(jī)制或隨機(jī)選，然后加入到mapping中。 然后講一下他的實(shí)驗(yàn)部分，首先這個(gè)就是他渲染出來的結(jié)果還有keyframe tracking跟ground truth之間的對(duì)比。首先它是跟TSDF fusion進(jìn)行的比較，但TSDF fusion只是一個(gè)mapping的方法，所以要給一個(gè)相機(jī)位置。這樣跑完之后可以發(fā)現(xiàn)就是TSDF fusion的accuracy是最低的，加粗的就代表是最好的結(jié)果。

NICE-SLAM

接下來講解這個(gè)NICE SLAM，這個(gè)是CVPR2022的一個(gè)方法。先看一下這個(gè)demo，給定手持相機(jī)捕獲的RGB-D序列，NICE SLAM可以在大規(guī)模的室內(nèi)場(chǎng)景中生成密集的集合以及準(zhǔn)確的相機(jī)跟蹤，實(shí)現(xiàn)這一點(diǎn)的關(guān)鍵組件是神經(jīng)隱式表達(dá)，給定空間中的點(diǎn)p來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以表示該點(diǎn)的不同場(chǎng)景屬性。例如有符號(hào)、距離場(chǎng)或顏色值。

神經(jīng)隱式表達(dá)可以捕獲高保真的幾何，然后還可以渲染很高清晰度的圖片，然而，幾乎所有這種方法都被認(rèn)為是離線的工具，通常需要數(shù)小時(shí)或者數(shù)天的訓(xùn)練或者優(yōu)化，并且是已知相機(jī)位置的。IMAP首次展示了使用單個(gè)多層感知器及MLP作為神經(jīng)隱式場(chǎng)景表達(dá)的在線RGB-D SLAM system，對(duì)于這樣一個(gè)小房間，IMAP可以持續(xù)學(xué)習(xí)的方式進(jìn)行同時(shí)估計(jì)相機(jī)位姿和密集的場(chǎng)景幾何。但他們使用單個(gè)大MLP作為場(chǎng)景的唯一表達(dá)，因此存在以下問題。 首先，由于容量有限，當(dāng)場(chǎng)景變大時(shí)IMAF會(huì)失敗。其次，每個(gè)新的輸入RGB-D幀都可以更新整個(gè)MLP，因此會(huì)遇到遺忘的問題。最后，優(yōu)化整個(gè)MLP非常慢，尤其是當(dāng)MLP變得很大時(shí)。 相比之下，NICE SLAM對(duì)場(chǎng)景表達(dá)進(jìn)行了簡(jiǎn)單而非常有效的改進(jìn)，NICE SLAM優(yōu)化分層特征網(wǎng)格，并結(jié)合不同空間層級(jí)下域訓(xùn)練的微型MLP的歸納偏差，使用這種表達(dá)，使得NICE SLAM在大規(guī)模室內(nèi)場(chǎng)景中表現(xiàn)良好，解決了網(wǎng)絡(luò)遺忘問題，同時(shí)保證了更少的運(yùn)行時(shí)間，可以快速收斂。 接下來介紹這個(gè)系統(tǒng)的pipeline，如圖3所示。

圖3 NICE SLAM整體框架 給定RGB-D序列，NICE SLAM能同時(shí)估計(jì)相機(jī)位姿和場(chǎng)景的三維幾何，即表示為分層特征網(wǎng)格。首先根據(jù)相機(jī)參數(shù)隨機(jī)采樣射線，沿每條射線，進(jìn)行3維點(diǎn)的采樣，并使用3線形插值提取每個(gè)點(diǎn)的特征，接著使用微型的MLP預(yù)測(cè)光線上三維點(diǎn)的占用值跟顏色值，最終使用類似nerf的體渲染方程，沿射線去核，生成深度跟彩色圖像。 我們關(guān)注輸入跟生成圖像之間的重渲染損失，由于渲染過程是可微的，能夠以交替方式反向求導(dǎo)最小化重渲染損失，通過優(yōu)化分層特征網(wǎng)格來實(shí)現(xiàn)建圖(也就是mapping)，通過優(yōu)化相機(jī)參數(shù)來實(shí)現(xiàn)跟蹤。 這個(gè)微型MLP的解碼器是作為網(wǎng)絡(luò)的一部分進(jìn)行了預(yù)訓(xùn)練，occupancy network由一個(gè)CNN的編碼器和一個(gè)MLP的解碼器組成，與其相同，我們?cè)谟?xùn)練的時(shí)候也是使用了預(yù)測(cè)值跟真實(shí)值之間的交叉商損失來訓(xùn)練編碼器解碼器。訓(xùn)練后NICE SLAM使用解碼器MLP，這樣在優(yōu)化特征網(wǎng)格時(shí)，預(yù)訓(xùn)練的解碼器可以利用從訓(xùn)練集中學(xué)習(xí)到的特定先驗(yàn)來指導(dǎo)優(yōu)化。 接下來仔細(xì)講講，在圖3中，首先coarse level對(duì)應(yīng)的網(wǎng)格的分辨率是比較大的，會(huì)單獨(dú)的出一個(gè)occupancy，也是單獨(dú)會(huì)渲染一張coarse的depth圖，是只用在沒有觀測(cè)到的那部分的幾何上，但訓(xùn)練是用觀測(cè)到的depth圖來進(jìn)行訓(xùn)練。然后中間的這層，首先是middle level，它對(duì)應(yīng)的是一個(gè)分辨率中等的一個(gè)特征網(wǎng)格，從中拿到feature和點(diǎn)坐標(biāo)，然后經(jīng)過MLP得到了一個(gè)occupancy值，我們的fine-level是在他基礎(chǔ)上要預(yù)測(cè)出來一個(gè)residual，那么他是從更高的分辨率里去得到feature，同時(shí)他還把中等分辨率結(jié)合起來通過MLP，這兩個(gè)occupancy就疊加起來，得到這個(gè)fine level occupancy。 最終是顏色，它是要需要分辨率比較高的網(wǎng)格，而且高頻的細(xì)節(jié)比較多，我們是只從這個(gè)features grid里面取到feature，然后跟點(diǎn)坐標(biāo)經(jīng)過MLP，拿到color prediction。我們最終是通過這個(gè)渲染，跟nerf一樣的渲染器，能渲染出來depth跟colorful。需要注意的是這個(gè)幾何MLP是進(jìn)行局部的更新。 下面來看一些結(jié)果。首先，在replica數(shù)據(jù)集與復(fù)現(xiàn)的IMAP進(jìn)行比較，即使在較小的室內(nèi)場(chǎng)景中，NICE-SLAM也能產(chǎn)生更準(zhǔn)確的幾何和相機(jī)的跟蹤。接下來是一個(gè)相對(duì)比較難一點(diǎn)的ScanNet數(shù)據(jù)集，相比于IMAP跟DIF fusion，我們的相機(jī)跟蹤更為穩(wěn)健。 與IMAP相比，NICE SLAM新穎的場(chǎng)景表示不僅提高了建圖和跟蹤的質(zhì)量，同時(shí)需要更少的計(jì)算，從圖4中可以看出，NICE SLAM只需要IMAP 1/4的flops。而值得一提的是，即使對(duì)于非常大的場(chǎng)景，NICE SLAM所需要的flops也保持不變，這是因?yàn)槲覀冎辉诋?dāng)前相機(jī)視錐內(nèi)的這些feature我們進(jìn)行優(yōu)化。相反由于IMAP使用單個(gè)MLP，MLP容量限制導(dǎo)致其在處理更大型的場(chǎng)景時(shí)會(huì)需要更多的參數(shù)，從而會(huì)導(dǎo)致更多的flopes。

圖4 計(jì)算復(fù)雜度對(duì)比

未來工作

接下來講講神經(jīng)隱式表達(dá)未來的一些工作。首先加入loop closer，這個(gè)是一個(gè)比較難加的一個(gè)東西，尤其是在場(chǎng)景很大的時(shí)候。其次如何加入Global BA是一個(gè)很有意思的點(diǎn)。 同時(shí)我們可以自適應(yīng)的去分配voxels。如果是能延展到室外場(chǎng)景就更好了，因?yàn)槭彝鈭?chǎng)景會(huì)影響key next sensor，所以我們得看看怎么樣。還有一點(diǎn)期望是怎么樣能讓相機(jī)的跟蹤比傳統(tǒng)方法還好或者跟傳統(tǒng)方法一樣好。

編輯：黃飛

?