精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

SDMNet:大規模激光雷達點云配準的稀疏到稠密匹配網絡

3D視覺工坊 ? 來源:同濟智能汽車研究所 ? 2023-05-24 15:53 ? 次閱讀

按:自動駕駛車輛需要準確地感知和理解周圍環境,相比于二維的視覺感知,三維視覺感知提供了更多的信息和更準確的空間建模能力。而點云配準是三維視覺感知中的一項基本問題,在自動駕駛中的地圖、定位等方面有著重要作用。基于特征匹配的配準算法是點云配準領域的核心框架之一,其主要基于特征相似度求解匹配點對,并結合魯棒匹配算法得到最終的配準結果,該框架更能夠適應自動駕駛場景,但大規模且復雜的點云場景也對點云配準算法的效率和準確性提出了更高的要求。基于該問題,作者提出了一種由稀疏到稠密的匹配網絡SDMNet,實現了配準精度和效率的良好平衡。在KITTIOdometry、NuScenes和Apollo-SouthBay數據集上都達到了目前的最優性能,且達到了和稀疏匹配算法相當的計算效率。

摘要:點云配準是三維視覺領域的基礎問題之一,其目標為基于給定的兩幀點云估計其相對位姿變換。以前的基于學習的激光雷達點云配準方法可以分為兩種方案:稀疏匹配(Sparse-to-Sparse)和稠密匹配(Dense-to-Dense)。然而,對于大規模室外LiDAR點云,解決密集點對應關系非常耗時,而稀疏關鍵點匹配容易受到關鍵點檢測誤差的影響。基于以上考慮,我們提出了SDMNet,一種新的針對大規模室外點云配準的稀疏對稠密的關鍵點匹配網絡。本文將特征匹配分為兩個階段,即稀疏匹配與局部稠密匹配。在稀疏匹配階段,從源點云中采樣一組稀疏點,然后使用軟匹配網絡和魯棒的離群值過濾模塊將它們與密集目標點云進行匹配。此外,本文采用了一種新的基于最優傳輸的鄰域匹配模塊,增強特征的鄰域一致性,顯著提高了性能。在局部稠密匹配階段,通過在高置信度稀疏對應點對的局部空間鄰域中執行點的匹配來高效地獲取密集對應關系。本文在三個大規模室外激光雷達點云數據集上進行了大量實驗證明,本文所提出的SDMNet以高效率達到了最高精度

Ⅰ引言

點云配準旨在估計最佳的剛性變換,以使兩個點云對齊。作為三維計算機視覺中的基本任務,點云配準已在各種實際應用中使用,包括自動駕駛[1]、智能機器人[2]、虛擬現實[3]等。隨著深度學習的發展,基于學習的方法在點云配準方面取得了顯著的性能。早期的基于端到端的估計位姿變換的方法[4][5]主要集中在物體級點云上,并對兩個點云的分布和對應關系做出了很強的假設,這對于具有復雜分布的大規模點云缺乏可擴展性。近期對大規模激光雷達點云的基于學習的配準方法遵循著由特征提取、魯棒的特征匹配的框架,可以分為兩類:稠密匹配和稀疏匹配。如圖1(a)所示,稠密匹配方法[6][7]首先利用預先計算的描述符構建潛在的密集對應關系,然后利用異常值排除方法排除錯誤的對應關系。然而,針對大規模點云,解決稠密的匹配關系是相當消耗時間的為了解決計算問題,如圖1(b),稀疏點云的匹配方法首先檢測關鍵點,然后僅在稀疏點云中執行配準。然而,關鍵點檢測并不總是完美的。有限的關鍵點重復特征導致一個點有很大的風險丟失其在另一幀中的匹配點。此外,關鍵點檢測錯誤也會導致已經匹配好的關鍵點產生有害的偏離,降低配準的精度。

bb702542-fa05-11ed-90ce-dac502259ad0.png

圖1 點云配準的不同匹配方案。綠線:正確點對對應關系。紅線:異常值對應關系。我們使用藍色和黃色的點表示使用的源點和目標點,使用淺藍色和淺黃色的點表示某種方案中未使用的點。

為了處理上述的問題,我們提出了SDMNet,一種新的由稀疏到密集的針對大規模室外點云的配準方法。稀疏到稠密匹配方案如圖1(c)所示。具體而言,我們將配準問題分為兩個階段,即稀疏匹配階段和局部稠密匹配階段。在稀疏匹配階段,給定要對齊的源點云和目標點云、。我們首先使用最遠點采樣(FPS)[9]算法從中采樣一組稀疏點。然后我們設計了一個軟匹配網絡,為采樣的源點預測虛擬對應的目標點,其中引入了空間一致性特征以提高可靠性。此外,我們設計了一種新的損失函數概率距離損失(Probabilistic distance loss),用于對軟匹配網絡進行額外的監督。然后,我們采用了基于學習的SCNonlocal [7]與PointCN [10]相結合的模型對離群的稀疏的匹配關系中進行剔除。為了增強鄰域一致性,我們使用了一種新的鄰域匹配模塊,利用基于最優傳輸的方法進行局部鄰域匹配,顯著提高了性能。在局部稠密匹配階段,我們在高置信度稀疏對應點的局部空間鄰域中進行點匹配。例如,給定兩個稀疏對應點和,我們只在這兩個點的鄰域點中搜索稠密對應關系,這比在全局空間中進行稠密匹配更高效。此外,鄰域對應關系可以直接從前面的鄰域匹配模塊中獲得,從而進一步降低了成本。我們使用簡單的OA-Net [11]模塊進行稠密對應關系過濾。

與稀疏對稀疏匹配方案相比,通過保持目標點云的密度,我們減小了源點失去對應點的風險,并避免了由于關鍵點檢測錯誤引起的性能下降。與稠密匹配方案相比,我們將特征匹配建模為一個兩階段的過程,避免了在兩個密集點集之間進行昂貴的計算。此外,在稀疏匹配階段,候選的點對匹配關系的數量相對較小,我們可以利用更強大的策略提高稀疏匹配的魯棒性而不引入大量的計算負擔,且在稀疏匹配階段的鄰域匹配模塊的匹配結果可以在局部密集匹配階段中重新使用,避免了重復計算,進一步提高了效率。為了評估所提出的SDMNet方法,我們在三個大規模的室外LiDAR點云數據集上進行了廣泛的實驗,分別是KITTI里程計數據集[12]、NuScenes數據集[13]和Apollo-SouthBay數據集[14]。實驗結果表明,所提出的方法在高效率的同時實現了最先進的性能。我們也評估了該方法在室內點云配準數據集上的表現結果(如3Dmatch數據集),結果同樣表明我們的方法有卓越的性能。

作為總結,我們的主要貢獻如下:

1、我們針對激光雷達的點云配準提出了一種新的由稀疏到稠密的匹配模式,避免了關鍵點檢測造成的性能下降和稠密匹配中高的計算開銷。 2、我們設計了一種基于最優傳輸算法的新型鄰域匹配模塊,將鄰域一致性集成到匹配流程中,進一步提高了配準性能。 3、在三個大規模室外LiDAR點云數據集上進行的廣泛實驗證明了所提出的SDMNet方法具有高精度和高效率。 Ⅱ相關工作

傳統的點云配準方法可以分為局部和全局方法。局部方法中迭代最近點(Iterative Closest Point,ICP)[15]及其變種[16],[17],[18]是點云配準中最常用的方法。盡管ICP具有高準確性和高效率,但它需要初始轉換以避免陷入局部最小值。正態分布變換(Normal Distribution Transform,NDT)是另一類局部配準方法[19],[20],它將源點云表示為帶有正態分布的網格單元,然后將目標點云與其進行匹配。與基于ICP的方法相比,NDT對初始轉換的敏感性較低,但它也面臨局部最優的問題。在全局方法中,如分支定界(Branch-and-Bound,BnB)[21],[22]和半定規劃(Semi-Definite Programming,SDP)[23],[24],[25]被用于實現全局配準。然而,這些方法通常耗時較長,因此不能應用于實時應用。基于特征匹配的方法對于全局點云配準非常有效。點云的經典局部特征[26],[27],[28]通常使用局部幾何屬性提取,這在Guo[29]等人的綜述中已經詳細介紹。隨機采樣一致性(Random Sample Consensus,RANSAC)[30]及其變種[31],[32],[33]被廣泛用于從特征空間中排除異常值,并獲得初始候選對應關系。然而,在異常值比例較低的情況下,RANSAC需要大量迭代才能達到最優解,這導致效率較低。

基于學習的點云配準可以分為兩種方案,即端到端配準和基于特征匹配的配準。端到端的配準在單次前向傳遞中進行特征提取和位姿估計。例如,PointNetLK [5]將PointNet [34]與Lucas和Kanade算法 [35]結合起來進行配準。Deep Closest Point (DCP) [4]使用帶有軟指針的Transformer架構來預測軟對應關系。特征度量配準(Feature-metric Registration,FMR)[36]通過最小化全局特征投影誤差來對齊兩個點云。IDAM [37]提出了一種迭代的距離感知相似性矩陣卷積模塊,并結合了兩階段點云消除(下采樣)技術,實現了高效準確的配準。然而,端到端方法對兩個點云的分布和對應關系做出了很強的假設,因此在大規模復雜場景中無法達到預期的結果。

基于特征匹配的方法首先利用預先計算的特征構建點對應關系,然后應用基于學習的異常值剔除模塊進行對應關系過濾[6][7][8][39][40],41]。隨著深度學習的快速發展,出現了許多基于學習的局部點云特征[42][43][44][45][46]。其中,FCGF是最常用的基于學習的特征之一,它利用基于3D稀疏卷積的ResUNet架構來提取特征[42][47]。Deep Global Registration (DGR) [6]提出使用6D稀疏卷積網絡來過濾預先計算的點對應關系。DGR在室內點云配準問題中取得了出色的性能。PointDSC [7]將深度空間一致性引入到配準流程中,進一步提高了性能。然而,這些方法主要針對室內點云設計。盡管這些方法可以遷移到室外LiDAR點云,但由于稠密匹配方案面臨著高計算復雜性問題。DeepVCP [40]是專門為LiDAR點云配準設計的,然而只能實現局部配準,因為對應關系是在局部空間中進行搜索的。最近,Lu等人[8]提出了一種名為HRegNet的分層網絡,用于室外LiDAR點云配準,該方法在準確性和效率方面優于先前的方法,但稀疏關鍵點匹配方案容易受到關鍵點檢測誤差的影響。

Ⅲ本文方法

3.1 整體架構

網絡的整體架構如圖2,輸入網絡的為源點云與目標點云、。我們首先使用共享的特征提取器提取特征。然后從中利用最遠點采樣算法采樣個稀疏點,確保他們空間上分布均勻。在稀疏匹配階段,我們將采樣的稀疏點與密集目標點云進行匹配,構建一組稀疏對應關系。然后,在局部密集匹配階段,我們不是對兩個密集點云進行匹配,而是僅匹配高置信度稀疏對應點的局部鄰域點,以實現細粒度的配準結果。接下來,我們將詳細描述稀疏匹配階段和局部密集匹配階段。

bb7bd6e4-fa05-11ed-90ce-dac502259ad0.png

圖2:SDMNet整體架構

3.2 稀疏匹配階段

稀疏匹配階段的目標是生成可靠和準確的稀疏對應關系。給定個稀疏點,我們首先使用軟匹配網絡從中預測個虛擬的對應點。然后,我們引入鄰域匹配模塊,為每個對應關系獲取鄰域一致性特征,這也將成為后續稀疏對應關系篩選模塊的輸入之一。

3.2.1 軟匹配網絡

我們采用了一種軟匹配策略去生成虛擬點,這種策略受到HregNet[8]的啟發。此外,我們將匹配特征的空間一致性考慮在內,改善虛擬生成點的可靠性。具體的,針對確定的,我們在中搜索個特征空間中的近鄰點參與軟匹配。為了提高空間一致性,我們針對選擇其空間最近鄰點及其在點云中的特征空間中的個近鄰點。計算與之間的距離及其對應的個近鄰點之間的距離,形成一個的矩陣。上述的計算過程可以通過下式表示:

bb82ee3e-fa05-11ed-90ce-dac502259ad0.png

基于上述,我們進一步產生了距離相異性矩陣,即對中的每個元素減去對應的。直觀的看,編碼了匹配關系中的空間一致性。考慮到離群的匹配關系對應的分布的隨機性,對于一對匹配點,當其近鄰存在與之在空間上具有一致性,那么這就有很大可能是一對正確的匹配點。因此,我們利用表示的空間相似度特征。

我們將采樣的源點和其候選的對應點的坐標、高維特征以及空間一致特征拼接起來,作為共享多層感知機(Shared-MLP)[34]的輸入。然后使用最大值池化層(maxpool)以及softmax函數來預測每個候選點的軟匹配權重。同時,該權重表示該點是正確對應的可能性。最終的虛擬對應點及其特征可以通過候選點及其特征按照軟匹配權重的加權和來計算。為了訓練軟匹配網絡,我們受被用于關鍵點檢測[48]的概率倒角損失的啟發設計了一種新穎的概率距離損失,本文將在第3.4節詳細描述該損失。

3.2.2 鄰域匹配

我們采用了一種基于最優傳輸的鄰域匹配模塊生成一個特征來編碼兩個局部鄰域的鄰域一致性。如圖3所示,為每對匹配點,分別搜索其鄰域的個點形成兩個點簇,每個點簇有個點,每個點含義維度的特征,然后基于最優傳輸算法對齊其鄰域特征。最優傳輸算法是一種優化算法,其通過最小化傳輸的代價矩陣[51]得到最優匹配結果。在這里,我們使用離散版本的最優輸運模型,其中源分布和目標分布都是離散的。我們首先使用特征空間中簡單的點對點的歐氏距離構建一個成本矩陣。可以表示從第個源鄰近點到第個目標鄰近點的運輸成本。源分布和目標分布都初始化為均勻分布,表示每個鄰近點的重要性相等。形式上,設,,其中表示所有元素為的維向量。這里的最優輸運問題可以表示為下式:

bb885e64-fa05-11ed-90ce-dac502259ad0.png

其中是解決的最優輸運計劃,表示Frobenius內積。本文采用了IPOT算法[53]實現了高精度、高效率的最優傳輸優化。得到后將特征通過將特征對齊。于對齊后的鄰域特征進行拼接從而得到兩個對應鄰域的共同特征。將該特征送入共享的MLP中,通過最大值池化后得到鄰域一致性特征。該特征將融入后續的匹配框架中,進一步提高了特征匹配的精度。

bb8e22ea-fa05-11ed-90ce-dac502259ad0.png

圖3 鄰域匹配模塊的架構。給定兩個局部鄰域中的點形成的點簇,通過解決一個最優傳輸問題來計算軟分配矩陣,以對齊兩組特征。

3.2.3稀疏對應關系的過濾

我們采用了使用PointCN的SCNonlocal模塊來執行稀疏對應關系的過濾。SCNonlocal模塊在[7]中被提出,它引入了空間一致性以實現可靠的匹配點預測。給定相匹配的點組:、。假設是一對匹配的點,SCNonlocal模塊首先計算一個矩陣來表示這一組關鍵點之間的空間一致性,如下式:

bb94f35e-fa05-11ed-90ce-dac502259ad0.png

其中,是一個控制對不同距離敏感度的參數。給定潛在對應集合的輸入特征圖,我們采用三個線性投影層來生成query:、鍵:和值:的。基于和之間的點積,計算特征相似性矩陣。然后,更新后的特征可以表示為

bb99ca96-fa05-11ed-90ce-dac502259ad0.png

為了獲取全局的上下文信息,我們在SCNonlocal模塊之后進一步應用了一個簡單的PointCN模塊。PointCN是一種高效的基于學習的異常值排除方法,它僅由輕量級的多層感知機(MLP)和上下文歸一化層(CN)組成。緊隨其后的是Sigmoid函數,用于預測每個稀疏對應關系的置信度分數。稀疏對應關系過濾的過程可以形式上表示為下式:

bba095f6-fa05-11ed-90ce-dac502259ad0.png

其中表示Sigmoid函數。對應關系的輸入特征由3D坐標和來自之前鄰域匹配模塊的鄰域一致性特征拼接組成。由于稀疏采樣點數量較少,我們可以在稀疏匹配階段引入復雜的操作,如鄰域匹配模塊和軟匹配網絡,以提高稀疏對應關系的魯棒性和準確性,同時實現高效的點云配準。

3.3 局部稠密匹配

我們在局部鄰域中進行局部稠密匹配以獲得稠密的相互匹配的點對。通過將稠密匹配問題分解為多個小的局部稠密匹配問題是高效的。此外,考慮到鄰域匹配模塊可以輸出兩個局部鄰域之間的軟分配矩陣,可以直接獲得局部稠密點云之間的對應關系,進一步節省計算成本。我們將高置信度稀疏點對的近鄰點簡單地組合成一個密集對應關系的集合。然后采用Order-Aware Network (OA-Net) [11]來進行密集對應關系的過濾。OA-Net是一種有效的基于學習的異常值排除方法,基于PointCN構建,并引入DiffPool [54]和DiffUnpool層構建分層結構,以捕捉局部上下文信息。我們將點云的3D坐標及其特征和對應的稀疏置信度拼接,將其作為OA-Net的輸入,輸出是密集對應關系的置信度。

最后,最優剛性變換通過類似于weighted kabsch algorithm[55]的算法進行估計,如下式:

bba7553a-fa05-11ed-90ce-dac502259ad0.png

對上述過程的效率進行分析,在經過體素下采樣后,在KITTI數據集中源點云和目標點云中的點數分別為。本文將采樣點的數量為設為,鄰域點的數量為設為,構建對應關系的計算量大約為,而在密集對密集匹配方法中為(是特征維度,對于廣泛使用的FCGF [42],)。因此,與密集對密集匹配方法相比,所提出的方法可以節省約10倍的計算量。

3.4 損失函數

本算法的損失函數由三部分組成,旋轉與平移損失用于下游配準任務的訓練,見式(7)。分類損失用于對匹配點對的置信度的學習進行監督,該損失函數見式(8),其中為置信度,取決于匹配點之間匹配程度,當高度匹配時為1,否則為0,BCE即計算二元交叉熵損失。本文提出的一種新的損失為概率距離損失,旨在為軟匹配網絡提供額外的監督信息,該損失函數見式(9),最小化式中的第二項傾向于減小高置信度對應點之間的距離,并同時減小具有較大距離的對應關系的置信度。第一項是為了避免在優化第二項時降低所有對應關系的置信度。從而引導軟匹配網絡更好地學習稀疏對應關系之間的距離和置信度。

bbacbe44-fa05-11ed-90ce-dac502259ad0.png

bbb1ef36-fa05-11ed-90ce-dac502259ad0.png

bbb8eaf2-fa05-11ed-90ce-dac502259ad0.png

Ⅳ實驗 4.1 數據集

我們在三個大規模室外LiDAR點云數據集上進行了實驗,分別是KITTI里程計數據集[12]、NuScenes數據集[13]和Apollo-SouthBay數據集[14]。對于KITTI數據集和NuScenes數據集,我們使用[8]中提供的點云配對數據進行所提出方法的訓練、驗證和測試。Apollo-SouthBay數據集是一個包含多種場景的大規模數據集。此數據集最初是用于車輛定位[14],姿態經過精心微調,適合用于點云配準的評估。Apollo-SouthBay數據集提供了官方的訓練和測試數據集劃分。我們按照[8]的方法,將當前幀與之后的第10幀作為一對點云進行配準。我們還隨機抽取了訓練數據的20%作為驗證集。

4.2 評估指標

我們采用相對平移誤差(RTE)與相對旋轉誤差(RRE)作為我們的評價指標,如下式

bbbf03c4-fa05-11ed-90ce-dac502259ad0.png

其中表示矩陣的跡。我們還計算了配準召回率(registration recall),它定義為成功配準的比例(即RTE和RRE在預定義的閾值內)。按照[8]的方法,我們計算了平均RTE和RRE以及標準差。此外,只有成功配準的配對被包括在此計算中。在所有實驗中,平移與旋轉的成功的閾值設置為2米和5度。此外,我們也計算了了所有配對的平均RTE和RRE,以進行更全面的比較。

4.3 實驗結果

按照[8]的方法,我們將提出的方法與6種代表性的傳統配準方法進行比較,包括點對點和點對面的ICP(ICP(P2P)和ICP(P2Pl))[15]、Go-ICP [21]、Fast Global Registration (FGR) [58]、RANSAC [30](使用FCGF [42]作為特征)以及使用FCGF估計的對應關系的TEASER [25]。此外,我們將SDMNet與5種基于學習的方法在KITTI數據集和NuScenes數據集上進行了比較,其中包括兩種對象級別的配準方法(Deep Closest Point (DCP) [4]和IDAM [37]),兩種室內點云配準方法(Feature-metric registration (FMR) [36]和Deep Global Registration (DGR) [6]),以及最先進的LiDAR點云配準網絡HRegNet [8]。

圖4為召回率隨不同的RRE與RTE閾值的變化情況,可以看出本文的模型SDMNet在極小的閾值下就能得到很高的成功率,且在任何閾值下的成功率均達到了最優。表1展示了不同配準算法在KITTI與NuScenes數據集上的性能。可見,與之前的最優算法HRegNet相比,SDMNet在KITTI數據集上實現了超過20%的RTE降低,10%的RRE降低,并且具有更高的配準召回率。此外,由于我們高效的稀疏到稠密匹配方案,所提出的方法在推理速度上實現了可比或甚至更快的速度,與HRegNet相當。

bbc5ceac-fa05-11ed-90ce-dac502259ad0.png

bbcaf17a-fa05-11ed-90ce-dac502259ad0.png

bbd52f5a-fa05-11ed-90ce-dac502259ad0.png

圖4 配準召回率。在KITTI與NuScenes數據集設置不同的RRE與RTE閾值得到不同模型對應的召回率 表1 配準算法在KITTI與NuScenes數據集上的性能

bbdb44f8-fa05-11ed-90ce-dac502259ad0.png

在Apollo-SouthBay數據集上,我們根據表格1將提出的SDMNet與兩種最佳手工設計方法(即RANSAC和TEASER)以及兩種基于學習的基準方法(即HRegNet和DGR)進行了比較。我們重新在Apollo-SouthBay數據集上對這兩個網絡進行了訓練,結果顯示在表格2和圖5中。與之前表現最佳的方法HRegNet相比,SDMNet在推理速度方面表現相當,并且在RTE和RRE方面減少了約14%和27%,并且具有更高的配準召回率,這證明了所提出方法的高配準精度和效率。

表2 配準算法在Apollo-SouthBay數據集上的性能

bbe4a64c-fa05-11ed-90ce-dac502259ad0.png

4.4 消融實驗

我們進行了豐富的消融實驗,以分析所提出的SDMNet的不同模塊和參數。所有的消融實驗都是在[8]提供的KITTI數據集上進行的。

(1)對稀疏點數量消融:表3結果顯示采樣的稀疏點數量 S 顯然會影響配準性能。直觀上,采樣更多的點可以覆蓋更廣的點云,從而提高魯棒性和準確性。然而,更多的采樣點也會導致效率降低。

表3 對稀疏點數量消融實驗結果

bbecfb12-fa05-11ed-90ce-dac502259ad0.png

(2)對軟匹配網絡消融:我們進行實驗分析軟匹配網絡的影響。根據表5的結果,沒有軟匹配網絡時,RTE 增加約5%。需要注意的是,我們設計了一種新穎的概率距離損失來訓練軟匹配網絡,結果顯示,沒有使用進行訓練時,RTE增加約7%,配準召回率也降低。我們還進行了不同候選對應點數量的實驗。結果顯示,的表現略優于。然而,我們觀察到將增加到8會導致性能下降,因為大量錯誤的候選點會產生負面影響。為了進一步驗證有效性,我們計算了帶有和不帶有軟匹配網絡的稀疏對應關系的正確匹配點比例。根據圖7中顯示的結果,使用軟匹配網絡可以增加該比例,這表明該策略可以恢復一些因簡單最近鄰搜索而丟失的對應關系。

表4 對軟匹配網絡消融實驗結果

bbf5d08e-fa05-11ed-90ce-dac502259ad0.png

bbfd96ca-fa05-11ed-90ce-dac502259ad0.png

圖5 稀疏對應關系的正確匹配點比例,包括使用軟匹配網絡(SMN)和不使用(w/o)軟匹配網絡的情況

(3)對局部稠密匹配階段消融:根據結果,沒有局部稠密匹配階段時,RTE和RRE分別增加約14%和39%,這表明局部稠密匹配階段對于配準性能的優化作用。此外,由于局部對應關系可以直接從前面的鄰域匹配模塊導出,局部稠密匹配階段不會引入很大的計算成本。值得注意的是,即使沒有局部稠密匹配階段,我們的性能仍優于HRegNet。

表5 對局部稠密匹配階段消融結果。為搜索最近鄰的數目。

bc073180-fa05-11ed-90ce-dac502259ad0.png

(4)對鄰域一致性特征的消融:為了驗證設計的鄰域一致性特征的有效性,我們首先重新訓練了沒有該特征的SDMNet,并在表6中展示了結果。根據結果,在沒有該特征的情況下,RTE和RRE分別增加了超過16%和4%。我們還提供了我們SDMNet去除了軟匹配網絡、鄰域一致性特征和局部稠密匹配階段(即SDMNet)的性能。根據表7的結果,SDMNet在所有指標上優于SDMNet。

表6 對鄰域一致性特征的消融結果

bc0ff5fe-fa05-11ed-90ce-dac502259ad0.png

(5)對于優化傳輸算法的消融研究,我們還使用Sinkhorn算法作為進行實驗,以展示在我們的場景中IPOT算法的有效性。根據表8的結果,由于相對于Sinkhorn算法而言,IPOT算法產生了更精確的收斂最優解,因此具有更好的準確性。

表7 Sinkhorn算法與IPOT算法的比較

bc1715fa-fa05-11ed-90ce-dac502259ad0.png

此外,我們還對不同內/外迭代次數的性能進行了分析。根據表8的結果,較少的迭代次數會導致性能較差,因為對齊質量較差。然而,當外部迭代次數達到50時,性能改進就趨于飽和。此外,當將內部迭代次數增加到2時,我們沒有觀察到明顯的改進。考慮到時間成本,我們在最終實現中將設置為1,設置為50。

表8 對IPOT不同內/外迭代次數的性能的比較

bc1bc7d0-fa05-11ed-90ce-dac502259ad0.png

另外,為了更好地說明基于最優傳輸的對齊的有效性,我們計算了變換前后相鄰點的特征距離,統計了內點的對數(即特征距離在距離閾值內的點對數),變換前和變換后記為和。然后,我們計算。根據圖6的結果,最優傳輸顯著減小了點對之間的特征距離,表明進行了有效的鄰域對齊。

bc250a52-fa05-11ed-90ce-dac502259ad0.png

圖6 最優傳輸后的內點數量與之前的內點數量之比(在不同的特征距離閾值下)

4.5 定性結果可視化

我們在圖7中提供了三個數據集上定性點云配準結果的幾個樣例。第一列和第二列分別顯示了稀疏匹配階段和局部密集匹配階段估計的對應關系。我們對置信度低于閾值的對應關系進行了過濾,以便更好地展示。根據定性結果,稀疏匹配階段可以生成可靠的稀疏對應關系,這些對應關系在局部密集匹配階段進一步稠密化。圖7的最后一列顯示了配準結果,表明估計的變換可以準確地對齊兩個點云。

bc2beebc-fa05-11ed-90ce-dac502259ad0.png

圖7 SDMNet的定性可視化。每一行顯示一個定性配準結果樣本。為了更好地可視化過濾了置信度低于閾值的對應點。藍色點為源點云,黃色點為目標點云。綠色線為估計的對應關系。 Ⅴ 結論

本文提出了一種基于學習的室外激光雷達點云配準方法,稱為SDMNet。該方法采用了一種新的稀疏到稠密匹配方案,很好地結合了稠密匹配的細粒度信息和稀疏匹配的高效性。此外,我們引入了基于最優輸運的鄰域匹配模塊,將鄰域一致性融入匹配流程中,顯著提高了配準性能。通過對三個大規模室外激光雷達點云數據集進行大量實驗,驗證了所提方法的準確性、魯棒性和效率。此外,我們還進行了豐富的消融研究,詳細分析了所提出的SDMNet不同組件和參數的影響。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 計算機視覺
    +關注

    關注

    8

    文章

    1696

    瀏覽量

    45930
  • 激光雷達
    +關注

    關注

    967

    文章

    3943

    瀏覽量

    189626
  • 數據集
    +關注

    關注

    4

    文章

    1205

    瀏覽量

    24649

原文標題:SDMNet:大規模激光雷達點云配準的稀疏到稠密匹配網絡

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    激光雷達是自動駕駛不可或缺的傳感器

    看到這種低成本的激光雷達,從研發、樣品商用,可能會比原來預想的周期更快。因為不是一家激光雷達公司在努力,而是整個產業鏈都在努力。是在同
    發表于 09-08 17:24

    常見激光雷達種類

    單線激光雷達特點:結構簡單、掃描速度快、分辨率高、可靠性高、成本低。單線激光雷達實際上就是一個高同頻激光脈沖掃描儀,加上一個一維旋轉掃描。單線激光雷達雖然原理簡單但是可以有效、高頻的測
    發表于 09-25 11:30

    激光雷達面臨的機遇與挑戰

    機遇激光雷達在智能機器生態系統中有很多機遇。與使用二維圖像相比,能夠更容易的被計算機使用,用于構建物理環境的三維形象——二維圖像是人腦最容易理解的數據,而對于計算機來說,
    發表于 09-26 14:30

    固態激光雷達

    `我們已經對單線激光雷達司空見慣,其旋轉線掃的測量方式導致造成壽命問題和價格居高不下。 因此,北醒研發了CE30,它是一款具有大視場角的固態激光雷達。它可同時輸出132°水平視場、9度垂直視場范圍內
    發表于 01-04 10:18

    激光雷達

    `我們已經對單線激光雷達司空見慣,其旋轉線掃的測量方式導致造成壽命問題和價格居高不下。 因此,北醒研發了CE30,它是一款具有大視場角的固態激光雷達。它可同時輸出132°水平視場、9度垂直視場范圍內
    發表于 01-11 09:21

    北醒固態設計激光雷達

    線的固態激光雷達將在今年的第三季度進入大規模的量產發貨階段。但即使還是在樣品階段,LR30的展出已經體現了北醒對于產品應用的細致考慮,本次CES展出的兩臺LR30,共同覆蓋了北醒展位前的全景以及
    發表于 01-25 09:36

    北醒固態激光雷達

    線的固態激光雷達將在今年的第三季度進入大規模的量產發貨階段。但即使還是在樣品階段,LR30的展出已經體現了北醒對于產品應用的細致考慮,本次CES展出的兩臺LR30,共同覆蓋了北醒展位前的全景以及
    發表于 01-25 09:38

    固態設計激光雷達

    線的固態激光雷達將在今年的第三季度進入大規模的量產發貨階段。但即使還是在樣品階段,LR30的展出已經體現了北醒對于產品應用的細致考慮,本次CES展出的兩臺LR30,共同覆蓋了北醒展位前的全景以及
    發表于 01-25 09:41

    北醒固態激光雷達,歡迎壇友看看

    的固態激光雷達將在今年的第三季度進入大規模的量產發貨階段。但即使還是在樣品階段,LR30的展出已經體現了北醒對于產品應用的細致考慮,本次CES展出的兩臺LR30,共同覆蓋了北醒展位前的全景以及其他展位
    發表于 01-26 09:19

    激光雷達除了可以激光測距外,還可以怎么應用?

    簡單的3D雷達,獲取三維數據呢?目前市面上主流的有2種方式:1、采用線狀激光器,將原先的一個變成一條線型光;2、使用一個2D激光雷達掃描,同時在另一個軸進行旋轉,從而掃描出3D信息;
    發表于 05-11 15:33

    激光雷達

    想了解行業國內做固態激光雷達的廠家,激光雷達里面是怎么樣的啊
    發表于 01-17 15:29

    激光雷達數據分割算法的嵌入式平臺上的部署實現

    點擊上方“AI算法修煉營”,選擇“星標”公眾號精選作品,第一時間送達這篇文章是激光雷達數據分割算法的嵌入式平臺上的部署實現。主要的創新有兩
    發表于 12-21 08:28

    詳解激光雷達數據的處理過程

    隨著激光雷達的上車數量的不斷攀升,如何用好激光雷達成為了重中之重,而用好激光雷達的關鍵之一就在于處理好點數據。
    的頭像 發表于 03-14 09:36 ?3777次閱讀

    激光雷達預處理介紹

    激光雷達作為自動駕駛最常用的傳感器,經常需要使用激光雷達來做建圖、定位和感知等任務。 而這時候使用降低點規模的預處理方法,可以能夠去除無關區域的
    的頭像 發表于 11-27 18:11 ?853次閱讀

    激光雷達數據包含哪些信息

    )、環境監測、城市規劃等領域。激光雷達數據是激光雷達系統收集的一系列三維空間坐標點,包含了豐富的空間信息。本文將介紹
    的頭像 發表于 08-29 17:18 ?782次閱讀