国产精品三级久久_国产亚洲成人日韩_西西人体在线视频播放_亚洲欧洲日韩5388_看永久免费无卡无码A级毛片_最新中文字幕在线2024_日本午夜高清视频_在线观看自拍少妇精品_最新国产精品无码

針對(duì)在時(shí)變的室外環(huán)境中難以視覺(jué)定位的問(wèn)題，博士生顏深創(chuàng)新性地提出一種解決方案 SensLoc。SensLoc 利用移動(dòng)設(shè)備內(nèi)置的傳感器數(shù)據(jù)，如 GPS、指南針和重力傳感器，為視覺(jué)定位提供有效的初始位姿和約束條件，從而縮小圖像檢索和位姿估計(jì)的搜索空間。此外，SensLoc 還設(shè)計(jì)了一個(gè)直接的 2D-3D 匹配網(wǎng)絡(luò)，以高效地建立查詢(xún)圖像與三維場(chǎng)景之間的對(duì)應(yīng)關(guān)系，避免了現(xiàn)有系統(tǒng)中需要多次進(jìn)行 2D-2D 匹配的低效方案。為了驗(yàn)證 SensLoc 的有效性，論文還構(gòu)建了一個(gè)新的數(shù)據(jù)集，該數(shù)據(jù)集包含了多種移動(dòng)傳感器數(shù)據(jù)和顯著的場(chǎng)景外觀變化，并開(kāi)發(fā)了一個(gè)系統(tǒng)來(lái)獲取查詢(xún)圖像的真實(shí)位姿。大量的實(shí)驗(yàn)表明 SensLoc 可以在時(shí)變的室外環(huán)境中實(shí)現(xiàn)準(zhǔn)確、魯棒且高效的視覺(jué)定位。

論文地址：https://arxiv.org/pdf/2304.07691.pdf 背景目前主流的視覺(jué)定位法先構(gòu)建查詢(xún)圖像的 2D 像素與參考地圖的 3D 點(diǎn)之間 2D-3D 的對(duì)應(yīng)關(guān)系，然后使用 PnP RANSAC 算法求解相機(jī)的六自由度位姿。對(duì)于大范圍的場(chǎng)景，常采用圖像檢索作為中間步驟，以預(yù)先確定場(chǎng)景的哪些部分可能在查詢(xún)圖像中可見(jiàn)。然而，在時(shí)變的室外環(huán)境中，由于光照、季節(jié)和結(jié)構(gòu)變化等因素導(dǎo)致的外觀差異，使得 2D-3D 匹配變得十分困難，因此在這種具有挑戰(zhàn)性條件下的視覺(jué)定位仍是一個(gè)未解決的問(wèn)題。隨著配備了各種傳感器移動(dòng)設(shè)備的逐漸普及，如慣性測(cè)量單元（IMU）、重力計(jì)、指南針、GPS、WiFi 和藍(lán)牙等，結(jié)合視覺(jué)和多傳感器的位姿估計(jì)法，為在實(shí)際場(chǎng)景中準(zhǔn)確定位提供了一種新思路。 視覺(jué)定位的相關(guān)工作 1 基于三維模型的視覺(jué)定位 基于三維模型的視覺(jué)定位通過(guò)在查詢(xún)圖像和三維模型間建立 2D-3D 對(duì)應(yīng)關(guān)系，估計(jì)相機(jī)六自由度的位姿。傳統(tǒng)的視覺(jué)定位方法通常采用人工設(shè)計(jì)的局部特征，如 SIFT，來(lái)實(shí)現(xiàn) 2D-3D 匹配，并結(jié)合圖像檢索技術(shù)，將匹配范圍限制在查詢(xún)圖像的可見(jiàn)區(qū)域，以適應(yīng)大規(guī)模場(chǎng)景的需求。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，傳統(tǒng)的人工設(shè)計(jì)特征逐漸被基于深度學(xué)習(xí)的特征所替代。HLoc 是一種集成了多種基于深度學(xué)習(xí)的圖像檢索和圖像匹配方法的六自由度視覺(jué)定位框架，目前在該領(lǐng)域取得了最佳性能。然而，HLoc 仍然存在一些局限性。一方面，在檢索階段，全局特征不足以應(yīng)對(duì)場(chǎng)景中的復(fù)雜視覺(jué)變化，可能會(huì)出現(xiàn)誤檢索的情況。另一方面，在 2D-3D 匹配階段，需要多次的 2D-2D 圖像匹配作為中間過(guò)程，導(dǎo)致較低的運(yùn)行效率和較高的計(jì)算開(kāi)銷(xiāo)。為了解決這些問(wèn)題，論文提出了一種基于自注意力和跨注意力機(jī)制的直接 2D-3D 匹配方法，該方法可以直接將二維查詢(xún)圖像與三維局部地圖進(jìn)行一次匹配，從而提高視覺(jué)定位的速度和準(zhǔn)確度。 2 基于多傳感器的視覺(jué)定位 在寬闊的室外環(huán)境下，GPS 能提供地理位置坐標(biāo)（經(jīng)緯高）。一些方法將 GPS 作為先驗(yàn)，以簡(jiǎn)化視覺(jué)定位中的圖像檢索任務(wù)；而另一些方法將 GPS 作為優(yōu)化中的約束項(xiàng)，以提高視覺(jué)里程計(jì)和視覺(jué) SLAM 的定位精度。此外，IMU 傳感器測(cè)量的重力方向具有較高的精度，是一種常用的位姿先驗(yàn)。在可靠的重力方向引導(dǎo)下，以往的工作設(shè)計(jì)最小求解器（Minimal solvers）或者使用正則化項(xiàng)（Regularizers）約束來(lái)提升 PnP 的性能。然而，目前還沒(méi)有一種同時(shí)考慮多種傳感器的視覺(jué)定位方法。如今，手機(jī)和其他智能設(shè)備已經(jīng)配備了各種各樣的傳感器，包括陀螺儀、加速度計(jì)、指南針、GPS、Wifi 和藍(lán)牙等。因此，論文提出了一種新的視覺(jué)定位算法，以充分利用多種傳感器提供的先驗(yàn)信息。方法針對(duì)上述背景和相關(guān)工作，論文提出了一個(gè)結(jié)合視覺(jué)和多傳感器的三階段方法。

1 基于傳感器的圖像檢索 給定查詢(xún)圖

，圖像檢索任務(wù)需要在參考圖像集

里找到與查詢(xún)圖有共視關(guān)系的圖像子集：

之前的做法是用一個(gè)映射函數(shù)把查詢(xún)圖和參考圖映射到緊湊的特征空間，再使用最近鄰排序查找共視鄰居。由于映射函數(shù)的表征能力有限，在時(shí)變環(huán)境中，這套方法很可能失效。因此，論文提出使用傳感器位置和角度信息作為先驗(yàn)，提前縮小圖像檢索的搜索范圍。

數(shù)學(xué)上，查詢(xún)圖像的先驗(yàn)位姿表示為

，其位置分量來(lái)源于 GPS，旋轉(zhuǎn)分量來(lái)自于重力計(jì)和指南針?lè)较虻募伞?/span>查詢(xún)圖像只需要在圖像子集

中檢索共視鄰居

其中，

表示經(jīng)緯度的 x-y 坐標(biāo)，

表示相機(jī)的主軸方向。 2 直接的 2D-3D 匹配 給定查詢(xún)圖

和共視鄰居

，2D-3D 匹配任務(wù)需要建立

像素點(diǎn)與

能觀察到的局部點(diǎn)云

之間的 2D-3D 對(duì)應(yīng)關(guān)系。具體而言，首先使用多層級(jí)網(wǎng)絡(luò)提取查詢(xún)圖

?和參考圖

的粗（用

表示）、細(xì)（用

表示）粒度特征，然后將局部點(diǎn)云

投影在參考特征圖上并進(jìn)行插值、平均，得到點(diǎn)云特征。然后，使用帶注意力機(jī)制的網(wǎng)絡(luò)匹配查詢(xún)圖與局部點(diǎn)云的粗粒度特征，確定點(diǎn)云是否為查詢(xún)圖像所見(jiàn)，并初步確定它在圖像上的位置。使用注意力機(jī)制變換后的粗粒度圖像和點(diǎn)云特征分別為

，概率匹配矩陣

表示為

通過(guò)互最近鄰和設(shè)定匹配閾值，粗粒度的 2D-3D 匹配

表示為

為互最近鄰，為預(yù)設(shè)閾值。

最后，對(duì)于每一個(gè)粗匹配對(duì)應(yīng)的二維像素和三維點(diǎn)云

，通過(guò)將點(diǎn)云的細(xì)粒度特征

與在

附近裁剪出細(xì)粒度窗口特征

進(jìn)行點(diǎn)乘，得到匹配概率并計(jì)算二維位置期望，獲取查詢(xún)圖像的亞像素

與局部點(diǎn)云

的精確對(duì)應(yīng)關(guān)系。 3 基于重力方向的 PnP RANSAC 給定 2D-3D 的對(duì)應(yīng)關(guān)系，之前的工作通常采用 PnP RANSAC 算法求解相機(jī)的六自由度位姿。論文在 PnP RANSAC 迭代中插入一個(gè)簡(jiǎn)單有效的驗(yàn)證模塊，以保證重力方向的正確性。具體地，對(duì)于 RANSAC 迭代生成的位姿假設(shè)

，其與傳感器位姿

在重力方向

上差值為

論文可采用條件

預(yù)先過(guò)濾掉大部分錯(cuò)誤位姿，實(shí)現(xiàn)更高效、魯棒的位姿解算。 數(shù)據(jù)集 論文構(gòu)建了一個(gè)新的數(shù)據(jù)集，用于驗(yàn)證所提方法的有效性。該數(shù)據(jù)集包括一個(gè)城市公園（約 31,250 平方米），包含植被、河流、建筑和人行道。作為一個(gè)公共區(qū)域，其不可避免地會(huì)經(jīng)歷各種場(chǎng)景的變化，例如不同光照、季節(jié)、天氣，運(yùn)動(dòng)的行人、車(chē)輛，甚至新的基礎(chǔ)設(shè)施建設(shè)。數(shù)據(jù)集的構(gòu)建流程如下圖所示。

1 三維參考地圖的構(gòu)建 論文采用全景相機(jī)采集參考圖像，以構(gòu)建三維參考地圖

。相較于單目相機(jī)，全景相機(jī)具有更高的采集效率。將 7,958 張全景圖像切分并轉(zhuǎn)換為針孔模型后，該數(shù)據(jù)集包括 47,780 張參考圖像。為了確定模型尺度并與地理坐標(biāo)系保持一致，該研究預(yù)先在全景相機(jī)上綁定了一個(gè) RTK 記錄儀，以記錄絕對(duì)地理坐標(biāo)。 2 查詢(xún)圖像采集 在三維參考地圖構(gòu)建完成半年后，該研究在相同地址中行走，并開(kāi)發(fā)了一款安卓應(yīng)用程序 Acquisition Application（采集 APP），使用華為 P40 pro 和小米 Mix 3 手機(jī)拍攝視頻以采集查詢(xún)圖像，并通過(guò)綁定 RTK 記錄儀獲取拍攝時(shí)的地理位置信息。該采集 APP 能夠同時(shí)記錄手機(jī)內(nèi)置傳感器的數(shù)據(jù)，包括 IMU、重力計(jì)、指南針、藍(lán)牙、WiFi 和 GPS。拍攝視頻與所有傳感器均經(jīng)過(guò)硬件同步和細(xì)致校準(zhǔn)。由于論文關(guān)注于單圖的視覺(jué)定位，因此視頻序列會(huì)進(jìn)行采樣以生成不連續(xù)的單張圖像。 3 三維輔助地圖構(gòu)建與偽位姿真值生成 由于查詢(xún)圖像與三維參考地圖之間存在跨時(shí)節(jié)的變化，因此基于半年前構(gòu)建的三維參考地圖生成查詢(xún)圖像的偽位姿真值較為困難。論文提出在采集查詢(xún)圖像時(shí)，同時(shí)構(gòu)建一個(gè)三維輔助地圖

。三維輔助地圖的構(gòu)建方法與三維參考地圖類(lèi)似，同樣使用全景相機(jī)和 RTK 記錄儀進(jìn)行采集，并采用 ICP 技術(shù)進(jìn)行對(duì)齊。基于三維輔助地圖生成查詢(xún)圖像的偽真值等同于基于三維參考地圖生成的偽真值。論文設(shè)計(jì)了一套聯(lián)合優(yōu)化方法生成偽真值，優(yōu)化項(xiàng)包括：1）圖像自定位約束；2）序列圖像的相對(duì)位姿約束；3）IMU 的運(yùn)動(dòng)約束；4）其他先驗(yàn)約束，如重力方向和 RTK 位置。

結(jié)果 1 圖像檢索 檢索結(jié)果如下表所示。即使傳感器先驗(yàn)本身不能輸出準(zhǔn)確的結(jié)果，但它可以用于提升基于全局特征的檢索方法性能。總的來(lái)說(shuō)，將全局特征 OpenIBL 與相機(jī)主軸方向先驗(yàn)和 GPS 位置先驗(yàn)相結(jié)合，可以取得最好的檢索效果。

2 視覺(jué)定位 視覺(jué)定位結(jié)果如下表所示。在具有挑戰(zhàn)性的夜間條件下，由于 SensLoc 的 2D-3D 匹配不用提取關(guān)鍵點(diǎn)，該方法大幅優(yōu)于其他基線方法。此外，SensLoc 只需執(zhí)行一次由粗到細(xì)的匹配，該方法的運(yùn)行速度比效果排名第二的方法 HLoc（SuperPoint+SuperGlue）快 30 倍。另外，重力方向引導(dǎo)的 PnP RANSAC 不僅提高了精度，還將位姿估計(jì)的運(yùn)行速度提升了 4 倍。可以看到，在時(shí)變的室外環(huán)境中，通過(guò)視覺(jué)和多傳感器數(shù)據(jù)，可以實(shí)時(shí)求解出令人滿(mǎn)意的位姿。

3 消融分析 SensLoc 對(duì)圖像檢索結(jié)果的敏感性如下表所示。使用傳感器先驗(yàn)或真值檢索結(jié)果可以顯著提高視覺(jué)定位在(25cm, 2?)/(50cm, 5?)/(1m, 10?)的召回率。消融分析表明，圖像檢索結(jié)果對(duì) SensLoc 的位姿估計(jì)有著關(guān)鍵作用。

應(yīng)用前景 該研究成果在民用和軍事領(lǐng)域都有廣泛的應(yīng)用。在民用領(lǐng)域，該研究可用于自動(dòng)駕駛、機(jī)器人導(dǎo)航、混合現(xiàn)實(shí)等眾多應(yīng)用。在軍事領(lǐng)域，該研究可用于支持地面和空中有人/無(wú)人裝備，通過(guò)實(shí)景三維數(shù)字化戰(zhàn)場(chǎng)支撐拒止條件下的高精度自身定位與目標(biāo)指示。

審核編輯：李倩

聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴