1、整體框架

1.1 Tracking 模塊 處理傳感器信息并實(shí)時(shí)計(jì)算當(dāng)前幀在激活地圖中的姿態(tài)。同時(shí)該模塊也決定了是否將當(dāng)前幀作為關(guān)鍵幀。在視覺-慣性模式下，通過在優(yōu)化中加入慣性殘差來估計(jì)剛體速度和 IMU 偏差。當(dāng)追蹤丟失時(shí)，tracking 線程會(huì)嘗試在 Atlas 地 圖中重定位當(dāng)前幀。若重定位成功，恢復(fù)追蹤，并在需要的時(shí)候切換激活地圖。若一段時(shí)間后仍未激活成功，該激活地圖會(huì)被存儲(chǔ)為未激活地圖，并重新初始化一個(gè)新的激活地圖。

1.2 Local mapping 模塊 加入關(guān)鍵幀和地圖點(diǎn)到當(dāng)前激活地圖，刪除冗余幀，并通過對(duì)當(dāng)前幀的附近關(guān)鍵幀操作，利用視覺 BA 或視覺-慣性 BA 技術(shù)來優(yōu)化地圖。此外，在慣性模式下，mapping 線程會(huì)利用最大后驗(yàn)估計(jì)(MAP)技術(shù)來初始化和優(yōu)化 IMU 參數(shù)。

1.3 Loop and map merging 模塊 每當(dāng)加入一個(gè)新的關(guān)鍵幀，該線程在激活地圖和整個(gè) Atlas 地圖中檢測(cè)公共區(qū)域。如果該公共區(qū)域?qū)儆诩せ畹貓D，它就會(huì)執(zhí)行回環(huán)校正；如果該公共區(qū)域?qū)?于其他地圖，就會(huì)把它們?nèi)诤蠟橐粋€(gè)地圖，并把這個(gè)融合地圖作為新的激活地圖。在回環(huán)校正以后，一個(gè)獨(dú)立線程就會(huì)進(jìn)行全局 BA，進(jìn)一步優(yōu)化地圖，同時(shí)并不影 響實(shí)時(shí)性能。

1.4 Atlas 模塊 一個(gè)由一系列離散地圖組成的多子圖系統(tǒng)。它會(huì)維護(hù)一個(gè)激活地圖，用于tracking 線程對(duì)當(dāng)前幀的定位，同時(shí) local mapping 線程會(huì)利用新的關(guān)鍵幀信 息持續(xù)對(duì)該地圖優(yōu)化和更新。在 Atlas 中的其它地圖被稱為未激活地圖。該系統(tǒng)基于詞袋模型對(duì)關(guān)鍵幀信息建立數(shù)據(jù)庫，用于重定位、閉環(huán)檢測(cè)和地圖融合。

2、IMU 和 Camera 數(shù)據(jù)融合獲取位姿數(shù)據(jù)的過程

IMU 雖然可以測(cè)得角速度和加速度，但這些量都存在明顯的漂移，使得積分 兩次得到的位姿數(shù)據(jù)非常不可靠。但是，短時(shí)間內(nèi)的快速運(yùn)動(dòng)，IMU 能夠提供一 些較好的估計(jì)，這正是相機(jī)的弱點(diǎn)。當(dāng)運(yùn)動(dòng)過快時(shí)，相機(jī)會(huì)出現(xiàn)運(yùn)動(dòng)模糊，或者 兩幀之間重疊區(qū)域太少以至于無法進(jìn)行特征匹配，所以純視覺 SLAM 非常害怕快 速的運(yùn)動(dòng)。而有了 IMU，即使在相機(jī)數(shù)據(jù)無效的那段時(shí)間內(nèi)，我們也能保持一個(gè)較好的位姿估計(jì)，這是純視覺 SLAM 無法做到的。相比于 IMU，相機(jī)數(shù)據(jù)基本不 會(huì)有漂移，所以相機(jī)數(shù)據(jù)可以有效的估計(jì)并修正 IMU 讀數(shù)中的漂移，使得在慢速運(yùn)動(dòng)后的位姿估計(jì)依然有效。當(dāng)圖像發(fā)生變化時(shí)，本質(zhì)上我們沒法知道是相機(jī)自 身發(fā)生了運(yùn)動(dòng)，還是外界條件發(fā)生了變化，所以純視覺 SLAM 難以處理動(dòng)態(tài)的障 礙物。而 IMU 能夠感受到自己的運(yùn)動(dòng)信息，從某種程度上減輕動(dòng)態(tài)物體的影響。主要流程如下：

(1) 利用相機(jī)和 IMU 分別進(jìn)行圖像采集和慣性數(shù)據(jù)采集，且 IMU 的采集頻率大于 相機(jī)的采集頻率； (2) 提取相機(jī)獲取的每一幀圖像的特征點(diǎn)，然后提取特征點(diǎn)的描述子（ORB-SLAM 采用），匹配特征點(diǎn)；此處，還可以采用光流追蹤的方法； (3) 對(duì) IMU 得到的多組 IMU 數(shù)據(jù)進(jìn)行預(yù)積分，計(jì)算出兩幀圖像對(duì)應(yīng)的 IMU 位置和 速度；

(4) IMU 初始化（講解 ORB-SLAM3 采用的方法）,這一步的目的是獲取 IMU 參數(shù)較好的初始值：速度、重力以及 Bias。 1> Vision-Only

采用 ORB-SLAM 經(jīng)典框架純視覺初始化流程，按照關(guān)鍵幀速率 4Hz 持續(xù)運(yùn)行2s，然后我們可以得到按比例縮放的地圖，包括 10 個(gè)關(guān)鍵幀以及上百個(gè)地圖點(diǎn)，然后通過 Visual-Only BA 進(jìn)行優(yōu)化。 2> Inertial-Only

這一步目的是獲得 IMU 參數(shù)最優(yōu)估計(jì)。利用前述單目視覺 SLAM 初始化后穩(wěn) 定運(yùn)行的數(shù)據(jù)，以及這些關(guān)鍵幀之間的 IMU 測(cè)量，包括：尺度因子、重力方 向、IMU 傳感器偏置參數(shù)、關(guān)鍵幀的無尺度速度。這些 IMU 測(cè)量放在一起構(gòu) 成狀態(tài)向量，構(gòu)建優(yōu)化問題求解。一旦慣性優(yōu)化完成，幀的姿態(tài)、速度以及 3D 地圖點(diǎn)就會(huì)以估計(jì)的尺度進(jìn)行縮放，同時(shí)旋轉(zhuǎn)以使 z 軸與估計(jì)的重力方向?qū)R。

3> Visual-Inertial 一旦視覺以及 IMU 有了較好的估計(jì)后，進(jìn)行一個(gè)聯(lián)合優(yōu)化進(jìn)一步對(duì)這些參數(shù)進(jìn)行精化。 (5) 結(jié)合上面得到的慣性殘差和視覺殘差，視覺-慣性 SLAM 可以看作是基于關(guān)鍵幀的最小化問題。在后期中，基于下式進(jìn)行計(jì)算優(yōu)化。

在 tracking 過程中，只優(yōu)化最后兩幀的位姿，同時(shí)保持地圖點(diǎn)固定。在mapping 過程中，為了解決全圖優(yōu)化問題，若圖的規(guī)模比較大就會(huì)比較棘手。ORB-SLAM3 采用了滑動(dòng)窗口思想，把關(guān)鍵幀及其地圖點(diǎn)的滑動(dòng)窗口作為優(yōu)化變量。

3、ORB-SLAM3 的基于特征點(diǎn)的 tracking 模塊的優(yōu)缺點(diǎn)，改善的機(jī)會(huì)點(diǎn)或方向

首先，ORB-SLAM3 視覺前端做法采用特征點(diǎn)提取+描述子匹配特征點(diǎn)的方式。因?yàn)橛忻枋鲎樱詫?duì)地圖的維護(hù)很方便（包括重定位、閉環(huán)、全局優(yōu)化）。尤其是對(duì)室內(nèi)環(huán)境，當(dāng)視覺上共視關(guān)系較多的時(shí)候，這種方法能很大程度上提高定 位精度和局部穩(wěn)定性。但這種方式也有缺點(diǎn)，每幀圖像都要提取特征點(diǎn)數(shù)量的描述子，比較浪費(fèi)時(shí)間。在 tarcking 過程中，如果運(yùn)動(dòng)過快（圖像出現(xiàn)模糊），比較容易 tracking loss。此外，純視覺 ORB-SLAM3 嚴(yán)重依賴特征點(diǎn)的提取與匹配 效果，在如紋理缺失的環(huán)境下運(yùn)行會(huì)無法得到足夠多的穩(wěn)定匹配點(diǎn)對(duì)，此時(shí)光束平差法缺乏足夠多的輸入信息，無法有效地修正位姿偏差。基于這點(diǎn)，有很多人 也有不同的方法，還有一個(gè)主流方法是，特征點(diǎn)提取+光流跟蹤的方式。采用這種方式tracking 要魯棒一些，但這種方式不容易構(gòu)建全局 map，同時(shí)在閉環(huán)和重定位階段也需要另外提取特征點(diǎn)和描述子。同時(shí)，visual-inertial ORB- SLAM3 通過引入 IMU 來約束和修正特征缺失帶來的偏差，得到尺度信息，在一定程度上解決了過度依賴嚴(yán)重依賴特征點(diǎn)問題。

ORB-SLAM3 引入了 Atlas 系統(tǒng)，在 tracking 過程中，如果跟丟了，可以利用當(dāng)前幀查詢 Atlas DBoW 數(shù)據(jù)庫。這個(gè)查詢可以利用所有先驗(yàn)信息，在所有地圖 中找相似的關(guān)鍵幀。一旦有了候選關(guān)鍵幀，地圖和匹配的地圖點(diǎn)就可以進(jìn)行重定位，極大提升性能，增大魯棒性。

個(gè)人認(rèn)為，ORB-SLAM3 此次更新的一大變化就是引入了 Atlas 地圖，相當(dāng)于 開辟了一條新的方向。當(dāng)前由于只是第一個(gè)版本，所以在這方面的改進(jìn)空間還有 很大，可以在這個(gè)方向做一些研究。同時(shí) IMU 相比于 camera，有很多互補(bǔ)優(yōu)勢(shì)， 如何讓 IMU 和 camera 更好的結(jié)合，發(fā)揮更好的效果，也是可以研究改進(jìn)的點(diǎn)。IMU 初始化也有很多不足，采用一個(gè)更好的方法進(jìn)行 IMU 初始化，也是一個(gè)可以改進(jìn)的點(diǎn)。 ?

審核編輯：黃飛

?