來源：3D視覺工坊

0.這篇文章干了啥？

這篇文章提出了一種新穎的目標(biāo)跟蹤方法SFTrack，針對無人機(jī)(UAV)視頻中的獨(dú)特挑戰(zhàn)，采用了三種簡單有效的策略，尤其是在處理低置信度檢測、小規(guī)模物體和無人機(jī)運(yùn)動方面表現(xiàn)出色。通過在VisDrone2019、UAVDT和MOT17等多個廣泛認(rèn)可的數(shù)據(jù)集上進(jìn)行評估，SFTrack在多個指標(biāo)上顯著超越了現(xiàn)有的先進(jìn)方法。此外，文章還對UAVDT數(shù)據(jù)集的注釋錯誤進(jìn)行了識別和修正，提供了一個增強(qiáng)版本的數(shù)據(jù)集，以便于更準(zhǔn)確的基準(zhǔn)測試。整體而言，SFTrack展現(xiàn)了在復(fù)雜環(huán)境中提高目標(biāo)跟蹤精度的強(qiáng)大能力。

2. 摘要

本文研究了無人機(jī)（UAV）視頻中的多目標(biāo)跟蹤問題，這在交通監(jiān)控系統(tǒng)、警方實時追蹤嫌疑人等無人機(jī)應(yīng)用中具有關(guān)鍵作用。然而，由于無人機(jī)的快速運(yùn)動以及高空和廣角視角下目標(biāo)物體的尺寸較小，此任務(wù)極具挑戰(zhàn)性。為了解決這些問題，我們提出了一種簡單卻更有效的方法，相較于以往的工作更加高效。我們的方法引入了一種新的跟蹤策略，從無人機(jī)應(yīng)用場景中常見的低置信度檢測結(jié)果開始跟蹤目標(biāo)物體。此外，我們建議重新審視基于外觀的傳統(tǒng)匹配算法，以改善低置信度檢測的關(guān)聯(lián)效果。為了評估我們方法的有效性，我們在兩個無人機(jī)特定數(shù)據(jù)集（VisDrone2019、UAVDT）以及一個通用目標(biāo)跟蹤數(shù)據(jù)集（MOT17）上進(jìn)行了基準(zhǔn)測試。結(jié)果表明，我們的方法優(yōu)于當(dāng)前的先進(jìn)方法，突顯了其在多樣化跟蹤環(huán)境中的魯棒性和適應(yīng)性。此外，我們對UAVDT數(shù)據(jù)集的標(biāo)注進(jìn)行了改進(jìn)，糾正了原始標(biāo)注中的一些錯誤和遺漏之處。我們將提供該數(shù)據(jù)集的改進(jìn)版本，以便為該領(lǐng)域的基準(zhǔn)測試提供更好的支持。

3. 效果展示

低空視頻跟蹤結(jié)果對比。(a)沒有運(yùn)動補(bǔ)償（MC）的ByteTrack無法保持軌跡。(b)BoTSORT的MC會導(dǎo)致邊界框變形。(c)SFTrack與無人機(jī)MC，確保一致和準(zhǔn)確的跟蹤。推薦課程：零基礎(chǔ)入門四旋翼建模與控制(MATLAB仿真)[理論+實戰(zhàn)]。

這張圖片提供了原始無人機(jī)和我們改進(jìn)的無人機(jī)注釋的比較可視化。原始注釋中與實際對象不對應(yīng)的錯誤將以“紅色”突出顯示。“黃色”標(biāo)記代表我們對Refined UAVDT數(shù)據(jù)集中可見對象的附加注釋。

4. 主要貢獻(xiàn)

我們提出了一種適用于無人機(jī)多目標(biāo)跟蹤的方案，能夠有效應(yīng)對無人機(jī)固有的挑戰(zhàn)，包括快速且不規(guī)則的運(yùn)動、小尺度物體和遮擋等問題。

我們引入了一種從低置信度檢測開始跟蹤的新策略，在無人機(jī)場景中尤其有效。為管理這些低置信度檢測，我們建議重新審視基于手工設(shè)計特征的傳統(tǒng)外觀匹配算法。

我們在多個數(shù)據(jù)集上對我們的方法進(jìn)行了全面評估，包括VisDrone2019、UAVDT和MOT17，展示了其有效性和卓越的性能。

我們識別并修正了UAVDT數(shù)據(jù)集中缺失和錯誤的標(biāo)注，貢獻(xiàn)了更準(zhǔn)確的評估并促進(jìn)了進(jìn)一步研究。

5. 基本原理是啥？

該方法的基本原理圍繞三個關(guān)鍵策略展開，以提高無人機(jī)視頻中的目標(biāo)跟蹤效果。這些策略主要集中在如何更好地處理小目標(biāo)、低置信度檢測，以及無人機(jī)運(yùn)動帶來的挑戰(zhàn)。

低置信度檢測的利用：傳統(tǒng)跟蹤方法通常會忽略置信度較低的檢測結(jié)果，而本方法則充分利用這些低置信度檢測，以避免遺漏小目標(biāo)或快速移動的物體。通過引入低置信度檢測，能有效減少漏檢，提高整體跟蹤精度（MOTA和IDF1指標(biāo)）。

自適應(yīng)關(guān)聯(lián)策略：為了應(yīng)對無人機(jī)在飛行過程中可能遇到的復(fù)雜視角變化和快速移動，本方法結(jié)合了基于傳統(tǒng)外觀特征的匹配算法，適用于頻繁出現(xiàn)低置信度檢測的情況。這種方法在連續(xù)幀之間維持較高的身份保持能力，不易因光線變化和視角偏移而丟失目標(biāo)。

無人機(jī)運(yùn)動補(bǔ)償：由于無人機(jī)視頻中的相機(jī)運(yùn)動較大，本方法引入了一種專門為無人機(jī)設(shè)計的運(yùn)動補(bǔ)償技術(shù)（UAV Motion Compensation, UAV MC），通過保持目標(biāo)的縱橫比來改善運(yùn)動帶來的目標(biāo)形變，從而提升跟蹤的穩(wěn)定性。

這三種策略的結(jié)合，使得該方法在無人機(jī)特定場景下表現(xiàn)出色，特別是在跟蹤小目標(biāo)和快速運(yùn)動物體時，能提供更加平衡和可靠的跟蹤表現(xiàn)。

6. 實驗結(jié)果

實驗結(jié)果表明，本文提出的SFTrack方法在多個基準(zhǔn)數(shù)據(jù)集上顯著優(yōu)于現(xiàn)有方法，尤其是在無人機(jī)(UAV)數(shù)據(jù)集上的表現(xiàn)更加突出。

與現(xiàn)有方法的對比

VisDrone2019和UAVDT數(shù)據(jù)集：在這些無人機(jī)數(shù)據(jù)集中，SFTrack在大多數(shù)評估指標(biāo)上都優(yōu)于其他方法。例如，與表現(xiàn)最好的ByteTrack相比，SFTrack的多目標(biāo)跟蹤準(zhǔn)確率（MOTA）提高了4.9%；與在IDF1指標(biāo)上表現(xiàn)最好的FOLT相比，SFTrack的IDF1分?jǐn)?shù)提升了5.2%。這證明SFTrack在跟蹤準(zhǔn)確度和身份保持方面的表現(xiàn)優(yōu)越。

MOTA與IDF1的權(quán)衡：盡管SFTrack在降低漏檢（FN）上表現(xiàn)優(yōu)異，但也帶來了一定的誤檢（FP）增加。這種權(quán)衡來自于SFTrack方法中低置信度檢測的使用和傳統(tǒng)外觀匹配算法的應(yīng)用。然而，與其他先進(jìn)方法相比，SFTrack的跟蹤表現(xiàn)更加平衡，尤其在無人機(jī)場景中，保證目標(biāo)不被漏檢往往比短暫誤檢更為關(guān)鍵。

困難場景測試

小目標(biāo)和快速移動物體：在VisDrone2019數(shù)據(jù)集中，SFTrack在包含大量小目標(biāo)和快速移動物體的視頻中表現(xiàn)尤為出色。具體而言，SFTrack在平均相對加速度（Mean Relative Acceleration，MRA）較高的場景中展示了顯著的性能提升，能夠更好地應(yīng)對快速移動的物體。

高海拔和視角變化的場景：在Refined UAVDT數(shù)據(jù)集上，SFTrack在高空飛行（70米以上）和視角頻繁變化的條件下，超過了次優(yōu)方法，展示了更強(qiáng)的魯棒性和適應(yīng)性。

MOT17數(shù)據(jù)集評估

在MOT17（非無人機(jī)）數(shù)據(jù)集上，SFTrack同樣表現(xiàn)出色。特別是在不同檢測器（YOLOX和YOLOX Nano）的應(yīng)用下，SFTrack在低置信度檢測頻繁的情況下仍能有效工作。尤其是在使用性能較低的YOLOX Nano時，SFTrack能夠有效處理檢測性能下降帶來的更多低置信度檢測。

消融實驗

通過消融實驗，研究了SFTrack中各個組件的影響，驗證了每個模塊的改進(jìn)效果：

無人機(jī)運(yùn)動補(bǔ)償（UAV MC）：用保持縱橫比的無人機(jī)運(yùn)動補(bǔ)償方法替換BoTSORT的運(yùn)動補(bǔ)償技術(shù)后，MOTA提升了1.4%，IDF1提升了3.7%。

低置信度檢測的初始化：增加了低置信度檢測的初始化，使MOTA和IDF1分別提高了3.2%。

外觀匹配策略：使用傳統(tǒng)外觀匹配算法后，MOTA和IDF1分別又增加了1.7%和0.2%。

盡管這些改進(jìn)對跟蹤速度有輕微影響，SFTrack依然可以達(dá)到每秒10幀的跟蹤速度，尤其在后續(xù)優(yōu)化（如C語言實現(xiàn)）中，速度有望進(jìn)一步提升。

7. 總結(jié) & 未來工作

在本研究中，我們提出了一種新穎的關(guān)聯(lián)方法，通過三個簡單而有效的策略來進(jìn)行目標(biāo)跟蹤，重點(diǎn)解決無人機(jī)視頻中的獨(dú)特挑戰(zhàn)。我們的方法針對低置信度檢測提出的策略，能夠有效地應(yīng)對小尺度目標(biāo)的跟蹤以及無人機(jī)運(yùn)動的管理。在多個基準(zhǔn)上，我們的方法優(yōu)于現(xiàn)有的主流方法，并在VisDrone2019、UAVDT和MOT17等廣泛認(rèn)可的數(shù)據(jù)集上進(jìn)行了驗證。此外，我們還識別并修正了UAVDT數(shù)據(jù)集中現(xiàn)有的標(biāo)注錯誤。增強(qiáng)版的數(shù)據(jù)集將公開發(fā)布，為該領(lǐng)域提供更為準(zhǔn)確的基準(zhǔn)資源。