每一個 AR 產品背后都有值得深入探究的技術，當我們參與討論 AR 時，層出不窮的技術語言令小白望而卻步。

今天，Rokid R-Lab 研究科學家霍志宇博士就 AR 中的 6DoF 追蹤方案展開討論，他從成本和性能角度出發，對目前流行的四種 6DoF 追蹤解決方案進行了比較。希望每個人都能讀得懂，并形成自己對 AR 的認識和看法。

6DoF 追蹤帶給 AR眼鏡怎樣的體驗飛躍？如何在設計一款 AR 眼鏡時，實現六自由度追蹤？以下，enjoy！

1

6DOF 追蹤的進化：從標識追蹤到 SLAM 定位，帶給 AR 體驗質的飛越

好的增強現實體驗首先要是一種互動體驗，實現現實環境和虛擬世界的結合，而這種體驗離不開 6DoF 追蹤（Six degrees of freedom tracking）的加入。

6DoF 追蹤為用戶提供了前所未有的互動體驗和對虛擬世界的控制，可以說，6DoF 追蹤是虛擬世界與現實世界建立聯系的基礎，是 AR 實現顛覆式體驗的前提。

近年來，隨著技術的指數級的增長，這種新型的 AR 互動體驗正在以超出我們想象的態勢發展。

AR 領域六自由度（6DoF）追蹤的應用，最早可以追溯到 2003 年, 由 ARToolKit 所支持的首個移動端 AR 應用就出現在了 WinCE 平臺上，但早期運體驗并沒有那么優秀。

早期 ARToolKit 應用程序在 Android 手機上運行

早期的 AR 利用標識圖來跟蹤攝像機的位置和姿態，實現 6DoF 追蹤。使用者必須將標識圖保留在視野范圍內，虛擬內容也只能覆蓋在標識圖上，使用者稍微移動便會失去對標識物的追蹤，虛擬內容便無法對現實進行覆蓋，虛擬與現實的融合停留在比較淺層的階段，無法給予使用者沉浸式的體驗。

3DoF 與 6DoF 技術對比圖

隨著 SLAM (simultaneous localization and mapping)技術的普遍應用，6DoF 追蹤與 SLAM 相結合，沉浸式的 AR 體驗時代終于來臨了。使用者可以擺脫標識圖的束縛，進行實時定位與地圖構建，從而在虛擬內容上產生更加沉浸和逼真的體驗。

微軟 HoloLens 設備的 SLAM 功能演示

早期的 AR 眼鏡，為了在任意場景下都能提供最為精確和可靠的追蹤體驗，需要裝備由多個魚眼攝像頭、深度攝像頭和其他傳感器驅動的高性能追蹤系統。

不過這會讓設備變得沉重且昂貴。即便是功能最為豐富且擁用商用前景的 AR 眼鏡,也會因為其高昂的成本和糟糕的佩戴體驗而遭到市場拒絕。

2016 年面世的 Meta 2 AR 眼鏡

因此，想在輕量級 AR 設備領域取得成功，產品需要結合舒適性、經濟性和技術可行性來進行研發。包括 Rokid 在內的很多 AR 眼鏡研發公司，正在嘗試通過有限的視覺設備和更少的算力來實現 6DoF 追蹤。

2

在AR眼鏡上實現6DoF追蹤，這4種流行方案到底誰更好？

讓我們從成本和性能出發，比較以下四種流行的 6DoF 追蹤解決方案：

1、單攝像頭

● 硬件成本低

● 易于集成到多種眼鏡設計中

● 需要更專業的優化和定制

● 適用于偏靜態場景

單攝像頭

視頻攝像頭是 AR 眼鏡的常用組件，主要用于拍攝高分辨率的照片和視頻。在外觀和可用性方面，將單個相機安裝在眼鏡上相對簡單。

但是，視頻攝像機通常以低頻率（<60fps，大多數<30fps）運行，無法在運動中捕捉的高質量圖像。 “果凍效應”和其他扭曲使得位置追蹤失敗。

2、單眼魚眼攝像頭

● 為 6DoF 追蹤所預留的傳感器

● 持續高頻刷新 6DoF 追蹤結果

● 會出現尺度漂移，使得虛擬物體會在場景中意外移動

單魚眼攝像頭

一些 AR 眼鏡會配備用于 6DoF 追蹤的單個魚眼鏡頭。此解決方案會產生一些額外的功耗，但通常會為設備提供更好的 6DoF 追蹤效果。魚眼攝像頭的高相機幀更新率（> 90fps）和全局快門功能，可以使得 SLAM 系統在運動場景中保持可靠的追蹤位置。但單個魚眼攝像機應放置在眼鏡前面，這會產生一些設計限制。

單魚眼攝像頭比較不足的的地方在于它所支持的場景規模有限。一旦移動范圍過大，SLAM 系統就容易產生尺度漂移，導致虛擬對象在場景中意外移動。

3、雙目魚眼攝像頭

● 高功耗

● 追蹤、尺度估算準確

● 眼鏡的工業設計會面臨挑戰

基于雙目魚眼的 6DoF 追蹤系統已被不同的 AR / VR 頭戴式設備制造商證明是一種可以量產的解決方案，高通已經使用雙目魚眼視覺在其 VR 頭盔上展示了高質量的 6DoF 位置追蹤功能。

雙目魚眼攝像頭模組

由于它提供實時的地圖初始化、強大的追蹤和對環境尺度的準確測量，因此額外增加攝像機所產生的功耗和成本是值得的。

與單眼解決方案相比，雙目魚眼攝像頭可以更快地擴展場景，并能更準確的測量環境尺度從而防止漂移。即使傳感器數量加倍，計算復雜度也不比單眼視覺系統高很多。但該方案的實現需要高質量優化和定制工作，并且功耗高、發熱大，需要更強的系統和硬件支持。

4、運用邊緣計算

● 成本高昂

● 能實現高質量的 6DoF 追蹤

● 穩定性高，可兼容不同平臺

英特爾推的定位追蹤實感攝像頭T265 可在邊緣執行計算任務

邊緣計算在 AR 設備中變得越來越流行，例如，HoloLens 已經通過邊緣計算來運行其 SLAM 功能，使 CPU 和 OS 在用戶應用程序上更高效地工作。對于輕量級 AR 眼鏡，通過邊緣計算來運行 SLAM 不僅可以減少計算負荷，還可以使 AR 眼鏡兼容不同類型的主機平臺。

這個解決方案的最優之處就在于，它可以在任何主機平臺上均衡性能，無需定制優化算法。

然而，輕量級 AR 眼鏡通過邊緣計算運行 6DoF 并不容易。這些類型的 AR 眼鏡上的芯片通常僅設計用于驅動顯示器并傳輸傳感器數據而無剩余資源用于其他計算工作。因此可行的解決方案是將成熟的 6DoF 追蹤模塊集成到 AR 眼鏡板上。

目前還沒有關于哪種解決方案對于輕型眼鏡“完美”的結論。設計人員需要根據 AR 眼鏡的應用場景，來定義其產品的功能和預期用途，以便做出最佳的軟硬件選擇。

Rokid AR 團隊致力于研究最自然的人機交互體驗，并通過 Rokid Glass 和 Rokid Vision（即將在 5 月的美國 AWE 上發布） 一系列產品來實現。研究一個技術如何應用，是我們每天都需要反復思考的問題。

隨著輕量級 AR 眼鏡的逐漸普及，具有 6DoF 追蹤功能的產品是能夠給消費者帶去優質體驗的基礎，也是 AR 產品走向千家萬戶的關鍵技術之一。