可以感知完全被遮擋的對象

在過去數年中，行業對增強現實系統的興趣與日俱增。包括微軟、Meta、蘋果和谷歌在內的主要科技公司已投資數十億美元開發AR技術。對于這一點，一個重要驅動因素是AR系統有望在提高工業4.0部門的效率方面發揮作用，包括制造業、倉儲業、物流業和零售業。

例如在電子商務倉庫中，AR頭顯可以通過指導工人揀貨、分揀、包裝訂單和退貨來提高勞動效率。類似地，在制造環境中，AR頭顯可以通過可視化裝配任務、在環境中自動標記工具以及幫助用戶找到他們需要的零件來指導員工。

然而，相關的工業環境通常是密集且高度雜亂。例如，一個典型的倉庫或黑暗的商店里堆滿了包裹，而一個標準的制造工廠里堆滿了材料和隔間。在這種環境中，大多數物品由于在箱子內、堆下或其他包裹后面而被遮擋。這種遮擋使得現有的頭顯難以感知這些物品，這反過來又阻止了系統識別和定位物品或引導工人。

針對這個問題，由麻省理工學院和密歇根大學組成的團隊以微軟HoloLens 2作為基礎，開發了一個可以通過射頻信號來提供非視距感知的AR頭顯。

團隊指出，當今的AR頭顯通過攝像頭或其他基于視覺的傳感系統感知其環境，而這種視覺傳感系統固有地局限于視距（LOS）。這種視距限制阻礙了AR系統在最需要的地方提高工作效率，亦即在雜亂和密集的工業環境中。

在研究中，他們提出了以下問題：能否設計和構建一個可以感知完全被遮擋的對象，并將人類的感知擴展到視線之外的增強現實系統？

研究人員表示：“有了這種能力，增強現實將超越人類的任何自然能力，并真正增強我們與世界的交互方式，從而在倉儲物流、制造業、零售業等領域取得重大進展?！?/p>

例如，具有非視距（NLOS）感知能力的AR頭顯可以識別和定位被完全遮擋的特定物品，并幫助工人避免冗長的搜索過程。另外，這種AR頭顯可用于自動化倉庫或零售店中物品的庫存控制，而無需工人查看所有物品，并可提醒工人隱藏在遮擋物后面的錯放物品。

為了實現這一愿景，團隊采用的方法是利用射頻（RF）信號。與可見光不同，射頻信號可以穿過閉塞物，如紙板箱、塑料容器、木制分隔物和服裝面料。事實上，射頻傳感的最新進展表明，在非視距和高度雜亂的環境中，使用射頻信號可以傳感和準確定位物品的潛力。

在現有的射頻傳感技術中，研究人員對利用UHF RFID（射頻識別）標簽特別感興趣，因為它們在供應鏈行業中被廣泛采用。例如，有研究表明超過93%的美國零售商采用了UHF RFID。

團隊的愿景是將RFID傳感和定位應用于AR頭顯，為其提供非視距感知，并增強人類視覺能力，從而應用于倉庫自動化、電子商務履行和制造業。

他們希望構建一個在滿足以下要求的同時實現上述愿景的系統：

AR兼容性：系統必須與AR頭顯無縫集成，而不影響其現有傳感器和顯示器的性能（即，不妨礙頭顯攝像頭或用戶視場）。

無縫移動性：系統必須符合自然人類移動性。具體而言，它必須能夠準確定位RFID（在視距和非視距設置中），而不需要用戶執行不自然的運動模式。

可操作性：系統應向用戶提供可操作的任務（例如指導用戶在哪里搜索），并通知用戶任務成功（例如，向倉庫揀貨員驗證他們是否選擇了正確的訂單）。

用戶友好性：系統需要小巧輕便，以便用戶可以輕松佩戴AR頭顯并自由移動以完成任務。

滿足上述要求具有挑戰性，并且不能通過簡單地將最先進的RFID定位系統與AR頭顯集成來實現。特別是，大多數精確的RFID定位解決方案需要多個以米級距離分開的隔開，這使得它們太笨重，無法安裝到AR頭顯。

在另一方面，不需要這種天線陣列的解決方案通常依賴于基于機器人的天線，亦即需要在預定義的軌跡移動，這使得它們與人類的自然移動性不兼容。除了所述挑戰之外，提供AR可操作任務超出了簡單的RF定位，需要新的機制來融合自然移動性下的RF和視覺感知，并在頭顯顯示輸出。

所以在研究中，團隊提出了X-AR，一種帶有內置射頻傳感系統的增強現實頭顯。其中，佩戴X-AR的用戶可以在他們的環境中自由行走，而設備可以自動識別和定位環境中即便不在視距內的物品。使用所述信息，X-AR會引導工人找到目標物品（工具、包裹等），并驗證他們是否已選擇了正確的物品。

研究人員表示，所述頭顯實現了多個創新：

AR共形寬帶天線：X-AR引入了一種與頭顯共形的超輕量寬帶天線的設計。獨特的天線設計與AR頭顯面罩的形狀相匹配，不會阻擋用戶的視線或任何傳感器。天線同時可以實現輻射、帶寬（BW），并獲得執行準確RFID定位所需的屬性。

射頻視覺合成孔徑雷達：X-AR在定位環境中的RFID標簽時，不會對用戶的運動模式做出限制性假設，并可以利用自然的人類移動性。為了做到這一點，X-AR首先使用來自AR頭顯攝像頭的視覺信息來在環境中進行自我定位。然后，它使用在用戶運動期間收集的RFID測量值創建合成孔徑雷達（SAR），并以高精度定位RFID標記的物品。另外，X-AR引入了一系列技術來處理由自然人體運動產生的定位偽影和約束，如自然頭部傾斜和RFID反向散射輻射屬性。

射頻視覺驗證：X-AR設計的最終組成是一種用于驗證用戶何時拿起了目標RFID標簽物品的機制。這種驗證對于避免成本高昂的錯誤非常重要，例如在電子商務倉庫中揀貨并將錯誤的訂單運送給客戶。人們可能會假設，一旦用戶拿起RFID標記的目標項目，就可以通過將其定位到用戶手中來簡單地實現這種功能。在實踐中，這樣做十分具有挑戰性。因為與上面的場景不同，用戶的行走模擬了合成孔徑，用戶挑選物品停留在相對固定的位置。為了應對這一挑戰，X-AR利用了RFID標簽的移動性。具體而言，它執行反向SAR，以相對于所選項目的軌跡定位頭顯。

最終，團隊以微軟Hololens 2為基礎實現了X-AR的端到端原型。在實驗中，研究人員通過Unity對Hololens進行編程，以顯示項目位置和標簽，引導用戶找到目標項目，并顯示驗證結果。他們評估了X-AR在230次實驗試驗中的表現，而結果表明：

X-AR的共形天線在重量（<1g）、尺寸（共形）、帶寬（200MHz）和增益（約0dB）方面達到了所有期望的規格

X-AR在視距和非視距場景中準確定位RFID標記的物體，中值精度為9.8cm。即使是第90百分位精度都保持在45cm以內。相比之下，基于標準SAR的基線具有兩倍以上的誤差，24.8 cm的中值精度和99.1 cm的第90百分位精度。

X-AR追蹤RFID標簽和用戶的手的移動，以自動驗證所拾取物體的準確度超過95%（F-Score）。

相關論文：

Augmenting Augmented Reality with Non-Line-of-Sight Perception

https://paper.nweon.com/14114

接下來，團隊計劃嘗試各種其他增強功能。這包括WiFi、毫米波技術、太赫茲波，以及射程超過3米的改進天線。

審核編輯 ：李倩