新研究成果帶來實現安全自動駕駛系統所需的先進 3D Occupancy 預測。

NVIDIA 以自動駕駛開發大賽 3D Occupancy 預測挑戰賽冠軍的身份亮相 CVPR 2023。

此次角逐冠軍的 400 多份參賽作品共來自 10 個地區近 150 個團隊。

3D Occupancy 預測是指預測場景中每個體素（即 3D 鳥瞰網格上的各個數據點）的狀態的過程，體素可以被識別為自由、占用或未知三種狀態。

觀看 NVIDIA 自動駕駛實驗室關于 3D Occupancy 預測的視頻。

3D Occupancy 網格預測對開發安全、魯棒的自動駕駛系統至關重要。該功能利用 NVIDIA DRIVE 平臺提供支持的先進卷積神經網絡（CNN）和 Transformer 模型為自動駕駛汽車（AV）規劃和控制堆棧提供信息。

NVIDIA 學習和感知高級研究科學家 Zhiding Yu 表示：“NVIDIA 的獲獎方案包含兩項重要的先進自動駕駛（AV）技術。該方案展示了具有出色鳥瞰感知能力的先進模型設計，以及具有多達 10 億個參數的視覺基礎模型和大規模預訓練在 3D Occupancy 預測方面的有效性。”

在過去幾年中，自動駕駛感知已從處理 2D 任務，比如檢測圖像中的物體或自由空間等，發展到根據多個輸入圖像對 3D 世界進行推理。

NVIDIA 自動駕駛汽車應用研究總監兼杰出科學家 Jose Alvarez 表示，“這項技術能夠靈活、精確而細致地呈現復雜交通場景中的物體，對于達到自動駕駛的安全感知要求至關重要。”

Yu 在太平洋時間 6 月 18 日（星期日）上午 10 點 20 分舉行的 CVPR 端到端自動駕駛研討會（https://opendrivelab.com/e2ead/cvpr23.html）以及太平洋時間 6 月 19 日（星期一）下午 4 點舉行的自動駕駛視覺專題研討會（https://vcad.site/#/）上介紹NVIDIA Research 的獲獎作品。

CVPR 研討會委員會表示，除了贏得該挑戰賽的第一名之外，NVIDIA 還榮獲本次活動的創新獎，以表彰其“在開發視角轉換模塊方面的新洞察”。與之前的方法相比，其“性能大幅提升”。

閱讀 NVIDIA 關于參賽作品的技術報告：

https://opendrivelab.com/e2ead/AD23Challenge/Track_3_NVOCC.pdf?=&linkId=100000205404832

通過 3D Occupancy 預測提升車輛安全性

雖然傳統 3D 目標檢測（通常使用 3D 邊界框來檢測和呈現場景中的物體）是自動駕駛汽車感知領域的一項核心任務，但它具有局限性。例如缺乏表現力，邊界框可能無法呈現足夠的真實世界信息。它還需要為所有可能的物體進行分類標準和 ground truth 的定義，甚至包括在現實世界中很少見的物體，比如可能從卡車上掉落的道路危險物。

相比之下，3D Occupancy 預測能夠為自動駕駛汽車的規劃堆棧提供豐富信息，這對于端到端自動駕駛是必不可少的。

軟件定義汽車可以不斷通過升級，以添加經過證明和驗證的新研發成果。研究成果（例如在 CVPR 上得到認可的研究）所帶來的先進軟件更新，正在推動實現新功能和更安全的駕駛能力。

NVIDIA DRIVE 平臺可為汽車制造商帶來加速車輛生產的解決方案，為確保安全可靠的自動駕駛汽車開發提供了從汽車到數據中心的全棧式硬件和軟件。

CVPR 挑戰賽介紹

CVPR 的 3D Occupancy 預測挑戰賽要求參賽者開發在推理過程中只使用攝像頭輸入數據的算法。參賽者可以使用開源數據集和模型，從而推動對數據驅動算法和大型模型的探索。主辦方提供了一個基準沙盒，以便參賽者將最新的先進 3D Occupancy 預測算法應用于真實世界場景。

NVIDIA 參加 CVPR

NVIDIA 在 CVPR 上發表了近 30 篇論文和演講。在會上討論自動駕駛的專家包括：

• Jose Alvarez 在端到端自動駕駛研討會：新興任務和挑戰研討會上討論自動駕駛汽車中的新 3D 感知挑戰；并在嵌入式視覺研討會上討論優化用于實時推理的大型深度模型。

• NVIDIA 深度學習總監 Nikolai Smolyanskiy 在端到端自動駕駛研討會：感知、預測、規劃和模擬上討論自動駕駛汽車的實時交通預測。

• NVIDIA 杰出工程師 Robin Jenkin 在與 CVPR 同時舉行的 OmniCV 研討會上討論魚眼相機的圖像質量。

• NVIDIA 自動駕駛汽車研究部門的研究科學家 Xinshuo Weng 在自動駕駛視覺主題研討會上討論用于自動駕駛的視覺解決方案。

CVPR 于 6 月 18 日至 22 日舉行。查看議程上的其他講座并進一步了解 NVIDIA 在 CVPR 上的情況：https://www.nvidia.com/en-us/events/cvpr/

專題圖片由 OccNet 和 Occ3D 提供。