NVIDIA 研究團隊取得突破性成果，展示了 Omniverse 數字孿生技術在仿真中重建真實場景的強大功能。

自動駕駛汽車的開發(fā)和驗證需要能夠在仿真中復制真實場景。

在 GTC 大會上，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛先生展示了適用于 NVIDIA DRIVE Sim 的新型 AI 工具，這些工具可以準確重建和修改實際駕駛場景。這些工具由 NVIDIA 研究團隊利用 NVIDIA Omniverse 平臺和 NVIDIA DRIVE Map 等技術取得的突破性成果提供支持。

黃仁勛先生演示了這些方法，展示開發(fā)者如何在快速迭代中輕松測試多個場景：

在仿真中重建任何場景后，這些場景便可用作許多不同變化的基礎，包括改變迎面而來的車輛的軌跡，或在駕駛路徑上增加障礙物，從而有助于開發(fā)者改進 AI 驅動。

然而，在仿真中重建真實駕駛場景并從中生成真實的數據是一個費時費力的過程。這需要技術經驗豐富的工程師和藝術家，但即便如此，也很難做到。

NVIDIA 已實施兩種基于 AI 的方法來無縫執(zhí)行此過程：虛擬重建和神經重建。第一種方法復制真實場景，作為完全合成的 3D 場景，第二種方法則使用神經仿真增強真實的傳感器數據。

這兩種方法不僅能夠重現單個場景，還能夠實現擴展，生成許多富有挑戰(zhàn)性的新場景。這種功能加速了持續(xù)的自動駕駛汽車訓練、測試和驗證工作流。

虛擬重建

在上面的主題演講視頻中，使用 NVIDIA DRIVE Map、Omniverse 和 DRIVE Sim，以 3D 形式重建了 NVIDIA 總部周圍的整體駕駛環(huán)境和各個場景。

借助 DRIVE Map，開發(fā)者可以在 Omniverse 中查看道路網絡的數字孿生。通過使用建立在 Omniverse 上的工具，詳細的地圖可以轉換為能夠與 NVIDIA DRIVE Sim 一起使用的可駕駛仿真環(huán)境。

利用重建的仿真環(huán)境，開發(fā)者可以使用在真實駕駛中獲得的攝像頭、激光雷達和車輛數據來重現事件，例如在交叉路口發(fā)生的驚險一刻或穿越施工區(qū)。

該平臺的 AI 幫助重建場景。首先，對于每個追蹤的物體，AI 會查看攝像頭圖像，并從 DRIVE Sim 目錄中找到極其相似的 3D 素材，以及與視頻中物體顏色非常接近的顏色。

最后，重現追蹤物體的實際路徑;然而，由于存在遮擋，通常會存在空白。在這種情況下，基于 AI 的交通模型會應用于追蹤的物體，以預測其運行情況并填補其軌跡中的空白。

使用真實駕駛中的攝像頭和激光雷達數據以及 AI 重建場景

借助虛擬重建，開發(fā)者能夠發(fā)現具有挑戰(zhàn)性的潛在情況，通過基于物理傳感器和 AI 行為模型生成的高保真數據來訓練和驗證自動駕駛汽車系統(tǒng)，從而創(chuàng)建許多新場景。場景中的數據也可以訓練行為模型。

使用 AI 從原場景中生成看似合理、具有挑戰(zhàn)性的場景

神經重建

另一種方法依靠的是神經仿真，而不是以合成方式生成場景，首先使用真實的傳感器數據，然后再進行修改。

傳感器重放(回放錄制的傳感器數據以測試自動駕駛汽車系統(tǒng)的性能的過程)是自動駕駛汽車開發(fā)的主要內容。這是一個開環(huán)過程，意味著自動駕駛汽車棧的決策不會影響世界，因為所有數據都是預先錄制的。

NVIDIA 研究團隊提供的神經重建方法的預覽將這些錄制的數據轉變?yōu)橐粋€完全反應式的可修改環(huán)境，就像在演示中一樣，最初錄制的貨車駛過時，汽車可以重新設定為右轉彎。這種革命性的方法可以實現在自動駕駛棧與駕駛環(huán)境之間進行閉環(huán)測試和完全交互。

此過程從錄制的駕駛數據開始。AI 可識別場景中的動態(tài)物體，并將其移除，以創(chuàng)建可從新視角呈現的 3D 環(huán)境精確副本。然后，將動態(tài)物體重新融入 3D 場景，呈現基于 AI 的逼真行為和外貌，并考慮照明和陰影。

使用 AI 基于預先錄制的駕駛數據創(chuàng)建 3D 交互式環(huán)境

然后，自動駕駛系統(tǒng)會在這個虛擬世界中行駛，且場景會做出相應的反應。您可以通過增強現實使場景變得更加復雜，可以插入其他虛擬物體、車輛和行人，使渲染結果看起來就像是真實場景的一部分，并且可以與環(huán)境進行物理交互。

車輛上的每一個傳感器(包括攝像頭和激光雷達)都可以使用 AI 在場景中進行仿真。

在 Omniverse 中，可以在駕駛環(huán)境中插入虛擬物體和車輛。針對場景生成了人工傳感器數據(包括激光雷達)

充滿可能性的虛擬世界

這些新方法由 NVIDIA 在渲染、圖形和 AI 方面的專業(yè)知識驅動。

作為一個模塊化平臺，DRIVE Sim 在確定性仿真的基礎上支持這些功能。它提供車輛動態(tài)、基于 AI 的交通模型、場景工具和全面的 SDK，以構建所需的任何工具。

通過這兩種強大新穎的 AI 方法，開發(fā)者可以輕松地從現實世界遷移到虛擬世界，從而加快自動駕駛的開發(fā)和部署。

原文標題：GTC22 | NVIDIA 展示 DRIVE Sim 中的新型 AI 工具，推動自動駕駛汽車的開發(fā)

文章出處：【微信公眾號：NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅