問

從頭開始創(chuàng)建機器人是不是很有挑戰(zhàn)性？

答

從零開始創(chuàng)建一個機器人并非及其困難，使用合適的工具，就能夠輕松達到事半功倍的效果。

問

那么應該怎么開始呢？

答

從 0 到 1 搭建機器人系列文章將從第一步開始，拆解并串聯(lián)起關于機器人創(chuàng)建的必要知識和所涉工具，希望能以 NVIDIA 提供的前沿解決方案為您鋪平開發(fā)實踐的道路。

今天我們將先從數(shù)據(jù)標記、模型訓練開始，出場的是Isaac Sim Replicator和NVIDIA TAO 工具套件，前者用于生成合成數(shù)據(jù)，后者可對合成數(shù)據(jù)進行訓練，為機器人的仿真打下堅實的基礎。

虛擬環(huán)境和合成數(shù)據(jù)

在現(xiàn)實世界中，制造機器人需要從頭開始創(chuàng)建數(shù)據(jù)集，涉及到采集和注釋海量真實圖像等，這一過程耗時又費錢，存在人力協(xié)調(diào)方面的挑戰(zhàn)，而且會減緩部署速度。因此，開發(fā)人員轉(zhuǎn)向了合成數(shù)據(jù)生成 (SDG）、預訓練 AI 模型、遷移學習和機器人仿真這幾種方式。

合成數(shù)據(jù)是計算機模擬或算法所生成的帶有注釋的信息，可以用于代替真實數(shù)據(jù)。雖然是人造數(shù)據(jù)，但合成數(shù)據(jù)能夠從數(shù)學或統(tǒng)計學上反映真實數(shù)據(jù)。研究表明，在訓練 AI 模型方面，合成數(shù)據(jù)與基于實際物體、事件或人的數(shù)據(jù)一樣好。采用合成數(shù)據(jù)生成 (SDG) 無疑可以節(jié)省時間并降低成本。

預訓練 AI 模型則是一種為了完成某項特定任務而在大型數(shù)據(jù)集上進行訓練的深度學習模型，既可以直接使用，也可以根據(jù)某個應用的具體需求進行進一步微調(diào)。比如，在創(chuàng)建一個能夠識別獨角獸的模型時，首先會為其提供獨角獸、馬、貓和其他動物的圖像作為傳入數(shù)據(jù)。然后再構建具有代表性的數(shù)據(jù)特征層。從線條、顏色等簡單特征開始，深入到復雜的結構特征。依據(jù)計算出的概率，這些特征將被賦予不同程度的相關性。一個生物看起來越像馬，它是獨角獸而不是貓的概率就越大。這些概率值被存儲在 AI 模型的每個神經(jīng)網(wǎng)絡層。隨著層數(shù)的增加，模型對表征的理解程度也在提高。試想一下，若要從頭開始創(chuàng)建一個這樣的模型，通常需要調(diào)用包含數(shù)十億行數(shù)據(jù)的巨大數(shù)據(jù)集，幾乎是一個‘事倍功半’的過程。相反，如果在預訓練模型基礎上進行開發(fā)，則可以更快創(chuàng)建出 AI 應用，無需處理堆積如山的傳入數(shù)據(jù)或計算密集的數(shù)據(jù)層的概率。NVIDIA NGC即匯集了通過 GPU 優(yōu)化的 AI 軟件、模型和 Jupyter Notebook 示例，包括各種預訓練模型以及為 NVIDIA AI 平臺優(yōu)化的 AI 基準和訓練方式。

熟悉 NVIDIA 的開發(fā)者對 Isaac Sim 一定不會感到陌生，這是一個機器人仿真應用程序，用于創(chuàng)建虛擬環(huán)境和生成合成數(shù)據(jù)。更進一步，Isaac Sim Replicator 是一個建立在可擴展的Omniverse平臺上的高度可擴展 SDK，它可以生成物理級精確的 3D 合成數(shù)據(jù)來加速 AI 感知網(wǎng)絡的訓練和性能。開發(fā)者可以使用 Isaac Sim Replicator 生成的大規(guī)模逼真合成數(shù)據(jù)，來引導和提高現(xiàn)有深度學習感知模型的性能。

有關于仿真測試的更多技術應用細節(jié)，我們將在以后的機器人系列文章中具體談到。

數(shù)據(jù)標注和模型訓練

選擇好合適的模型后，就可以進一步訓練和微調(diào)出更為準確的 AI 模型了，這也是 NVIDIA TAO 工具套件的用武之地。NVIDIA TAO 是一個框架，可使用自定義數(shù)據(jù)訓練、調(diào)整和優(yōu)化（TAO: Train, Adapt, and Optimize）計算機視覺 （CV） AI 模型和對話式 AI 模型，所需時間非常少，也無需擁有大型訓練數(shù)據(jù)集或 AI 專業(yè)知識。

TAO 工具套件是 TAO 的低代碼版本，基于 TensorFlow 和 PyTorch 構建，通過抽象出 AI/深度學習框架的復雜性來加速模型訓練過程。有了 NVIDIA TAO 工具套件，開發(fā)者可以進行遷移學習，通過適應和優(yōu)化，在短時間內(nèi)達到最先進的精度和生產(chǎn)級吞吐量。在 NVIDIA GTC23 上，NVIDIA 發(fā)布了NVIDIA TAO 工具套件 5.0，帶來了 AI 模型開發(fā)方面的突破性功能提升。

AI 輔助的數(shù)據(jù)標注和管理

如前文所述，數(shù)據(jù)標注仍然是一個昂貴且耗時的過程。對于 CV 任務尤其如此，比如需要在標注對象周圍生成像素級別分割掩碼的分割任務。通常，分割掩碼的成本是對象檢測或分類的 10 倍。

通過 TAO 工具套件 5.0 ，用最新的 AI 輔助標注功能對分割掩碼進行標注，速度更快，成本更低。可以使用弱監(jiān)督分割架構 Mask Auto Labeler (MAL) 來幫助進行分割注釋，以及固定和收緊用于對象檢測的邊界框。實況數(shù)據(jù)中對象周圍的松散邊界框可能會導致非最佳檢測結果，但通過 AI 輔助標注，可以將邊界框收緊到對象上，從而獲得更準確的模型。

NVIDIA TAO 工具套件自動標記工作流程

在任何平臺、任何位置部署 NVIDIA TAO

NVIDIA TAO 工具套件 5.0 支持 ONNX 模型導出。無論是 GPU、CPU、MCU、DLA 還是 FPGA 的邊緣或云上的任何計算平臺，都可以部署使用 NVIDIA TAO 工具套件訓練的模型。NVIDIA TAO 工具套件簡化了模型訓練過程，優(yōu)化了模型的推理吞吐量，為數(shù)千億臺設備的 AI 提供了動力。

除了傳統(tǒng)對象檢測和分割，NVIDIA TAO 工具套件也加速了其他的各種 CV 任務。TAO 工具套件 5.0 中新增的字符檢測和識別模型使開發(fā)人員能夠從圖像和文檔中提取文本。文檔轉(zhuǎn)換實現(xiàn)了自動化，并加速了在保險和金融等行業(yè)的用例。

為了提高透明度和可解釋性， TAO 工具套件以開源形式提供。開發(fā)者能夠從內(nèi)部層查看特征圖，并繪制激活熱圖，以更好地理解 AI 預測背后的推理過程。此外，訪問源代碼使開發(fā)者能夠靈活地創(chuàng)建定制的 AI，提高調(diào)試能力，并增加對模型的信任。

到此為止，我們已經(jīng)完成了數(shù)據(jù)的合成和訓練，接下來讓我們一起期待如何進行機器人模型的仿真與測試吧！

• 下載 NVIDIA TAO 工具套件（https://developer.nvidia.com/tao-toolkit-get-started）并開始創(chuàng)建自定義 AI 模型。

• 您也可以在 LaunchPad （https://www.nvidia.com/en-us/launchpad/ai/develop-fine-tune-computer-vision-models-with-tao-automl/）上體驗 NVIDIA TAO 工具套件。

點擊“閱讀原文”，或掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。