NVIDIA Isaac ROS GEM 是一款基于硬件加速的軟件包，可以讓 ROS 開發者更輕松地基于 NVIDIA 硬件構建高性能解決方案。

NVIDIA Isaac ROS GEM功能特性

高吞吐量感知

Isaac ROS GEM 提供的軟件包中包括圖像、計算機視覺，以及針對 NVIDIA GPU 和 Jetson 高度優化的 DNN 處理功能。

靈活的模組化軟件包

借助模組化軟件包，ROS 開發者可以準確地選擇需要集成到其應用中的內容。這意味著他們可以替換整個工作流，也可以僅更換一種算法。

縮短開發時間

Isaac ROS GEM 經過精心設計和測試，與現有的常見 ROS 節點相似，更易于集成到現有應用中。

適用于ROS開發者

且豐富多樣的感知AI軟件包

ROS 2 節點可應對常用的圖像、計算機和 DNN 處理功能，這些功能是為 AI ROS 機器人應用提供高性能感知的關鍵要素。

基于Visual SLAM的定位

當自主機器在相應環境中移動時，它們必須持續追蹤自己的位置。視覺測距通過估算攝像頭相對于其起始位置的距離來解決這一問題。支持立體視覺測距的 Isaac ROS GEM 為 ROS 開發者提供了這一強大功能。

此 GEM 使實時立體攝像頭視覺測距解決方案具備高準確度。可在此處參考基于廣泛使用的 KITTI 數據庫的公開可用結果。此 GPU 加速軟件包不僅具備高準確度，運行速度也非常快。事實上，SLAM 現在可在 Jetson Xavier AGX 上以高清分辨率（1280 x 720）實時（60 fps 以上）運行。

3D場景重建– nvblox（預覽）

僅僅明確機器人的位置還不足以在復雜的環境中實現安全導航。機器人還必須能夠自己發現障礙物。nvblox（預覽）使用 RGB-D 數據來創建機器人所在環境的密集 3D 顯示。其中包括不可預見的障礙物，如果不進行實時觀察，可能會對機器人造成危險。而此數據有助于為導航堆棧生成時間成本圖。

DNN 推理過程

DNN 推理 GEM 是一組 ROS2 軟件包，允許開發人員使用 NGC 上可用的 NVIDIA 眾多推理模型中的任何一種，甚至可以提供自己的 DNN。利用 NVIDIA TAO 工具套件，開發者可以進一步調整預訓練模型或優化自己的模型。

優化后，這些軟件包將通過 NVIDIA 的推理服務器 TensorRT 或 Triton 進行部署。借助利用 TensorRT（NVIDIA 的高性能推理 SDK）的節點實現出色的推理性能。如果 TensorRT 不支持所需的 DNN 模型，則可以使用 Triton 來部署模型。

整合模型支持的其他 GEM 現已推出，并支持 U-Net 和 DOPE 。基于 TensorRT 的 U-Net 軟件包可用來從圖像中生成語義分割遮罩。DOPE 軟件包可用于對所有檢測到的目標進行 3D 姿態估計。

該工具是在 ROS 應用程序中加入高性能 AI 推理的最快方法。下圖為預訓練模型 PeopleSemSegNet，運行速度為 25fps @544p。

攝像頭/ 圖像處理

在典型的機器人圖像處理流程中，須先處理通過攝像頭傳感器獲得的原始數據，然后再將其傳遞給 DNN 或用于感知處理的經典計算機視覺模組。此圖像處理過程包括鏡頭失真校正（LDC）、圖像調整和圖像格式轉換等。如果需要用到立體攝像頭，則還需要估計差異。圖像處理 GEM 旨在利用 Jetson 上的專用計算機視覺硬件，例如 GPU、VIC（視頻和圖像合成器）和 PVA（可編程的視覺加速器）。

針對使用 CSI 接口連接攝像頭的機器人，NVIDIA 提供硬件加速的 Argus 軟件包。

審核編輯：湯梓紅