在手術室中，手術視頻流的延遲和可靠性會對患者的預后產生重大影響。傳感器輸入的超高速幀速率支持下一代 AI 應用程序，可為外科醫生提供新級別的實時感知和控制。

為了將實時人工智能能力構建到醫療設備中，以用于手術導航、內窺鏡等圖像引導干預和醫療機器人等用例，開發人員需要能夠低延遲處理來自多個通道的組合傳感器數據的人工智能管道。

正如 GTC 2022 所宣布的， NVIDIA Clara Holoscan SDK v0.3 現在為 4K 視頻提供了 240 Hz 的閃電般快速幀速率。這使得開發人員能夠結合來自更多傳感器的數據，并構建能夠提供手術指導的 AI 應用程序。隨著通過高速以太網連接的傳感器實現更快的數據傳輸，開發人員有了更多的工具來構建加速的 AI 管道。

前端傳感器的實時人工智能處理

NVIDIA Clara Holoscan 通過 ConnectX SmartNIC 和 NVIDIA Rivermax SDK 實現高速傳感器輸入， GPUDirect RDMA 繞過 CPU 。這允許傳感器將數據高速以太網輸出到 AI 計算系統。結果是邊緣 AI 的性能無與倫比。

傳統的 GStreamer 和基于 OpenGL 的內窺鏡管道在 1080p 60 Hz 的流上具有 220 ms 的端到端延遲，而使用 Clara Holoscan 的高速管道在 4K 240 Hz 的流中僅有 10 ms 的端對端延遲。

在 NVIDIA IGX Orin Developer Kit 上以 4K 60 Hz 、 50 ms 以下的頻率流式傳輸數據，團隊可以運行 15 個并發 AI 視頻流和 30 個并發模型。

NVIDIA Rivermax 軟件開發工具包

NVIDIA Clara Holoscan 附帶的 NVIDIA Rivermax SDK 支持與 GPU 之間的直接數據傳輸。它繞過主機內存并使用 ConnectX SmartNIC 的卸載功能，以最低的流式工作負載利用率提供一流的吞吐量和延遲。 NVIDIA Clara Holoscan 利用 Rivermax 功能為高帶寬網絡傳感器帶來可擴展連接，并支持非常快速的數據傳輸。

視頻 G-SYNC

NVIDIA G-SYNC 通過將顯示器刷新率與 GPU 同步，實現了高顯示性能，從而消除了屏幕撕裂現象，并最大限度地減少了顯示器斷斷續續和輸入延遲。因此， AI 推理可以以非常低的延遲顯示。

NVIDIA Clara HoloViz

Clara HoloViz 是 Holoscan 中用于可視化數據的模塊。 Clara HoloViz 將實時幀流與多個不同的其他層（如分段掩碼層、幾何體層和 GUI 層）組合在一起。

為了獲得最佳性能， Clara HoloViz 使用了 Vulkan ，它已經作為 NVIDIA 驅動程序的一部分安裝。

Clara HoloViz 在其 API 中使用了立即模式設計模式的概念。應用程序不會創建和存儲任何對象。這使得在 Holoscan 應用程序中快速構建和更改可視化效果變得容易。

改進的開發人員體驗

NVIDIA Clara Holoscan SDK v0.3 版本顯著改善了開發體驗。首先，為創建 GXF 擴展添加了一個新的 C ++ API ，這為開發人員構建他們想要的應用程序提供了額外的途徑。其次，對 x86 處理器的支持允許開發人員快速開始開發 AI 應用程序，然后可以輕松地部署在 IGX 開發工具包上。第三，這個最新版本豐富了自帶模型（ BYOM ）支持。

Holoscan C++ API

Holoscan C ++ API 提供了一種新的方便的方式來組成 GXF 工作流，而無需編寫 YAML 文件。 Holoscan C ++ API 使創建應用程序的方法更加靈活和可擴展。它被設計成 GXF 框架 API 的直接替代品，并為 GXF 組件提供了通用接口。

圖 1.Holoscan API 的主要組件

應用： 應用程序獲取并處理流數據。應用程序是片段的集合，其中每個片段都可以分配到 Holoscan 集群的物理節點上執行。

片段： 片段是應用程序的構建塊。它是運算符的有向無環圖（ DAG ）。在執行期間，可以將片段分配給 Holoscan 集群的物理節點。運行時執行管理跨片段的通信。在片段中，操作符（圖形節點）通過流（圖形邊）相互連接。

運算符： 運算符是此框架中最基本的工作單元。操作員在輸入端口接收流數據，對其進行處理，并將其發布到其輸出端口之一。 GXF 中的 codelet 將替換為框架中的運算符。運營商將 GXF 實體的接收器和發射器封裝為運營商的 I / O 端口。

資源： 操作員執行作業所需的資源，如系統內存或 GPU 內存池。資源在應用程序的初始化階段分配。該資源與 GXF 內存分配器或從 GXF 中的組件類派生的任何其他組件的語義相匹配。

條件： 條件是一個謂詞，可以在運行時進行計算，以確定是否應該執行運算符。這與 GXF Scheduling Term 類的語義相匹配。

端口： 兩個運算符之間的交互點。操作員在輸入端口接收數據，并在輸出端口發布數據。 GXF 中的接收器、發射器和 MessageRouter 被替換為操作員的 I / O 端口概念。

執行器： 執行器管理物理節點上片段的執行。框架提供了一個使用 GXF 調度程序執行應用程序的默認執行器。

您可以在 SDK documentation 中找到有關新 C ++ API 的更多信息。請參閱 public source code repository 中使用新 C ++ API 跟蹤內窺鏡工具的完整 AI 應用程序示例。

支持 x86 系統

NVIDIA Clara Holoscan SDK 的設計考慮了各種硬件系統。除了 NVIDIA IGX DevKit 和 Clara AGX DevKit 之外，它還支持在 x86 系統上使用 SDK 。有了 x86 支持，沒有 DevKit 的研究人員和開發人員可以在 x86 機器上使用 Holoscan SDK 快速構建醫療設備的 AI 應用程序。

帶上你自己的模型

Holoscan SDK 提供 AI 庫和預處理的 AI 模型，以加快構建自己的 AI 應用程序的時間。您還可以通過自帶模型（ BYOM ）支持來參考內窺鏡和超聲波應用程序。

作為開發人員，您可以通過將自己的模型放入作為 SDK 一部分提供的參考應用程序中來快速構建 AI 管道。最后， SDK 還包括傳感器 I / O 集成選項和性能工具，用于優化生產部署的 AI 應用程序。

軟件堆棧更新

NVIDIA Clara Holoscan SDK v0.3 版本還集成了從 NVIDIA JetPack HP1 到 Holopack 1.1 的升級，運行 Tegra Board Support Package （ BSP ）版本 34.1.2 ，以及從版本 2.4.2 到版本 2.4.3 的 GXF 升級。

開始為醫療設備構建 AI

從培訓 AI 模型到驗證和驗證 AI 應用程序，最終部署到商業生產， Clara Holoscan 有助于簡化 AI 開發和部署。

關于作者

Julien Jomier 是 NVIDIA 的高級軟件工程經理。他領導 Holoscan Embedded SDK 的開發人員體驗。在加入 NVIDIA 之前， Julien 曾擔任 Kitware 在美國的商業解決方案總監和 Kitware-France 的首席執行官，他在那里領導開發 HPC 、計算機視覺和醫學成像的開源解決方案。朱利安在醫學領域有 20 多年的經驗，曾任放射科研究講師。

審核編輯：郭婷