簡化和優化生成式 AI 開發的工具備受追捧，需求與日俱增。借助基于檢索增強生成（RAG）（該技術通過從指定外部來源獲取事實資料，來提高生成式 AI 模型的準確性和可靠性）的應用和自定義模型，開發者能夠根據其具體需求調整 AI 模型。

此類工作在過去可能需要復雜的設置，而新工具使這項工作變得空前簡單。

NVIDIA AI Workbench 可協助 AI 開發者構建自己的 RAG 項目、自定義模型等等，這些功能簡化了開發者的工作流。該工具是在 COMPUTEX 展會上推出的 RTX AI Toolkit 的一部分，它是一套用于自定義、優化和部署 AI 功能的工具和軟件開發套件。復雜的技術任務有可能誤導專家并讓初學者難以上手，而 AI Workbench 使其復雜度大大降低。

NVIDIA AI Workbench 是什么？

用戶可免費使用 NVIDIA AI Workbench，用戶能夠在各類 GPU 系統（如筆記本電腦和工作站到數據中心和云計算）上開發、試驗、測試 AI 應用和制作 AI 應用原型。該工具為各類用戶跨系統創建、使用和共享 GPU 開發環境提供了新的方法。

用戶只需花幾分鐘即可輕松安裝，在本地或遠程機器上啟動并運行 AI Workbench。然后，用戶就可以新建項目或從 GitHub 上的示例中復制一個項目。一切都通過 GitHub 或 GitLab 進行，因此用戶可以輕松進行協作和分發工作。深入了解如何開始使用 AI Workbench。

AI Workbench 如何助力解決 AI 項目的挑戰

開發 AI 工作負載從一開始就需要手動執行一些通常來說很復雜的流程。

設置 GPU、更新驅動和管理版本不兼容問題可能會很麻煩。在不同系統之間復制項目可能需要一遍又一遍地重復手動流程。復制項目時若出現數據碎片化和版本控制問題等不一致情況，還可能阻礙協作。各種設置流程、移動憑據和機密，以及更改環境、數據、模型和文件位置都會限制項目的可移植性。

借助 AI Workbench，數據科學家和開發者可以更輕松地跨異構平臺管理工作和協作。該工具在開發流程的各個方面實現了集成和自動化，并具有以下特點：

易于設置：AI Workbench 簡化了 GPU 加速的開發環境的設置流程，讓技術知識有限的用戶也能操作。

無縫協作：AI Workbench 與 GitHub 和 GitLab 等版本控制和項目管理工具集成，有助于減少協作時可能產生的不便。

從本地擴展到云端時保持一致性：AI Workbench 確保跨多個環境依然可以保持一致性，支持在本地工作站或 PC 和數據中心或云端之間擴容或縮容。

利用 RAG 處理文檔，操作比以往更加順暢

NVIDIA 提供 Workbench 項目開發示例，協助用戶開始使用 AI Workbench。混合式 RAG Workbench 項目就是一個例子：它在本地工作站、PC 或遠程系統上運行基于文本的自定義 RAG Web 應用來處理用戶的文檔。

每個 Workbench 項目都在一個“容器”（即包含運行 AI 應用所需的所有必要組件的軟件）中運行。混合式 RAG 示例將主機上的 Gradio 聊天界面前端與容器化 RAG 服務器配對，而后端負責處理用戶請求并在向量數據庫和所選的大語言模型之間傳輸數據。

該 Workbench 項目支持 NVIDIA GitHub 頁面上提供的各種 LLM。此外，該項目的混合特性允許用戶選擇在何處運行推理。

Workbench 項目讓用戶可以對開發環境和代碼進行版本控制。

開發者可以在主機上運行嵌入模型，并在 Hugging Face 文本生成推理服務器上本地運行推理，在目標云資源上使用 NVIDIA 推理端點（如 NVIDIA API 目錄），或使用自托管微服務（如 NVIDIA NIM 或第三方服務）運行推理。

混合式 RAG Workbench 項目還包括：

性能指標：用戶可以評估基于 RAG 和非 RAG 的用戶查詢在每種推理模式中的表現情況。這些指標包括檢索時間、首 Token 延遲（Time to First Token, TTFT）和 Token 速率（Token Velocity）。

檢索透明度：面板會顯示精確文本片段（在向量數據庫中檢索到的語義相關度最高的內容），并且這些片段會被輸入到 LLM 中，以提高回復與用戶請求的相關度。

響應自定義：用戶可以使用各種參數調整響應，例如要生成的最大令牌數、溫度和頻率懲罰。

您只需在本地系統上安裝 AI Workbench，即可開啟此項目。您可將混合式 RAG Workbench 項目從 GitHub 帶入到用戶帳戶并復制到本地系統。

如需了解詳情，請前往 AI Decoded 用戶指南獲取更多資源。此外，社區成員還提供實用的視頻教程，例如下面來自 Joe Freeman 的教程。

自定義、優化、部署

開發者經常試圖針對特定用例自定義 AI 模型。微調是一種通過使用額外數據訓練模型，進而改變模型的技術，該技術可用于風格遷移或改變模型行為。AI Workbench 也有助于進行微調。

Llama-factory AI Workbench 項目提供適用于各種模型的 QLoRa（一種可大幅減少內存需求的微調方法），并可通過簡單的圖形用戶界面實現模型量化。開發者可以使用公開或自有的數據集來滿足其應用的需求。

微調完成后，用戶即可對模型進行量化以提高性能并減少顯存占用，然后將其部署到原生 Windows 應用進行本地推理或部署到 NVIDIA NIM 進行云推理。如需了解該項目的完整教程，請在 NVIDIA RTX AI Toolkit 倉庫中進行查找。

真正的混合式設計：隨時隨地運行 AI 任務

上述的混合式 RAG Workbench 項目在多個方面采用混合式設計。除了提供推理模式選擇外，該項目還可以在 NVIDIA RTX 工作站和 GeForce RTX PC 上本地運行，或擴展到遠程云服務器和數據中心。

用戶可以在自己選擇的系統上運行所有 Workbench 項目，并且不會在設置基礎設施方面產生開銷。在 AI Workbench 快速入門指南中查找更多關于微調和自定義的示例和說明。