谷歌云、D-ID、Cohere將新平臺用于各種生成式AI服務，包括聊天機器人、文本生成圖像內容、AI視頻等。
?

?
加利福尼亞州圣克拉拉 -? GTC - 太平洋時間2023年3月21日 – NVIDIA于今日推出四款推理平臺。這些平臺針對各種快速興起的生成式AI應用進行了優化，能夠幫助開發人員快速構建用于提供新服務和洞察的AI驅動的專業應用。
?
這些平臺將NVIDIA的全棧推理軟件與最新的NVIDIA Ada、Hopper和Grace Hopper處理器相結合，包括今天推出的NVIDIA L4 Tensor Core GPU和NVIDIA H100 NVL GPU。各平臺針對AI視頻、圖像生成、大型語言模型部署、推薦系統推理等需求激增的工作負載進行了優化。
?
NVIDIA創始人兼首席執行官黃仁勛表示：“生成式AI的興起需要更加強大的推理計算平臺。生成式AI應用的數量是無限的，它唯一的限制就是人類的想象力。為開發人員提供最強大、靈活的推理計算平臺將加快新服務的創造速度，這些新服務將以前所未有的方式改善我們的生活。”
?
加速生成式AI的各種推理工作負載集

每個平臺都包含一個為特定生成式AI推理工作負載而優化的NVIDIA GPU和專用的軟件：
?

適用于AI視頻的NVIDIA L4可提供比CPU高出120倍的AI視頻性能，同時能效提高了99%。這款適用于幾乎所有工作負載的通用GPU提供更加強大的視頻解碼和轉碼能力、視頻流式傳輸、增強現實、生成式AI視頻等。

適用于圖像生成的NVIDIA L40針對圖形以及AI支持的2D、視頻和3D圖像生成進行了優化。L40平臺是NVIDIA Omniverse?（一個用于在數據中心構建和運行元宇宙應用的平臺）的引擎，與上一代產品相比，其Stable Diffusion推理性能提高了7倍，Omniverse性能提高了12倍。

適用于大型語言模型部署的NVIDIA H100 NVL是規模化部署像ChatGPT這樣的大型語言模型（LLMs）的理想平臺。這款新的H100 NVL擁有94GB內存和Transformer引擎加速，在數據中心規模，與上一代A100相比，GPT-3上的推理性能提高了多達12倍。

適用于推薦模型的NVIDIA Grace Hopper是圖形推薦模型、矢量數據庫和圖神經網絡的理想平臺。通過NVLink-C2C以900 GB/s 的速度連接CPU和GPU，Grace Hopper的數據傳輸和查詢速度比PCIe 5.0快了7倍。

?
這些平臺的軟件層采用NVIDIA AI Enterprise軟件套件，包括用于高性能深度學習推理的軟件開發套件NVIDIA TensorRT?，以及幫助實現模型部署標準化的開源推理服務軟件NVIDIA Triton Inference Server?。
?
早期采用者與支持

谷歌云是NVIDIA推理平臺的重要云合作伙伴和早期客戶。該公司正在將L4平臺整合到其機器學習平臺Vertex AI中，并且是第一家提供L4實例的云服務提供商，其G2虛擬機的私人預覽版已于今天推出。
?
NVIDIA和谷歌今天分別宣布了首批在谷歌云上使用L4的兩家機構——Descript和WOMBO，前者使用生成式AI幫助創作者制作視頻和播客，后者提供“Dream”這一AI驅動的文本-數字藝術轉換應用程序。
?
另一個早期采用者快手提供了一個短視頻應用程序，利用GPU對傳入的實時流媒體視頻進行解碼、捕捉關鍵幀并優化音視頻。然后，它使用一個基于Transformer的大型模型理解多模態內容，從而提高全球數億用戶的點擊率。
?
快手高級副總裁于越表示：“快手推薦系統所服務的社區每天的用戶人數超過3.6億，他們每天貢獻3000萬條UGC視頻。在相同的總體擁有成本下，相較于CPU，NVIDIA GPU將系統的端到端吞吐量提高了11倍，將延遲降低了20%?！?br /> ?
領先的生成式AI技術平臺D-ID，通過使用NVIDIA L40 GPU從文本中生成逼真的數字人，支持任何內容來生成人臉，不僅幫助專業人士改進視頻內容，同時減少了大規模視頻制作的成本和麻煩。
?
D-ID研發副總裁Or Gorodissky表示：“L40的性能十分驚人。有了它，我們將推理速度提高了一倍。D-ID十分高興能夠將這個新硬件作為我們產品的一部分，以前所未有的性能和分辨率實現AI人的實時流傳輸，并降低我們的計算成本?！?br /> ?
領先的AI制作工作室Seyhan Lee使用生成式AI為電影、廣播和娛樂行業開發沉浸式體驗和迷人的創意內容。
?
Seyhan Lee聯合創始人Pinar Demirdag表示：“L40 GPU為我們的生成式AI應用帶來了驚人的性能提升。憑借L40的推理能力和內存容量，我們可以部署非常先進的模型，并以驚人的速度和精度向客戶提供創新的服務。”
?
語言AI領域的先鋒Cohere所運行的平臺使得開發人員能夠在保護數據隱私和安全的情況下，構建自然語言模型。
?
Cohere首席執行官Aidan Gomez表示：“憑借NVIDIA的全新高性能H100推理平臺，我們可以使用先進的生成式模型為客戶提供更加優質、高效的服務，推動對話式AI、多語言企業搜索、信息提取等各種NLP應用的發展?！?br /> ?
供應情況
NVIDIA L4 GPU私人預覽版現已通過谷歌云平臺以及30多家計算機制造商所組成的全球網絡提供。
?
NVIDIA L40 GPU現已通過全球領先的系統提供商提供，并且合作伙伴平臺的數量將在今年持續增加。
?
Grace Hopper超級芯片已開始樣品供貨，預計下半年將全面投產。H100 NVL GPU也將于下半年面市。
?
NVIDIA AI Enterprise現在通過各大云市場以及數十家系統提供商和合作伙伴提供。NVIDIA AI Enterprise為客戶提供NVIDIA 企業級支持、定期安全審查以及NVIDIA Triton Inference Server?、TensorRT?和50多個預訓練模型與框架的API穩定性。
?
NVIDIA LaunchPad上免費提供的動手實驗室可以試用用于生成式AI的NVIDIA推理平臺。樣品實驗室的內容包括訓練和部署一個客服聊天機器人、部署一個端到端AI工作負載、在H100上調整和部署一個語言模型以及使用NVIDIA Triton部署一個欺詐檢測模型。
?