在行業(yè)標(biāo)準(zhǔn) AI 推理測試中，NVIDIA H100 GPU 創(chuàng)造多項世界紀(jì)錄、A100 GPU 在主流性能方面展現(xiàn)領(lǐng)先優(yōu)勢、Jetson AGX Orin 在邊緣計算方面處于領(lǐng)先地位。

在 MLPerf 行業(yè)標(biāo)準(zhǔn) AI 基準(zhǔn)測試中首次亮相的 NVIDIA H100 Tensor Core GPU 在所有工作負載推理中均創(chuàng)造了世界紀(jì)錄，其性能比上一代 GPU 高出 4.5 倍。

這些測試結(jié)果表明，對于那些需要在高級 AI 模型上獲得最高性能的用戶來說，Hopper 是最優(yōu)選擇。

此外，NVIDIA A100 Tensor Core GPU 和用于 AI 機器人的 NVIDIA Jetson AGX Orin 模塊在所有 MLPerf 測試中繼續(xù)表現(xiàn)出整體領(lǐng)先的推理性能，包括圖像和語音識別自然語言處理和推薦系統(tǒng)。

H100 （又名 Hopper）提高了本輪測試所有六個神經(jīng)網(wǎng)絡(luò)中的單加速器性能標(biāo)桿。它在單個服務(wù)器和離線場景中展現(xiàn)出吞吐量和速度方面的領(lǐng)先優(yōu)勢。

NVIDIA H100 GPU 在數(shù)據(jù)中心類別的所有工作負載上都樹立了新標(biāo)桿

NVIDIA Hopper 架構(gòu)的性能比 NVIDIA Ampere 架構(gòu)高出 4.5 倍；Ampere 架構(gòu) GPU 在 MLPerf 結(jié)果中繼續(xù)保持全方位領(lǐng)先地位。

Hopper 在流行的用于自然語言處理的 BERT 模型上表現(xiàn)出色部分歸功于其 Transformer Engine。BERT 是 MLPerf AI 模型中規(guī)模最大、對性能要求最高的的模型之一。

這些推理基準(zhǔn)測試標(biāo)志著 H100 GPU 的首次公開亮相，它將于今年晚些時候上市。H100 GPU 還將參加未來的 MLPerf 訓(xùn)練基準(zhǔn)測試。

A100 GPU 展現(xiàn)領(lǐng)先優(yōu)勢

在最新測試中，NVIDIA A100 GPU 繼續(xù)在主流 AI 推理性能方面展現(xiàn)出全方位領(lǐng)先，目前主要的云服務(wù)商和系統(tǒng)制造商均提供 A100 GPU。

在數(shù)據(jù)中心和邊緣計算類別與場景中，A100 GPU 贏得的測試項超過了任何其他提交的結(jié)果。A100 還在 6 月的 MLPerf 訓(xùn)練基準(zhǔn)測試中取得了全方位的領(lǐng)先，展現(xiàn)了其在整個 AI 工作流中的能力。

自 2020 年 7 月在 MLPerf 上首次亮相以來由于 NVIDIA AI 軟件的不斷改進，A100 GPU 的性能已經(jīng)提升了 6 倍。

NVIDIA AI 是唯一能夠在數(shù)據(jù)中心和邊緣計算中運行所有 MLPerf 推理工作負載和場景的平臺。

用戶需要通用性能

NVIDIA GPU 在所有主要 AI 模型上的領(lǐng)先性能，使用戶成為真正的贏家。用戶在實際應(yīng)用中通常會采用許多不同類型的神經(jīng)網(wǎng)絡(luò)。

例如，一個AI 應(yīng)用可能需要理解用戶的語音請求、對圖像進行分類、提出建議，然后以人聲作為語音信息提供回應(yīng)。每個步驟都需要用到不同類型的 AI 模型。

MLPerf 基準(zhǔn)測試涵蓋了所有這些和其他流行的 AI 工作負載與場景，比如計算機視覺、自然語言處理、推薦系統(tǒng)、語音識別等。這些測試確保用戶將獲得可靠且部署靈活的性能。

MLPerf 憑借其透明性和客觀性使用戶能夠做出明智的購買決定。該基準(zhǔn)測試得到了包括亞馬遜、Arm、百度、谷歌、哈佛大學(xué)、英特爾、Meta、微軟、斯坦福大學(xué)和多倫多大學(xué)在內(nèi)的廣泛支持。

Orin 在邊緣計算領(lǐng)域保持領(lǐng)先

在邊緣計算方面，NVIDIA Orin 運行了所有 MLPerf 基準(zhǔn)測試，是所有低功耗系統(tǒng)級芯片中贏得測試最多的芯片。并且，與 4 月在 MLPerf 上的首次亮相相比，其能效提高了50%。

在上一輪基準(zhǔn)測試中，Orin 的運行速度和平均能效分別比上一代 Jetson AGX Xavier 模塊高出 5 倍和 2 倍。

在能效方面，Orin 邊緣 AI 推理性能提升多達 50%

Orin 將 NVIDIA Ampere 架構(gòu) GPU 和強大的 Arm CPU 內(nèi)核集成到一塊芯片中。目前，Orin 現(xiàn)已被用在 NVIDIA Jetson AGX Orin 開發(fā)者套件以及機器人和自主系統(tǒng)生產(chǎn)模塊，并支持完整的 NVIDIA AI 軟件堆棧，，包括自動駕駛汽車平臺（NVIDIA Hyperion）、醫(yī)療設(shè)備平臺（Clara Holoscan）和機器人平臺（Isaac）。

廣泛的 NVIDIA AI 生態(tài)系統(tǒng)

MLPerf 結(jié)果顯示，NVIDIA AI 得到了業(yè)界最廣泛的機器學(xué)習(xí)生態(tài)系統(tǒng)的支持。

在這一輪基準(zhǔn)測試中，有超過 70 項提交結(jié)果在 NVIDIA 平臺上運行。例如，Microsoft Azure 提交了在其云服務(wù)上運行 NVIDIA AI 的結(jié)果。

此外，10 家系統(tǒng)制造商的 19 個 NVIDIA 認(rèn)證系統(tǒng)參加了本輪基準(zhǔn)測試，包括華碩、戴爾科技、富士通、技嘉、慧與、聯(lián)想、和超微等。

它們的結(jié)果表明，無論是在云端還是在自己數(shù)據(jù)中心運行的服務(wù)器中，用戶都可以借助 NVIDIA AI 獲得出色的性能。

NVIDIA 的合作伙伴參與 MLPerf 是因為他們知道這是一個為客戶評估 AI 平臺和廠商的重要工具。最新一輪結(jié)果表明，他們目前向用戶提供的性能將隨著 NVIDIA 平臺的發(fā)展而增長。

用于這些測試的所有軟件都可以從 MLPerf 庫中獲得，因此任何人都可以獲得這些世界級成果。NGC（ NVIDIA 的 GPU 加速軟件目錄）上正在源源不斷地增加以容器化形式提供的優(yōu)化。在這里，你還會發(fā)現(xiàn) NVIDIA TensorRT，本輪測試的每此提交都使用它來優(yōu)化 AI 推斷。