在最新一輪的 MLPerf AI 推理基準測試中，Nvidia 憑借其 AI 計算平臺獲得了性能記錄。MLPerf 是業界獨立的基準測試聯盟，用于衡量硬件、軟件和服務的 AI 性能。對于數據中心和邊緣計算系統，英偉達在第二輪 MLPerf 評分中是所有六個應用領域的性能領先者。

MLPerf 聯盟發布了 MLPerf Inference v0.7 的結果，這是其機器學習推理性能基準套件的第二輪提交，該套件中的應用程序數量翻了一番。它還引入了新的 MLPerf Mobile 基準。由 Arm、谷歌、英特爾、聯發科、高通和三星電子領導的 MLPerf Mobile 工作組選擇了四個新的神經網絡進行基準測試，并開發了一款智能手機應用程序。

MLPerf 還增加了針對數據中心和邊緣系統的額外測試，超越了最初的兩個計算機視覺測試，包括 AI 的四個新領域：推薦系統、自然語言理解 (NLP)、語音識別和醫學成像，以及圖像分類（ResNet-50）和對象檢測（低分辨率和高分辨率）。四個新的 AI 推理基準是深度學習推薦模型 (DLRM)、變壓器的雙向編碼器表示 (BERT)、循環神經網絡轉換器 (RNN-T) 和 3D U-Net。

Nvidia Accelerated Computing 產品管理高級總監 Paresh Kharya 表示，這是第二輪 MLPerf AI 推理測試，出于一些原因，人們熱切期待它。該基準已經發展到包含新的應用領域，總體參與人數從上一輪的 12 名（MLPerf 0.5 推理）增加到本輪的 23 名（MLPerf 0.7 推理），Nvidia Ampere 在這些測試中競爭第一次，他補充說。

“四個新的應用領域是推薦系統，其模型由 Facebook 提供，稱為 DLRM，由 Google 提供的非常重要的 NLP 模型，稱為 RNN-T 的語音識別模型，最后是稱為 3D 的新醫學成像模型用于在 MRI 掃描中識別腫瘤的 U-Net，”Kharya 說。“改進后的基準代表了現代用例，您可以針對不同的環境和場景運行這些測試。”

資料來源：英偉達（。）

Kharya 解釋說，Nvidia 提交了數據中心和邊緣應用程序，并且有四種不同的場景強調了這些環境。

“有離線測試，這意味著你的存儲中有數據，任務是運行盡可能多的推理，”他說。“然后你有代表不同用戶訪問數據中心服務器的服務器場景，代表互聯網應用程序或從云交付的應用程序，任務是對即將到來的負載進行盡可能多的推斷。”

他補充說，還為數據中心和邊緣環境提交了單流和多流方案。

分數基于系統。Nvidia 表示，使用 Nvidia A100 GPU的商用系統在所有 AI 推理基準測試得分中排名第一。此外，Nvidia 的 GPU 在提交的內容中占主導地位，Nvidia 和 11 個合作伙伴提交了超過 85% 的系統。合作伙伴包括思科、戴爾和富士通。

Nvidia 表示，五年前，只有少數領先的高科技公司使用 GPU 進行推理，而現在人工智能推理平臺可通過各行各業的每個主要云和數據中心基礎設施提供商獲得。

分數Nvidia 及其合作伙伴基于 Nvidia 的加速平臺提交了他們的 MLPerf 0.7 結果，其中包括 Nvidia 數據中心 GPU、邊緣 AI 加速器和優化軟件。Nvidia A100 采用第三代 Tensor Cores 和多實例 GPU 技術，在 ResNet-50 測試中提高了領先優勢，在上一輪中以 30 倍擊敗僅 CPU 的系統，而 6 倍。

對于離線和服務器兩種數據中心場景，英偉達在每次測試中都大幅領先于競爭對手。然而，Kharya 指出，沒有提交谷歌 TPU，并且許多在推理性能方面提出很多要求的初創公司也沒有出現在標準化測試中。

資料來源：英偉達（。）

MLPerf Inference 0.7 基準測試還表明，在新添加的數據中心推理推薦器測試中，A100 的性能優于 CPU 高達 237 倍。Nvidia表示，這意味著單個Nvidia DGX A100 系統可以提供與 1,000 個雙插槽 CPU 服務器相同的性能，從而在將 AI 推薦模型從研究到生產過程中為客戶提供成本效益。

同樣，在有單流和多流測試的邊緣場景中，Nvidia 提交了其 T4 和 A100 PCIe GPU 以及 Jetson Xavier SoC。基準測試顯示，在相同的測試中， Nvidia T4 Tensor Core GPU比 CPU 高出 28 倍，其Nvidia Jetson AGX Xavier是基于 SoC 的邊緣設備中的性能領導者。

“Nvidia Jetson Xavier 是一款 30-W SoC 芯片，我們的 GPU 在各自類別的不同測試中都大大優于競爭對手，”Kharya 說。（見下表。）

資料來源：英偉達（。）

Kharya 說，從研究到生產，性能突破對于人工智能的采用至關重要。“人工智能已經取得了人類編寫的軟件無法取得的成果。人工智能具有很強的可擴展性。更大、更復雜的模型創造出更強大的人工智能和更準確的人工智能，它可以執行許多不同的任務。”

資料來源：英偉達（。）

然而，也存在挑戰，他說。“人工智能越準確，訓練和推理就越復雜。在過去五年中，模型的復雜性增長了 30,000 倍。當這些精確模型部署在實際應用中時，您需要極高的推理性能才能使這些應用成為可能，因此每天進行的數百萬次醫學掃描可以實時準確診斷疾病，或數億次從客戶支持到用戶搜索和查找信息，對話式 AI 交互的感覺自然而然。

“而且高度相關的內容和產品推薦現在可以個性化并交付給用戶，”Kharya 補充道。

英偉達在 CPU 方面的領先地位有所提高，在基本計算機視覺模型 (ResNet-50) 上從大約 6 倍增加到 30 倍，而在本輪新增的高級推薦系統模型上，英偉達 A100 的速度提高了 237 倍Kharya 說，比 Cooper Lake CPU。

他聲稱，這意味著單個 DGX A100 在推薦系統上提供與 1,000 個 CPU 服務器相同的性能。“MLPerf 的最新結果確實很好地證明了我們如何繼續擴大我們的性能領先優勢，并最終為我們的客戶提供不斷增加的價值，并使從研究到生產的全新 AI 應用范圍成為可能。”

雖然 GPU 架構是英偉達 AI 平臺的基礎，但它也需要高度優化的軟件堆棧。對于推理，Nvidia 將其分為四個關鍵步驟：預訓練的 AI 模型（可通過 Nvidia 的NGC中心獲得 GPU 加速軟件）、優化模型的遷移學習工具包、具有 2,000 多項優化的Nvidia TensorRT推理優化器和Nvidia運行模型和應用程序的Triton 推理服務軟件。

資料來源：英偉達（。）

該公司還為關鍵應用領域提供端到端的應用框架。它們包括 CLARA（醫療保健）、DRIVE（自動駕駛汽車）、JARVIS（對話式人工智能）、ISAAC（機器人）、MERLIN（推薦系統）和 METROPOLIS（智能城市）。

Nvidia 還聲稱，其 GPU 在公共云中提供的 AI 推理能力比 CPU 更多。據該公司稱，英偉達 GPU 上的總云 AI 推理計算能力每兩年增長大約 10 倍。應用范圍從自主無人機和送貨機器人到倉庫和光學檢測。

審核編輯 黃昊宇”