基于京東部署的 DGX SuperPOD 集群 “天琴α”，京東探索研究院聯(lián)合悉尼大學(xué)共同研發(fā)了織女模型，一并攻克了 GLUE 兩項(xiàng)挑戰(zhàn)性任務(wù)。

京東探索研究院致力于世界前沿技術(shù)的研究，其中人工智能方向涵蓋 CV、NLP、多模態(tài)等。大規(guī)模語(yǔ)音模型的研究更是京東探索研究院的重中之重。

以語(yǔ)言模型為例，在過(guò)去 2-3 年的時(shí)間，語(yǔ)言模型大小每年都在以 1-2 個(gè)數(shù)量級(jí)的速度在增加，如今，則已達(dá)到萬(wàn)億參數(shù)的級(jí)別。而模型的結(jié)構(gòu)和復(fù)雜性日益變化，這對(duì) GPU 集群的架構(gòu)提出了不一樣的要求。

從系統(tǒng)層面看，既有的 GPU 計(jì)算集群主要是以支持單機(jī)任務(wù)、小規(guī)模多機(jī)任務(wù)為主，相較之下，其多機(jī)之間網(wǎng)絡(luò)擴(kuò)展能力則較弱，而大規(guī)模擴(kuò)展能力也較為受限。因此，在既有的 GPU 集群架構(gòu)下，較無(wú)法滿(mǎn)足服務(wù)大模型的計(jì)算需求。

對(duì)于京東探索研究院而言，掌握時(shí)效是關(guān)鍵，更快的模型訓(xùn)練意味著能加速迭代、擴(kuò)展嘗試空間、使產(chǎn)品落地更迅速，并提高業(yè)務(wù)收益。在模型越來(lái)越復(fù)雜多樣、計(jì)算需求越來(lái)越大、單任務(wù)計(jì)算規(guī)模越來(lái)越大的背景下，如何快速新建一個(gè)可高效擴(kuò)展并易用的 GPU 集群，以滿(mǎn)足應(yīng)對(duì)上述挑戰(zhàn)，是亟待解決的核心問(wèn)題。

基于以上挑戰(zhàn)，京東探索研究院選擇了采用 NVIDIA DGX SuperPOD 方案來(lái)提供支持，并成功給業(yè)務(wù)側(cè)帶來(lái)了巨大的提升及解決企業(yè)痛點(diǎn)。

1. NVIDIA DGX SuperPOD 是一套完整的解決方案，基于 DGX A100 服務(wù)器、HDR InfiniBand 200G 網(wǎng)卡和 NVIDIA Quantum QM8790 交換機(jī)構(gòu)建了一套全互聯(lián)架構(gòu)，在保證單機(jī)計(jì)算能力最強(qiáng)的同時(shí)，采用計(jì)算和存儲(chǔ)網(wǎng)絡(luò)相隔離的方案，最大程度地從網(wǎng)絡(luò)上保證集群的互聯(lián)能力。

2.安裝部署方面，NVIDIA 為 DGX SuperPOD 提供專(zhuān)業(yè)的部署服務(wù)，包括單機(jī)系統(tǒng)部署、InfiniBand 網(wǎng)絡(luò)配置、調(diào)度安裝調(diào)試、監(jiān)控部署、多機(jī)環(huán)境、基礎(chǔ)性能驗(yàn)證等，從基礎(chǔ)系統(tǒng)方面，保證了最快交付。

3.使用方面，NVIDIA 為 DGX SuperPOD 部署了 Slurm 調(diào)度系統(tǒng)，并基于 NGC 和客戶(hù)主要的幾類(lèi)模型，提供了完整的作業(yè)腳本，用戶(hù)只需簡(jiǎn)單修改幾行參數(shù)來(lái)適配自己的模型，即可一鍵方便地運(yùn)行起大規(guī)模分布式任務(wù)。

4. 性能方面，DGX SuperPOD 經(jīng)過(guò)一系列的基礎(chǔ)優(yōu)化（CUDA-X， Magnum IO， NGC）和評(píng)測(cè)驗(yàn)證（MLPerf），提供最好的 AI 訓(xùn)練性能，在京東探索研究院針對(duì)CV、NLP、跨模態(tài)等領(lǐng)域設(shè)計(jì)和研發(fā)的數(shù)十個(gè)模型上，經(jīng)過(guò)雙方一系列系統(tǒng)級(jí)的合作優(yōu)化，在 DGX SuperPOD 上達(dá)到了比較理想的加速比和擴(kuò)展性。

使用 DGX SuperPOD 方案，用戶(hù)只需要關(guān)注自己的 AI 模型和算法研究，無(wú)需關(guān)注硬件和系統(tǒng)層的配置、優(yōu)化、擴(kuò)展性等問(wèn)題，讓 AI 研究人員把寶貴的時(shí)間和精力專(zhuān)注在前沿的 AI 技術(shù)研究上。

使用了 DGX SuperPOD 集群方案，極大地加速了用戶(hù)的 AI 訓(xùn)練和迭代速度，為用戶(hù)進(jìn)一步探索出更強(qiáng)大更智能的 AI 模型建立了堅(jiān)實(shí)的基石。

在 DGX SuperPOD 交付給用戶(hù)僅僅兩個(gè)多月之后，京東探索研究院就聯(lián)合悉尼大學(xué)在傳統(tǒng) “預(yù)訓(xùn)練-微調(diào)” 的范式下，利用 DGX SuperPOD 的高效擴(kuò)展能力，通過(guò)研究和工程上的全方位創(chuàng)新，研發(fā)出了織女模型，在通用語(yǔ)言理解評(píng)估基準(zhǔn)（GLUE）的兩項(xiàng)挑戰(zhàn)性任務(wù)，即情感分析任務(wù) SST（The Stanford Sentiment Treebank）和指代消解任務(wù) WNLI （Winograd NLI）中首次超越人類(lèi)，位居所有參賽機(jī)構(gòu)第一。

京東探索研究院表示：“強(qiáng)悍的織女模型在京東探索研究院建設(shè)的全國(guó)首個(gè)基于 DGX SuperPOD 架構(gòu)的超大規(guī)模計(jì)算集群 “天琴α” 上完成訓(xùn)練，該集群具有全球領(lǐng)先的大規(guī)模分布式并行訓(xùn)練技術(shù)，其近似線(xiàn)性加速比的數(shù)據(jù)、模型、流水線(xiàn)并行技術(shù)持續(xù)助力織女模型的高效訓(xùn)練。”

NVIDIA 將參加 CES 2022， 并將在 1 月 5 日凌晨 0 點(diǎn)（北京時(shí)間）發(fā)表 NVIDIA 特別演講。

NVIDIA GeForce 高級(jí)副總裁 Jeff Fisher 和 NVIDIA 汽車(chē)部門(mén)副總裁兼總經(jīng)理 Ali Kani 將展示加速計(jì)算在設(shè)計(jì)、仿真、游戲和自動(dòng)駕駛汽車(chē)方面的新突破。

原文標(biāo)題：DGX SuperPOD 加速語(yǔ)言模型訓(xùn)練，助力京東探索研究院勇刷 GLUE 榜單

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。