電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）今年8月，在計(jì)算機(jī)圖形學(xué)頂會(huì)SIGGRAPH 2023現(xiàn)場(chǎng)，英偉達(dá)發(fā)布了新一代GH200 Grace Hopper平臺(tái)，該平臺(tái)專為處理大語(yǔ)言模型、推薦系統(tǒng)、矢量數(shù)據(jù)庫(kù)等全球最復(fù)雜的生成式 AI 工作負(fù)載而構(gòu)建。

日前，這款GH200 Grace Hopper超級(jí)芯片首次亮相MLPerf行業(yè)基準(zhǔn)測(cè)試，在此次測(cè)試中，具有更高的內(nèi)存帶寬和更大的內(nèi)存容量的GH200與H100 GPU相比，性能高出17%。要知道，英偉達(dá)的H100 GPU產(chǎn)品性能在業(yè)界已經(jīng)是處于遙遙領(lǐng)先的水平。

相比于H100 GPU，英偉達(dá)新一代GH200性能高出17%

英偉達(dá)在去年3月推出了第一代Grace Hopper超級(jí)芯片平臺(tái)，首次將CPU和GPU融合在一個(gè)平臺(tái)上。相比較之下，其今年8月推出的新一代產(chǎn)品配備了HBM3e，內(nèi)存容量和帶寬都有顯著提高。HBM3e內(nèi)存是一種新型的高帶寬內(nèi)存技術(shù)，可以在更小的空間內(nèi)提供更高的數(shù)據(jù)傳輸速率。

具體來(lái)看，HBM3e比當(dāng)前的HBM3快50%，可提供總計(jì)10TB/s的帶寬。這使得新平臺(tái)能夠運(yùn)行比上一版本大3.5倍的模型，同時(shí)憑借快3倍的內(nèi)存帶寬提升性能。

黃仁勛此前表示，為了滿足對(duì)生成式AI不斷激增的需求，數(shù)據(jù)中心需要能夠滿足特定需求的加速計(jì)算平臺(tái)。全新GH200 Grace Hopper超級(jí)芯片平臺(tái)以出色的內(nèi)存技術(shù)和帶寬，提高了吞吐量，在不影響性能的情況下可連接多GPU 以整合性能，并且具有可以輕松部署到整個(gè)數(shù)據(jù)中心的服務(wù)器設(shè)計(jì)。

此外，新平臺(tái)可以通過(guò) NVIDIA NVLink與其他超級(jí)芯片連接，使它們能夠協(xié)同工作，從而部署當(dāng)下大型生成式AI模型。

新平臺(tái)和芯片的加持，能讓大模型訓(xùn)練的成本得到有效降低。據(jù)黃仁勛介紹，一臺(tái)服務(wù)器可以同時(shí)裝載兩個(gè)GH200超級(jí)芯片。而投資800萬(wàn)美元Grace Hopper，相當(dāng)于8800個(gè)價(jià)值1億美元的x86 GPU，意味著成本降低12倍，能耗降低20倍。

在此次MLPerf行業(yè)基準(zhǔn)測(cè)試，英偉達(dá)這款GH200 Grace Hopper超級(jí)芯片將其性能之高展示無(wú)余。MLPerf是影響力廣泛的國(guó)際AI性能基準(zhǔn)評(píng)測(cè)，其推理性能評(píng)測(cè)涵蓋使用廣泛的六大AI場(chǎng)景，比如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦系統(tǒng)、語(yǔ)音識(shí)別等，每個(gè)場(chǎng)景采用最主流的AI模型作為測(cè)試任務(wù)，每一任務(wù)又分為數(shù)據(jù)中心和邊緣兩類(lèi)場(chǎng)景。

其由MLCommons由來(lái)自學(xué)術(shù)界、研究實(shí)驗(yàn)室和行業(yè)的人工智能領(lǐng)導(dǎo)者組成的聯(lián)盟開(kāi)發(fā)，旨在對(duì)硬件、軟件和服務(wù)的訓(xùn)練和推理性能“構(gòu)建公平和有用的基準(zhǔn)測(cè)試”。

據(jù)介紹，此次MLPerf Inference v3.1基準(zhǔn)測(cè)試是繼4月發(fā)布3.0版本之后的又一次更新，值得注意的是，這次更新包含了兩個(gè)第一次：引入基于60億參數(shù)大語(yǔ)言模型GPT-J的推理基準(zhǔn)測(cè)試和改進(jìn)的推薦模型。

GPT-J是來(lái)自EleutherAI的OpenAI GPT-3的開(kāi)源替代品，現(xiàn)已在MLPerf套件中用作衡量推理性能的基準(zhǔn)。與一些更先進(jìn)的人工智能模型（如1750億參數(shù)的GPT-3）相比，60億參數(shù)的GPT-J屬于相當(dāng)輕量的模型，但它非常適合推理基準(zhǔn)的角色。該模型總結(jié)了文本塊，并可在延遲敏感的在線模式和吞吐量密集型的離線模式下運(yùn)行。

GH200 Grace Hopper超級(jí)芯片在GPT-J工作負(fù)載方面取得了優(yōu)異的成績(jī)，在離線和服務(wù)器場(chǎng)景中的每加速器性能都達(dá)到了最高水平。

包括特斯拉，眾多企業(yè)積極構(gòu)建算力芯片和集群

隨著人工智能技術(shù)的發(fā)展，尤其是近年來(lái)生成式AI及大模型應(yīng)用的快速拓展，市場(chǎng)對(duì)算力的需求快速增加。我們知道，無(wú)論是AI訓(xùn)練還是推理，都需要大量的算力作為支撐。而目前在大模型的訓(xùn)練和推理方面，英偉達(dá)的GPU占據(jù)重要位置。

今年以來(lái)，英偉達(dá)的A100和H100兩款芯片訂單不斷增加，價(jià)格也在一直上漲。根據(jù)其最新的第二財(cái)季報(bào)告，其凈利潤(rùn)達(dá)到61.88億美元，與去年同期相比增長(zhǎng)422%，較上一財(cái)季增長(zhǎng)203%。據(jù)業(yè)內(nèi)人士推測(cè)，英偉達(dá)H100芯片明年出貨量還要至少增加兩倍。

在AI迅猛發(fā)展的當(dāng)下，除了英偉達(dá)，國(guó)內(nèi)外企業(yè)都在積極研發(fā)AI芯片，構(gòu)建自己的算力集群，比如英特爾、AMD此前都針對(duì)AI大模型推出了相應(yīng)的大算力芯片產(chǎn)品。國(guó)內(nèi)的不少GPGPU企業(yè)及云服務(wù)廠商也都在積極布局。

此外，作為全球知名的自動(dòng)駕駛企業(yè)，特斯拉也早已開(kāi)始研發(fā)自己的算力芯片，打造自己的超級(jí)計(jì)算機(jī)。最近，特斯拉的股票大漲，摩根士丹利分析師認(rèn)為，特斯拉超級(jí)計(jì)算機(jī)Dojo釋放人工智能提升業(yè)績(jī)的巨大潛力，成為其股價(jià)走強(qiáng)的主因之一。

在產(chǎn)品形態(tài)上，特斯拉的Dojo最終落地單位是一個(gè)名為ExaPOD的超級(jí)計(jì)算集群。它集成了3000顆基于7nm制程工藝的D1芯片，包含120個(gè)訓(xùn)練模塊，最終能夠?qū)崿F(xiàn)高達(dá) 1.1 EFlops（百億億次浮點(diǎn)運(yùn)算）的BF16/CFP8峰值算力；1.3TB高速 SRAM；13TB高帶寬 DRAM。

在2021年的特斯拉AI Day上，Dojo超算項(xiàng)目負(fù)責(zé)人Ganesh Venkataramana展示了集成了25個(gè)D1芯片的訓(xùn)練模塊，他表示特斯拉找到的一個(gè)關(guān)鍵答案是用臺(tái)積電的InFO_SoW整合扇出技術(shù)。這是一種芯片先進(jìn)封裝技術(shù)，相比于傳統(tǒng)的打線封裝，InFO技術(shù)的基本優(yōu)勢(shì)是可以實(shí)現(xiàn)多個(gè)芯片集成封裝，加速信號(hào)傳遞。

特斯拉打算利用Dojo對(duì)海量視頻數(shù)據(jù)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，加速Autopilot和完全自動(dòng)駕駛（FSD）系統(tǒng)的迭代，同時(shí)為其人形機(jī)器人Optimus提供算力支持。

在2022年9月的AI Day上，特斯拉公布Dojo已建立完整的散熱盤(pán)上系統(tǒng)。同時(shí)也宣布了未來(lái)路線圖，表示AI團(tuán)隊(duì)正在研發(fā)新版本的Dojo超算組件。

據(jù)今年7月20日的報(bào)道，特斯拉Dojo超算已在今年7月開(kāi)始量產(chǎn)，而總算力達(dá)100ExaFLOPs的超算系統(tǒng)將于2024年底量產(chǎn)。

特斯拉之前已經(jīng)構(gòu)建基于英偉達(dá)GPU的大型超級(jí)計(jì)算機(jī)，而如今其自主研發(fā)并推出D1芯片，有助于其減少對(duì)英偉達(dá)GPU的依賴。

小結(jié)

從目前的情況來(lái)看，英偉達(dá)在AI訓(xùn)練和推理中占據(jù)極大的市場(chǎng)份額，在大模型領(lǐng)域更是占據(jù)絕對(duì)優(yōu)勢(shì)，國(guó)內(nèi)外大部分企業(yè)都依賴英偉達(dá)A100、H100等產(chǎn)品，而如今其GH200在性能上更強(qiáng)，在大模型訓(xùn)練方面又能夠幫助企業(yè)降低成本，必然會(huì)受到一眾企業(yè)追捧。

當(dāng)然除了英偉達(dá)，國(guó)外內(nèi)還有眾多企業(yè)也在通過(guò)自己的方式，研究并發(fā)布適合AI訓(xùn)練和部署芯片，為AI行業(yè)的發(fā)展構(gòu)建算力集群。可以看到，在生成式AI、大模型的發(fā)展下，作為基礎(chǔ)支撐的算力尤為重要。