電子發燒友網報道(文/周凱揚)作為AI時代不容置疑的無冕之王,英偉達每年舉辦的GTC大會不僅是針對英偉達軟硬件生態開發者的一場盛會,也是英偉達展示肌肉的舞臺。在近日舉辦的GTC大會上,英偉達CEO黃仁勛在發布新品的同時,也宣告了一個新的計算時代的到來。
黃仁勛表示,我們需要更大的模型,然后用更多的多模數據去訓練它,而不再局限于互聯網上的文本數據,還有圖片、圖表。正如我們通過電視來獲取支持知識一樣,這些大模型也將快速接入視頻數據,比如最近爆火的Sora等。
192GB HBM3e內存,Blackwell架構的前鋒
為了應對更大的模型,自然也就需要更大的GPU,這才有了英偉達此次發布的Blackwell GPU平臺。Blackwell架構以數學家David Harold Blackwell命名,作為兩年前發布的Hopper架構繼任者,Blackwell可以說實現了設計到性能上的全方位升級,而首個享受這些升級的,就是B200 GPU。
全新的B200 GPU基于臺積電4NP工藝,采用了兩個GPU die集成在同一芯片上的設計,并配備了192GGB的HBM3e超大內存。也正因如此,B200單芯片的晶體管數量達到了驚人的2080億個,TDP也高達1000W。但這樣瘋狂的堆料帶來的自然是性能的翻倍提升,在FP8精度的訓練性能上,B200 GPU的算力是上一代的2.5倍。
?
兩代GPU架構支持精度 / 英偉達
有趣的一點在于,在英偉達第二代Transformer引擎的支持下,此次B200加入了對FP4精度的支持,從而支持到規模更大,性能要求更高的模型。在FP4精度下的推理性能,B200的算力更是達到了上一代的5倍。如果以1750億參數的GPT-3大模型作為實例進行測試的話,B200 GPU的總體性能是H100的7倍,訓練速度則是H100的4倍。
為了更好地提升B200的擴展性,英偉達基于最新的第五代NVLink技術,開發了一塊全新的NVLink Switch芯片,雙向帶寬高達1800GB/s,是上一代的兩倍。與此同時,NVLink支持的最大擴展規模也得到了提升,如今最多支持576塊B200 GPU互聯互通。
?
GB200超級芯片 / 英偉達
除了新架構的GPU外,英偉達基于NVLink C2C互聯技術,也為超級芯片GH200打造了下一代繼任者GB200。GB200超級芯片由一個Grace CPU與兩塊B200 GPU組成,并以超低功耗卻能實現900GB/s超大帶寬的互聯。不過此次英偉達并沒有對CPU的架構進行升級,仍然采用的是72核Arm Neoverse N2的設計,所以此次GH200的主要性能提升還是在GPU上,英偉達GB200在LLM推理性能上有了30倍的提升,但能效比也提升了25倍。
?
GB200 NVL72與GB200配置與性能 / 英偉達
針對萬億參數級別的超級大模型,英偉達基于GB200和NVLink技術推出了集成36/72個GPU的GB200 NVL36/72方案。基于GB200 NVL72打造的MGX系統更是可以實現30TB的統一內存,130TB/s的總帶寬,甚至是單機柜exaFLOP級(FP4精度)的AI算力。英偉達表示,即便面對1.8萬億參數的GPT-MoE-1.8T超大模型,也可以實現比同數量H100 GPU高出4倍的訓練性能,以及實時的AI推理。
B200發布后,哪些產業同步受益
過去英偉達先進AI GPU的熱度,已經帶動了一批上下游產業的發展,而隨著B200的發布,相關市場或再度迎來一輪爆發。從制造上游來看,無疑晶圓代工廠受益最大,無論是提供邏輯代工、先進封裝方案的臺積電,還是為新GPU提供大容量HBM內存的三大存儲廠商(SK海力士、三星和美光)。
四年之前,英偉達在GA100采取了將芯片分成兩半,通過高速互聯技術來完成通信的設計,然而這一大膽的設計卻很少被人注意。而如今在CUDA、GPU團隊,以及臺積電的先進邏輯與封裝工藝下,B200終于采用了Chiplet的設計,將兩個GPU die集成在單個封裝內,并做到了逼近臺積電4NP工藝節點的極限die面積,以及高達10TB/s的C2C互聯速度。
再考慮到未來即將出貨的H200和B100 GPU,這一系列芯片將進一步推動臺積電4nm工藝走向滿載的產能利用率,而這還是在過去只被視為淡季的Q1。更不用說這一系列芯片帶來的CoWoS產能壓力,據報道,臺積電已經計劃投資160億美元在臺灣建設6座新的CoWoS封裝設施,甚至有爆料稱臺積電開始考慮出海擴張CoWoS封裝產能,第一站很可能會在日本,足以看出GPU的訂單數量之夸張。
這也進一步推動了存儲廠商在HBM上的營收占比,三大參與廠商在HBM產能供應上的競爭已經進入了白熱化階段。本次GTC線下活動中,SK海力士、三星和美光均展示了自己的HBM3e解決方案。據TrendForce預估,2024年全年HBM產能將同比提升260%,于整個DRAM行業產值占比從去年的8.4%擴大至20.1%。不過,對于存儲廠商而言,今年的訂單基本已經排滿了,依照英偉達和AMD的發布計劃來看,即便在瘋狂擴產下,2025年的產能恐怕也抵不住即將瘋狂襲來的訂單。
另一個即將從數據中心進一步攫取更多市場機會的產業為液冷,而且服務器廠商們早已準備好了對應的解決方案。目前隨著服務器AI算力的不斷增強,液冷解決方案的普及率在整個服務器市場依然算不上高,甚至不到5%。
B200、GB200以及GB200 NVL72盡管一再強調提高了能效比,但對于單個系統的散熱要求依然提高了。畢竟單個GB200 NVL72機柜的計算單元規模就比過去的DGX系統高出不少,液冷是英偉達目前給出的唯一設計,畢竟單個GB200超級芯片的最高TDP可達2700W。
為此服務器OEM幾乎同時宣布了對應的液冷服務器配置方案,比如戴爾推出了首個采用液冷配置的PowerEdge XE9680服務器,Supermicro也發布了液冷ORV3 MGX系統。鴻海集團也發布了針對GB200 NVL72的先進液冷解決方案,具備高達1300kW的強大散熱能力。
最后自然就是服務器上的高速通信了,與B200同步公布的還有Quantum-X800 InfiniBand和Spectrum?-X800 Ethernet這兩大高速網絡解決方案。在與英偉達LinkX線纜和光模塊的組合下,可以做到最高2公里內的800GB/s網絡傳輸速度。盡管這是英偉達收購Mellanox后發布的專用方案,但無疑加快了800G網絡普及的進程。
計算光刻,反哺芯片制造
去年,英偉達推出了cuLitho這一軟件庫,借助GPU的強大算力有望將光罩的開發速度提升40倍。在今天的GTC大會上,英偉達也宣布和臺積電、新思達成合作,正式將其計算光刻技術投入生態當中去,并充分利用英偉達此次發布的Blackwell GPU。
計算光刻主要用于芯片的開發和制造環節,通過建立大量的數學和物理模型來幫助客戶設計光罩。相比傳統基于CPU的計算光刻技術,基于GPU加速和生成式AI算法的計算光刻技術要高效得多,英偉達聲稱集成了350個H100的系統就可以替代掉一個由40000個CPU組成的計算光刻系統,加速生產時間的同時,降低了成本、部署空間和功耗。
寫在最后
盡管每次在英偉達展示其新品后,這些產品都會成為其他AI硬件公司拿來作為各種性能對比的參考,比如這次Groq就在GTC會后很快正面回應了英偉達,并發布了“Groq仍然更快”的聲明。然而,明眼人都能看出來,在當今的市場環境下,英偉達在AI行業的地位依舊不可撼動。
其中不僅有架構創新、CUDA的功勞,也少不了英偉達在半導體上下游多年來的經營。臺積電優先給英偉達CoWoS封裝產能,AI服務器廠商們在發布會后一呼百應,都佐證了英偉達已經為這個新計算時代打造好了一條完整且已經得到證實的AI生態。
-
gpu
+關注
關注
28文章
4703瀏覽量
128728 -
英偉達
+關注
關注
22文章
3749瀏覽量
90861
發布評論請先 登錄
相關推薦
評論