英特爾在中國推出云端AI訓(xùn)練芯片Habana Gaudi2，該芯片可滿足大規(guī)模語言模型、多模態(tài)模型及生成式AI模型的需求。

7月11日，英特爾在中國市場推出云端AI訓(xùn)練芯片——Habana Gaudi2。該芯片可滿足大規(guī)模語言模型、多模態(tài)模型及生成式AI模型的需求。據(jù)現(xiàn)場介紹，該芯片性能在一些關(guān)鍵指標(biāo)上勝過英偉達A100。

據(jù)了解，該Gaudi2處理器及Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，具有24個可編程Tensor處理器核心（TPCs）。

每顆芯片集成了21個專用于內(nèi)部互聯(lián)的100Gbps（RoCEv2 RDMA）以太網(wǎng)接口，配備配置96GB HBM高速內(nèi)存及2.4TB/秒的總內(nèi)存帶寬，滿足大規(guī)模語言模型、多模態(tài)模型及生成式AI模型的需求。

據(jù)現(xiàn)場介紹，英特爾Gaudi2運行ResNet-50的每瓦性能約是英偉達A100的2倍，運行1760億參數(shù)BLOOMZ模型的每瓦性能約達A100的1.6倍。

在發(fā)布會上，浪潮信息高級副總裁、AI和HPC總經(jīng)理劉軍現(xiàn)場發(fā)布搭載Gaudi2的新一代AI服務(wù)器NF5698G7。

目前，英特爾已與浪潮信息合作，打造基于Gaudi2深度學(xué)習(xí)加速器的AI服務(wù)器NF5698G7。該服務(wù)器集成了8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強可擴展處理器，支持AMX/DSA等AI加速引擎。當(dāng)日，該款A(yù)I服務(wù)器也正式發(fā)布。

浪潮信息高級產(chǎn)品經(jīng)理王磊強調(diào)，NF5698G7是專為面向生成式AI市場開發(fā)的新一代AI服務(wù)器，支持8顆OAM高速互聯(lián)的Gaudi2加速器，將為AI客戶提供大模型訓(xùn)練和推理能力。

新華三集團計算存儲產(chǎn)品線副總裁劉宏程表示，基于英特爾Gaudi2 AI加速器，新華三正與英特爾合作，開發(fā)適合大模型訓(xùn)練和推理的高性能AI服務(wù)器。

同時，超聚變數(shù)字技術(shù)有限公司算力基礎(chǔ)設(shè)施領(lǐng)域總裁唐啟明指出，超聚變將與英特爾，共同推出基于Gaudi2的全新產(chǎn)品與解決方案。

此前，英特爾中國區(qū)董事長王銳在接受《科創(chuàng)板日報》記者采訪時指出，ChatGPT浪潮帶來計算需求的大幅度提升，目前正與包括百度、阿里等在內(nèi)的中國的客戶開展共同研究。王銳透露，不管是高性能的計算還是分布式的計算，都已經(jīng)進行了布局。

一位英特爾技術(shù)專家《科創(chuàng)板日報》記者分享了英特爾在大模型領(lǐng)域的布局情況。在訓(xùn)練層面，針對CPU、GPU、IPU、Habana等異構(gòu)計算，英特爾用oneAPI以及XPU平臺來提供更多的選擇。在推理方面，第四代Sapphire Rapids發(fā)布后，基于AMX加速器，可在行業(yè)中解決80%以上的客戶推理需求。同時，也充分利用CPU，包括用于訓(xùn)練的Ponte Vecchio，和用于推理的Arctic Sound等。

伴隨著大模型的熱潮，云計算的商業(yè)模式正朝著MaaS（模型即服務(wù)）的方向演進，其所帶來的算力需求也值得關(guān)注。

“它的理念是利用預(yù)訓(xùn)練模型，對行業(yè)數(shù)據(jù)進行訓(xùn)練，從而形成針對特定場景的、面向各行業(yè)的細(xì)分模型。我們知道通用模型的參數(shù)量非常大，例如GPT-3可達到1750億，部署這些模型會比較麻煩，因此，可能需要對大模型進行蒸餾和壓縮，形成行業(yè)可部署的模型。”上述技術(shù)專家稱。

此外，把大模型進行私有化部署是不少行業(yè)的潛在需求。“很多細(xì)分行業(yè)不接受SaaS服務(wù)，尤其金融等行業(yè)。因此，英特爾正在探討如何把這個模型小型化之后，在本土落地做私有化部署，使其真正在行業(yè)落地。”