本月，NVIDIA創(chuàng)始人兼CEO黃仁勛在COMPUTEX 2024發(fā)表了主題演講，宣布NVIDIA Spectrum-X以太網(wǎng)網(wǎng)絡(luò)平臺(tái)已被業(yè)界廣泛使用，并且將進(jìn)一步加快新品發(fā)布計(jì)劃。

本期Kiwi Talks將從利好以太網(wǎng)發(fā)展的幾個(gè)因素出發(fā)淺析一下以太網(wǎng)的發(fā)展走勢(shì)...

云廠商從訓(xùn)練側(cè)逐步過(guò)渡到推理側(cè)

隨著AI大模型變得更精簡(jiǎn)、可在設(shè)備上運(yùn)行并專(zhuān)注于推理任務(wù)，芯片制造商的市場(chǎng)重心將轉(zhuǎn)向推理，即模型應(yīng)用。展望產(chǎn)業(yè)發(fā)展趨勢(shì)，AI算力負(fù)載有望逐步從訓(xùn)練向推理端遷移，從而降低AI芯片門(mén)檻。不可否認(rèn)英偉達(dá)的InfiniBand確實(shí)有優(yōu)勢(shì)。目前很多AI集群都部署了InfiniBand網(wǎng)絡(luò)，這是因?yàn)槠涞脱舆t、擁塞控制機(jī)制等特性。

盡管InfiniBand在AI訓(xùn)練集群中很受歡迎，但AI推理服務(wù)器通常通過(guò)以太網(wǎng)與主網(wǎng)絡(luò)互連。隨著推理能力成為AI工作負(fù)載的更大一部分，大多數(shù)AI推理服務(wù)器都將通過(guò)以太網(wǎng)連接。可預(yù)見(jiàn)的是越來(lái)越多的基于以太網(wǎng)的生態(tài)部署的出現(xiàn)在一定程度上是為了響應(yīng)云廠商從訓(xùn)練側(cè)向推理側(cè)轉(zhuǎn)移的需求。

以太網(wǎng)交換機(jī)市場(chǎng)的增速需求

據(jù)IDC統(tǒng)計(jì)，2023年全球交換機(jī)行業(yè)市場(chǎng)規(guī)模達(dá)到3698.6億元，同比增長(zhǎng)18.5%，且預(yù)計(jì)未來(lái)5年的增速穩(wěn)定在5%左右，預(yù)計(jì)2028年規(guī)模將達(dá)到4373.0億元。隨著大模型的廣泛應(yīng)用和網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步，交換機(jī)在算力互聯(lián)、數(shù)據(jù)傳輸方面的價(jià)值將進(jìn)一步提升，促進(jìn)數(shù)據(jù)中心交換機(jī)市場(chǎng)空間持續(xù)增長(zhǎng)。交換機(jī)市場(chǎng)展現(xiàn)出了蓬勃的增長(zhǎng)態(tài)勢(shì)和快速的技術(shù)迭代。

就在近期博通的業(yè)績(jī)會(huì)上該公司強(qiáng)調(diào)以太網(wǎng)占據(jù)AI算力集群主力，表示當(dāng)前最大的8個(gè)AI算力集群中有7個(gè)采用博通以太網(wǎng)方案，預(yù)計(jì)明年所有的大規(guī)模GPU算力集群均會(huì)采用以太網(wǎng)方案，并將今年網(wǎng)絡(luò)業(yè)務(wù)營(yíng)收指引上修至同比增長(zhǎng)40%。

博通的強(qiáng)勢(shì)業(yè)績(jī)以及熱烈的市場(chǎng)反應(yīng)，體現(xiàn)以太網(wǎng)或?qū)⒃谖磥?lái)訓(xùn)推一體趨勢(shì)下更受云廠商等青睞，并充分受益 AI 集群部署，刷新市場(chǎng)對(duì)IB&以太網(wǎng)之爭(zhēng)認(rèn)知。

相關(guān)機(jī)構(gòu)預(yù)計(jì)從2025年底或2026年開(kāi)始，以太網(wǎng)標(biāo)準(zhǔn)的增強(qiáng)將解決AI集群擴(kuò)展問(wèn)題。從那時(shí)起，以太網(wǎng)將在AI訓(xùn)練集群中獲得更多應(yīng)用，并將成為InfiniBand的有力競(jìng)爭(zhēng)者。

全面擁抱以太網(wǎng)，更開(kāi)放的生態(tài)

人工智能和高性能計(jì)算工作負(fù)載給網(wǎng)絡(luò)帶來(lái)了新的挑戰(zhàn)，例如需要更高的規(guī)模、更高的帶寬密度、多路徑、對(duì)擁塞的快速反應(yīng)以及各單獨(dú)流的進(jìn)展之間的相互依賴(lài)性(其中尾延遲是關(guān)鍵指標(biāo))。

超以太網(wǎng)聯(lián)盟 (Ultra Ethernet Consortium，UEC) 由 AMD、Arista、Broadcom、Cisco、Eviden、HPE、Intel、Meta 和 Microsoft 等行業(yè)領(lǐng)導(dǎo)者組成，旨在尋求通過(guò)“全行業(yè)合作”，構(gòu)建一個(gè)完整的基于以太網(wǎng)的通信堆棧架構(gòu)。超以太聯(lián)盟旨在提高網(wǎng)絡(luò)吞吐量、降低延遲，增強(qiáng)網(wǎng)絡(luò)的可靠性和穩(wěn)定性，既保持以太網(wǎng)的成本效益和普及性，又保持超級(jí)計(jì)算互連所需的性能。

奇異摩爾也在近期加入了UEC 超以太網(wǎng)聯(lián)盟，賦能生態(tài)系統(tǒng)聯(lián)合創(chuàng)新，共同改造并增強(qiáng)網(wǎng)絡(luò)設(shè)備端對(duì)AI和HPC大規(guī)模部署的靈活性，從而進(jìn)一步提升以太網(wǎng)的性能。

英偉達(dá)黃仁勛此前在業(yè)績(jī)發(fā)布會(huì)上坦言Spectrum-X為英偉達(dá)網(wǎng)絡(luò)技術(shù)開(kāi)辟一個(gè)全新的市場(chǎng)，使以太網(wǎng)數(shù)據(jù)中心能夠適應(yīng)大規(guī)模的人工智能，公司預(yù)計(jì)Spectrum-X將在一年內(nèi)躍升為價(jià)值數(shù)十億美元的產(chǎn)品線。英偉達(dá)也采取了以太網(wǎng)與InfiniBand并行的經(jīng)營(yíng)策略，以爭(zhēng)取更多的市場(chǎng)份額。

另一巨頭AMD全面擁抱“開(kāi)放”理念，服務(wù)器采用標(biāo)準(zhǔn)化設(shè)計(jì)，可以兼容任何客戶的集群。在網(wǎng)絡(luò)方面，內(nèi)部互聯(lián)的Infinity Fabric協(xié)議將開(kāi)放給合作的交換機(jī)廠商與戰(zhàn)略伙伴。同時(shí)，在跨服務(wù)器的顯卡連接上，AMD旗幟鮮明地指出“Ethernet is the answer”，以太網(wǎng)成為AMD用于構(gòu)建集群的協(xié)議。

國(guó)內(nèi)智算中心生態(tài)全面推進(jìn)以太網(wǎng)建設(shè)

國(guó)內(nèi)中國(guó)移動(dòng)牽頭“全調(diào)度以太網(wǎng)(GSE)推進(jìn)計(jì)劃”，基于逐包的以太網(wǎng)轉(zhuǎn)發(fā)和全局調(diào)度機(jī)制，突破傳統(tǒng)無(wú)損以太性能瓶頸，中國(guó)移動(dòng)于2024年開(kāi)展GSE中試，加速GSE關(guān)鍵技術(shù)和產(chǎn)業(yè)成熟，為標(biāo)準(zhǔn)開(kāi)放的新型智算互聯(lián)貢獻(xiàn)中國(guó)方案。

GSE 面向無(wú)損、高帶寬、超低時(shí)延等高性能網(wǎng)絡(luò)需求業(yè)務(wù)場(chǎng)景，兼容以太網(wǎng)生態(tài)鏈，通過(guò)采用全調(diào)度轉(zhuǎn)發(fā)機(jī)制、基于 PKTC 的負(fù)載均衡技術(shù)、基于 DGSQ 的全調(diào)度技術(shù)、精細(xì)的反壓機(jī)制、無(wú)感知自愈機(jī)制、集中管理及分布式控制等技術(shù)，實(shí)現(xiàn)低時(shí)延、無(wú)阻塞、高帶寬的新型智算中心網(wǎng)絡(luò)。

近日，在天津舉行的“2024晶上系統(tǒng)生態(tài)大會(huì)”上，中國(guó)工程院院士孫凝暉公布了中國(guó)首個(gè)高通量以太網(wǎng)聯(lián)盟的最新進(jìn)展。該聯(lián)盟由阿里云和中國(guó)科學(xué)院計(jì)算技術(shù)研究所聯(lián)合發(fā)起，目前已有北京大學(xué)、平頭哥、盛科、騰訊、字節(jié)跳動(dòng)、曙光等40余家單位率先加入。高通量以太網(wǎng)聯(lián)盟將在今年9月發(fā)布國(guó)內(nèi)首個(gè)高通量以太網(wǎng)協(xié)議1.0，提出面向智算場(chǎng)景的網(wǎng)絡(luò)方案解決方案，同時(shí)首次完整提出了針對(duì)集合通信的在網(wǎng)計(jì)算解決方案。

促進(jìn)以太網(wǎng)生態(tài)，奇異摩爾在行動(dòng)

奇異摩爾的一系列產(chǎn)品解決方案是全面基于Chiplet &RDMA技術(shù)，包括為AI網(wǎng)絡(luò)提供的面向高帶寬域南向網(wǎng)絡(luò)的NDSA-G2G以及面向服務(wù)器集群通信北向網(wǎng)絡(luò)NDSA-SNIC產(chǎn)品系列;

南向網(wǎng)絡(luò)GPU/NPU互聯(lián)通信

NDSA-G2G提供復(fù)用以太網(wǎng)基礎(chǔ)設(shè)施，基于RoCE RDMA技術(shù)的800G高速芯粒/芯片，旨在實(shí)現(xiàn)高性能GPU/NPU間高帶寬域的互聯(lián)(TB級(jí))。

北向網(wǎng)絡(luò)服務(wù)器集群間通信

NDSA-SNIC智能網(wǎng)卡同樣基于RoCE RDMA技術(shù)，擁抱以太網(wǎng)基礎(chǔ)設(shè)施，以800G帶寬的高性能，助力AI智算網(wǎng)絡(luò)實(shí)現(xiàn)服務(wù)器集群間的高速互聯(lián)。

熱潮洶涌的人工智能科技正持續(xù)對(duì)云數(shù)據(jù)中心、邊緣計(jì)算等領(lǐng)域帶來(lái)一代又一代的變革。以太網(wǎng)技術(shù)的崛起預(yù)示著它將逐步取代InfiniBand，成為支撐AI技術(shù)服務(wù)千行百業(yè)的主流選擇。奇異摩爾正在通過(guò)加入國(guó)內(nèi)外chiplet&以太網(wǎng)標(biāo)準(zhǔn)組織、聯(lián)合產(chǎn)業(yè)鏈上下游生態(tài)合作、從而共同打造一個(gè)更開(kāi)放，更包容的AI網(wǎng)絡(luò)生態(tài)。