精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

智算網絡謎題,與“解密者”新華三

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2024-07-12 09:40 ? 次閱讀

根據高盛研究公司(GSR)數據報告顯示,AIGC將推動全球國民生產總值(GDP)增長7%,帶來近7萬億美元的GDP增長,并在未來使生產力提高1.5%。面對如此巨大的價值涌現,每個行業、每家企業都希望率先推開AI時代之門。

而在面向AI大模型的探索中,智算的效率與成本成為關鍵問題。根據相關數據,每建設100P算力的集群,成本就要達到4億人民幣。根據此前OpenAI披露的數據,ChatGPT平均每天的訓練算力花費達到了70萬美元。

目前階段,在AI算力價格持續上漲的大背景下,千卡、萬卡訓練集群已經成為常態。智算集群開始向五萬卡演進,并且異構化開始成為智算集群的新常態。然而我們可以看到,有大量AI算力因智算網絡的丟包問題被浪費,網絡故障成為拖慢模型訓練進度的常見因素,如何讓網絡適配異構算力成為重要難題。

可以說,智算網絡已經成為AI基礎設施發揮能效的關鍵。想要借助智算推開AI時代的大門,首選需要鑄造智算網絡這把鑰匙。

那么,究竟如何才能破解智算網絡的種種謎題?

不久之前,新華三集團發布了智算網絡解決方案。這一方案主張充分發揮“算力×聯接”的倍增效應,以標準化聯接支撐多元算力釋放。新華三也通過對算力和聯接技術進行最佳的調優與配合,來實踐了對于智算網絡的技術主張。

從中我們可以看到,開放解耦就是智算網絡的關鍵解題思路,是一把AI時代的智算網絡之鑰。

難題:異構算力互聯的不確定性

當前,多元異構算力已經成為AI基礎設施建設的主流選擇。異構算力體系可以充分發揮各種計算設備的優勢,具備多樣性、靈活性、高效性等特點,能夠更好發揮出智算效用。但是,在實際部署中,用戶卻必須面對異構算力互聯的一系列不確定性。這些痛點的存在,極大程度限制了智算網絡,甚至整個智算基礎設施的發展。

首先,是智算網絡本身的不確定性。

在大規模智算集群組網的情況下,智算網絡本身會出現延遲、丟包等一系列不確定性因素。根據相關數據顯示,智算網絡達到1.5%的丟包率就會使數據吞吐量降低50%,而智算網絡一旦出現故障,往往需要一周甚至幾周的時間來進行修復。隨著組網規模的擴大,智算網絡的不確定性問題也會被持續放大。

其次,是異構算力實施效果的不確定性。

異構算力已經成為智算基礎設施的必然趨勢,但在實際場景中,大多數用戶對于智算場景都是初次接觸,并不像傳統ICT基礎設施建設那樣可以輕車熟路地進行規劃、采購、部署。此外,在異構算力組網時就會遇到不同廠商組件的組合問題。服務器平臺、GPU、網卡、光模塊、交換機等領域都有大量的廠商參與。最終實施效果能否達到預期,不同廠商的組件能否實現互聯互通,互通后的性能、可靠性、風險性如何,都是用戶必須面臨的不確定性問題。

再次,是智算網絡與算力之間聯動的不確定性。

為了保證智算業務有序平穩發展,網絡必須與算力調度平臺聯動起來。而國內大多算力廠商沒有配套的網絡設備和平臺。因此,想用網絡打通異構算力,則必須具備與多家廠商的CCL(集合通信庫)的兼容對接能力,將算力需求轉譯為網絡配置,也就是所謂的“異構算網聯動”。

想要解決異構算力互聯所面臨的一系列難題,實現異構算力的效果最大化,最佳選擇就是在提升智算網絡性能的同時,用網絡來貫穿異構基礎設施,拉通異構算力生態。為了實現這個目標,就必須推動智算網絡走向開放解耦。

解題:將開放解耦作為智算網絡之鑰

在智算體系當中,網絡是連接 CPU、xPU、內存、存儲等資源的基礎設施,貫穿數據計算、存儲全流程,是拉通生態的重要介質。網絡的冗余性、高可靠、高彈性,以及以太協議的開放性,可以幫助技術不成熟的產品消除限制,確保整個異構算力體系達成最優效果。

為了實現這個理想化目標,智算網絡必須具備開放解耦的特質。

所謂開放,就是在聯接上實現標準化,確保網絡基礎設施可以打通不同的算力組件,實現無痛、可實施的異構組網。

新華三認為,在高性能網絡領域,無損以太網(RoCE)是一個快速普及且被大眾所認可的技術。基于無損以太網推進智算網絡標準化,在成本、未來演進和生態豐富度上具備天然的優勢。通過無損以太網的標準化建設,用戶可以獲得最具優勢的方案,極大拓展選擇上的自由度與實施上的可靠性。除此之外,用戶還可以利用以太網的標準化特質,逐步構建大規模智算集群。實現根據業務需要,對智算集群進行靈活拓展升級。

所謂解耦,則是將網絡平臺與智算平臺進行解耦,增強網絡對于多元異構算力的承載能力,并且通過網絡的應用感知和資源分配機制,及時響應各類應用需求,最終可以充分發揮算力生態中各領域的優勢,實現資源共享和高效協作,幫助用戶享有先進的AI智算平臺、優秀的網絡設備和高品質的聯接介質。

基于開放解耦的智算網絡建設理念,新華三推動解決了CPU、GPU、網卡、光模塊等異構組件間的互聯問題,打造了廣泛適配、靈活擴展的網絡聯接。

開放解耦就像一把鑰匙,可以聯動智算集群的不同組件,以及智算生態中的各個角色,最終實現用戶的智算目標價值最大化。帶著這把鑰匙,新華三打造了全新的智算網絡解決方案,為用戶打開了智能世界的大門。

實踐:新華三的智算網絡探索

開放解耦的網絡建設理念,想要最終形成智算網絡解決方案并不容易。它需要兼顧不同的組網方式、不同場景的網絡調優需求,以及不同規模的智算中心網絡建設需求,并且能夠兼顧解決用戶在規劃、組網、用網、運維等不同階段的技術要求。

最終,新華三聚焦網絡優勢,提供了強大、靈活、多元且具備高支撐度的異構算力互聯架構,探索出了全新的智算網絡解決方案。

如上文所說,對于異構算力互聯來說,用戶有生態開放、平臺解耦、算網協同三方面的主要訴求。而新華三智算網絡解決方案,恰好可以應對這些痛點。

在基于以太協議進行標準化智算組網領域,由于用戶需要實現不同的組網架構,因此需要獲得多元可靠的網絡產品。為此,新華三可以提供多元化的產品布局,提供支持200G/400G/800G不同端口密度的盒式產品/框式產品,以及先進架構DDC(Distributed Disaggregated Chassis)產品,提供多種組網架構,滿足不同規模、不同智算平臺、不同建設環境的客戶的需要。

在用網階段,用戶需要負載多樣化的網卡,實現負載均衡。

為此,新華三智算網絡解決方案帶來了全局負載均衡技術,可以帶來極致的帶寬利用率,從而解決傳統智算網絡中通信流量擁塞敏感性高、低時延、高吞吐等需求,易導致負載分擔不均、整網吞吐下降等問題。

同時,針對不同智算場景,新華三會提供最適合的負載均衡技術組合,合理調整流量的帶寬利用問題,提升智算中心算力規模和效率。比如說,可以應用SprayLink解決鏈路均衡的問題,通過實時監控LACP/ECMP中各物理鏈路的帶寬利用率,出口隊列,緩存占用,傳輸時延等精細化數據,對大象流做到基于Per-Packet方式的動態負載分擔,將每個數據包分配到當時資源最優的鏈路上,從而實現鏈路寬帶利用率提升至95%的效果。

新華三認為,目前最優的負載均衡技術是DDC(Disaggregated Distributed Chassis分布式解耦機框)。它能將傳統框式交換機的主控、網板、線卡分解為分布式的模塊化部件,以提高網絡的靈活性、可擴展性和性能。DDC基于信元交換,任何協議的流量在進入DDC架構時都可被切成等分大小的信元,在內部多條鏈路上負載,完全解決了Hash極化問題,可以實現100%的負載分擔。在流量發出時,信元又將重組為原始數據。信元交換無視數據協議,不會產生亂序,對GPU和網卡都是天然解耦的。

此外,DDC架構擴展性強,傳統框式設備無論如何設計,其容納的端口都是有限的。而將其拆解之后,通過橫向擴展可以支持數千個200G/400G端口,且最大可支持32K(400G)GPU卡,這是框式設備無法實現的,也可以大幅降低部署難度和功耗。新華三DDC產品擁有獨立的高性能控制平面,可以實現網元失效后us級別的收斂,以及網元上線的快速即插即用,可靠性和靈活度均能實現業界領先。

在異構算網協同領域,新華三智算網絡解決方案能夠支持異構GPU/網卡的算網路徑協同能力。一方面可以利用負載均衡來提升網絡利用率,另一方面還能夠通過控制器分析,主動進行選路與規劃仿真,從上帝視角實現整網的協同處理。

除此之外,為了實現開放解耦的目標,新華三還搭建了業界最開放的生態合作環境。其各條產品線都采用了多家合作伙伴的交付件,包括GPU、網卡、光模塊、交換芯片?;谶@樣的產業優勢,新華三還實現了能夠代替客戶驗證異構算力環境的兼容性。

新華三制定了智算網絡異構連通專項測試,可對光模塊、電纜進行高可靠性測試驗證,從而解決了與網卡互聯互通的問題,為客戶提供一套經過驗證過的交付方案。

通過在技術、產品、生態等環節踐行開放解耦,新華三成功破解了異構算力互聯的時代謎題,將AI基礎設施的不確定性,換做智能時代產業價值的確定性。

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 網絡
    +關注

    關注

    14

    文章

    7376

    瀏覽量

    88160
  • AI
    AI
    +關注

    關注

    87

    文章

    28698

    瀏覽量

    265952
  • 新華三
    +關注

    關注

    0

    文章

    185

    瀏覽量

    14684
  • 算力
    +關注

    關注

    1

    文章

    815

    瀏覽量

    14544
收藏 人收藏

    評論

    相關推薦

    【書籍評測活動NO.41】大模型時代的基礎架構:大模型力中心建設指南

    、網絡與云計算解決方案設計等工作,曾在華為、新華、Juniper等企業任職,為航天科技、中國建筑、BMW及環球影城等國內外知名客戶設計且落地過云計算與網絡解決方案。“云鑒”叢書編寫組
    發表于 08-16 18:33

    新華閃耀MWC上海站,引領AI與力融合創新

    新華集團尤為引人注目,他們以“力 × 聯接 AI × 未來”為主題,全方位展示了在云計算、網絡通信、安全、計算、存儲和終端等領域的創新產品與方案,以及AI技術在各行業的應用實踐成
    的頭像 發表于 06-29 17:34 ?1377次閱讀

    新華與富士康合作,將在馬來西亞建設其首座海外工廠

    近日,國內知名的科技企業新華(H3C)宣布與全球電子制造巨頭富士康達成戰略合作,共同在馬來西亞建設新華的首座海外工廠。這一重要舉措標志著新華
    的頭像 發表于 06-19 14:46 ?762次閱讀

    軟通動力亮相2024中國移動網絡大會,共繪網絡新藍圖

    4月28日至29日,以“網絡點亮AI新時代”為主題的2024中國移動網絡大會在蘇州隆重舉行。
    的頭像 發表于 05-06 10:20 ?338次閱讀
    軟通動力亮相2024中國移動<b class='flag-5'>算</b>力<b class='flag-5'>網絡</b>大會,共繪<b class='flag-5'>算</b>力<b class='flag-5'>網絡</b>新藍圖

    網絡面臨大挑戰

    2024年,以AIGC為代表的人工智能技術將進一步激發力需求,網絡、智中心、超中心將迎來怎樣的發展機遇?
    的頭像 發表于 01-12 10:39 ?748次閱讀

    新華與浙江移動攜手 共啟智新篇章

    杭州2024年1月9日?/美通社/ -- 1月8日,紫光股份旗下新華集團與中國移動浙江公司簽訂戰略合作協議,進一步深化戰略合作,開啟合作共贏新篇章。雙方將在既有基礎通信、技術創新等合作基礎上,本著
    的頭像 發表于 01-09 20:48 ?401次閱讀
    <b class='flag-5'>新華</b><b class='flag-5'>三</b>與浙江移動攜手 共啟智<b class='flag-5'>算</b>新篇章

    憶聯攜手新華推出高性能存儲方案

    為助力企業用戶構建超融合架構的現代化數據中心,滿足業務發展需求,憶聯聯合新華集團在超融合架構下打造高性能存儲方案,以此提高數據中心的管理效率和資源利用率。
    的頭像 發表于 12-27 18:21 ?854次閱讀
    憶聯攜手<b class='flag-5'>新華</b><b class='flag-5'>三</b>推出高性能存儲方案

    芯科技,解密ChatGPT暢聊之力芯片

    在今日飛速發展的科技浪潮中,OpenAI的ChatGPT如一顆璀璨明星,引領著智能對話的新潮流。ChatGPT不僅是一款聊天機器人程序,它背后的驅動力是一個龐大而復雜的網絡。這個網絡依賴于先進
    的頭像 發表于 12-27 07:45 ?774次閱讀
    芯科技,<b class='flag-5'>解密</b>ChatGPT暢聊之<b class='flag-5'>算</b>力芯片

    網絡發展的個階段分別是

    網絡是指通過網絡將分布在不同地點的計算機資源連接起來,共同完成大規模的計算任務。隨著科技的不斷發展,網絡也經歷了
    的頭像 發表于 12-19 16:21 ?817次閱讀

    現在的芯片解密行業,原來都是這樣操作

    其實國內真正做解密的公司就那么幾家,沒有像網上說的有那么多的解密公司,還有就是解密價格也是一樣,有的出價特別低,但是實際他就是問了騙取定金,希望消費不要上當受騙。
    的頭像 發表于 12-14 17:01 ?636次閱讀

    新華管理層降薪:17級以上主動降薪20%

    據了解,新華是一家計算、存儲器、網絡、5g、保安、終端等全方位的數字基礎設施提供企業。2016年,新華由紫光股份有限公司與Hewlett
    的頭像 發表于 11-24 15:18 ?1116次閱讀

    TE Connectivity與新華集團攜手探索新型工業傳感器的應用

    中國,杭州——2023年11月7日——近日,連接和傳感領域的全球行業技術領先企業TE Connectivity (以下簡稱“TE”)與新華集團(以下簡稱“新華”)在杭州簽署傳感器相
    的頭像 發表于 11-09 14:50 ?612次閱讀

    菱FX3UFX3G解密文件方法

    菱FX3UFX3G解密文件,實測有效,內附方法。
    發表于 10-17 09:30 ?9次下載

    新紫光集團旗下新華深度賦能數字化變革,成績亮眼

    今年是新華成立7周年,H3C品牌誕生20周年,更是新華在新紫光集團旗下奮楫爭先,揚帆起航的一年。 紫光集團完成重整后,新管理團隊持續優化公司治理和產業布局,將業務細分為八大板塊。
    的頭像 發表于 09-22 11:31 ?470次閱讀

    征服數據宇宙,新華存儲護衛隊早有準備?

    新華重構智慧存儲戰艦,向AI紀元進發!
    的頭像 發表于 09-19 17:35 ?702次閱讀
    征服數據宇宙,<b class='flag-5'>新華</b><b class='flag-5'>三</b>存儲護衛隊早有準備?