精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

華中科大馮丹教授:加速數據中心向Diskless架構演進,近數據處理新型盤框技術創新發力

章鷹觀察 ? 來源:電子發燒友原創 ? 作者:章鷹 ? 2023-04-23 17:41 ? 次閱讀
電子發燒友網報道 文/章鷹)“我們把計算中心分為三大塊,計算、傳輸和存儲。但是當前數據中心存算分離不徹底,導致計算和存儲分別還有大量的冗余空間。比如計算器、存儲服務器都有配置相應的硬盤,通過計算服務器的硬盤做緩存,將存儲域的數據拉到計算這塊進行處理,導致我們配備最大容量的配置,導致存儲資源的浪費;另外一方面,采用通用的算力進行處理,使得IO的處理在計算域這一側采用CPU來做網絡和讀寫的操作,需要消耗30%的算力,而在存儲域采用通用CPU做控制器,使得性能降低20%。”華中科技大學計算機科學與技術學院院長馮丹表示點出當前數據中心存儲領域的痛點問題。


圖:華中科技大學計算機科學與技術學院院長 馮丹

4月20日,在中國深圳舉辦的華為分析師大會分論壇上,長江學者特聘教授、華中科技大學計算機科學與技術學院院長馮丹對數據中心Diskless架構及近數據處理發展趨勢做出了權威解讀。

馮丹指出,傳統存算融合架構下,企業通常采用應用與本地盤耦合的服務器一體化架構,存在存力效率低、無效數據遷移、資源浪費等典型問題。表現為:一、數據從盤到計算域CPU,需要8次以上數據搬遷,無效搬遷帶來了網絡和算力資源的浪費;二、在存算融合的上千節點大規模集群中,算力、容量空間配比無法均衡,擴容時需要額外遷移數據,不僅帶來現有業務風險,還會浪費投資;三、數據爆發增長,面向結構化數據的數據縮減策略不完全適用于非結構化場景。

國際調研機構IDC的數據顯示,2025年數據量將達到175ZB,積累的數據量90%主要來自于近兩年,大部分數據來自金融、基因、分子、動力、IoT等等,從結構化到非結構化大量數據的產生,使得對容量、成本的壓力越來越大。但是傳統的面向結構化數據的數據壓縮方法,可以使壓縮比達到3:1,但是對于非結構化數據,壓縮比小于2,甚至是無效的。如何在存儲域實現對于用戶來說,透明的、高效、自適應的數據縮減算法也成為一個難題。

隨著算力多樣化、高性能網絡和存儲介質的發展,數據中心架構從以CPU中心朝著以數據為中心的Diskless架構演進。Diskless架構下,單一CPU算力發展到GPU、DPU、XPU等多樣算力,算力效率得以充分發揮;網絡從IP、NOF發展到高通量的CXL,為算力和存力等硬件解耦奠定了基礎;存力也從傳統HDD到SSD,性能、功耗實現全面提升。Intel、華為、KIOXIA、阿里云等業界芯片、存儲、云和互聯網廠商的積極推進下,Diskless架構借助專用DPU/IPU等數據處理芯片和OceanDisk等專用存儲模塊,進一步提升數據處理和存儲的效能,充分調動數據中心資源。

馮丹教授表示,資源池化共享的Diskless架構應具備以下關鍵技術:

1、網存協同,DPU硬件卸載加速,數據高效協同處理。通過DPU等專有數據處理模塊,使服務器CPU全為應用服務,基礎設施與應用任務解耦,將VirtIO、NVMe-oF等CPU計算效率低任務轉移到DPU的專用加速器執行,實現資源彈性擴展。

2、數控分離+IO直通,實現控制流與IO流分離,IO直通到存儲介質,進一步提升存儲效率。通過數控分離,可達到極致IO訪問時延,通過存儲域IO讀寫數據流與IO控制處理的分離,使得讀寫IO直通到存儲介質中,減少IO處理路徑,降低處理復雜度,極大提升存儲域訪問性能。計算域則可以借助DPUbypassCPU,減少數據拷貝開銷,提升IO訪問性能。

3、盤控協同,盤芯片與控制器芯片配合,提升集成度,達到最佳成本和能耗。盤控協同技術的關鍵是要實現高性能、低成本的大盤,通過硬件對盤控系統內的算法進行加速,比如利用FPGA實現FTL/DIF/在線壓縮/加密/EC/GC等硬化,提升性能;盤內和框內的各類驅動和緩存層合一,實現盤框一體,構建極致成本和能耗的大盤存儲。

4、算子卸載,EC、數據縮減等算法通過硬件卸載到存儲端,實現近數據處理。通過計算語義的卸載,存儲直出語義接口,主機側軟件棧打薄,減少80%的IO交互次數,實現對整系統

的CPU和網絡帶寬節省。同時,在大數據/數據倉庫場景,可以利用引擎的下推接口,下推謂詞和投影等運算操作到存儲資源池,減少無效數據的搬移。

華為去年發布的OceanDisk智能盤框產品,是一個標準的大存力新型盤框產品。OceanDisk通過NoF+高速網絡連接Diskless服務器,實現計算和存儲獨立彈性擴展,幫助客戶提高資源利用率,機柜空間和設備功耗分別降低40%;內置FlashLink?智能盤框協同算法等軟硬結合技術,帶來最大250萬IOPS,50GB/s帶寬的高性能;依托華為多年存儲研發實力,OceanDisk智能盤框提供硬盤亞健康管理、智能慢盤優化等技術,保持大規模數據中心10萬級硬盤的性能穩定,大幅降低運維難度。OceanDisk作為業界首個面向Diskless架構的新型盤框,將以高性能、高可靠、綠色集約重新定義下一代云和互聯網數據中心存儲架構。

馮丹教授表示:“從技術趨勢來看,高性能異構算力、高速網絡、大存力新型盤框、算子卸載等技術的發展,帶來了數據中心架構的變革,加速了以CPU為中心的耦合架構走向徹底存算分離、資源池化共享的以數據為中心的Diskless架構,這種架構進一步簡化了數據中心基礎設施構建,能夠實現存力和算力資源的集約高效發展,已經成為大規模數據中心發展的重要技術趨勢。”

本文由電子發燒友原創,轉載請注明以上來源。微信號zy1052625525。需入群交流,請添加微信elecfans999,投稿爆料采訪需求,請發郵箱zhangying@elecfans.com。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 華為
    +關注

    關注

    216

    文章

    34327

    瀏覽量

    251218
  • intel
    +關注

    關注

    19

    文章

    3480

    瀏覽量

    185763
  • 數據中心
    +關注

    關注

    16

    文章

    4700

    瀏覽量

    71968
收藏 人收藏

    評論

    相關推薦

    電力模塊如何在數據中心建設中創新使用?為設計提供思路

    高密化、規模化的發展,供電系統作為數據中心的“心臟”,為滿足數據中心的增長,以及綠色能源的發展趨勢,在建設中不僅要保障供電的安全性,更要對供電系統進行技術創新,為客戶創造更大價值。結合相關技術
    的頭像 發表于 11-26 14:33 ?106次閱讀
    電力模塊如何在<b class='flag-5'>數據中心</b>建設中<b class='flag-5'>創新</b>使用?為設計提供思路

    面向未來數據中心的存儲平臺技術挑戰與探索

    教授華中科技大學金海教授,清華大學舒繼武教授,李輝等20余位專家出席會議。秀湖會議學術委員會主席、CCF副理事長、清華大學胡事民教授在開幕
    的頭像 發表于 11-06 10:43 ?183次閱讀

    如何選擇數據中心服務

    的規模、所需的服務類型(如托管服務、云服務、存儲服務等)、數據處理和存儲的需求、安全性要求以及預算等。這些需求將直接影響選擇數據中心服務的方向和重點。 二、考察數據中心的位置 數據中心
    的頭像 發表于 10-24 16:14 ?167次閱讀

    當今數據中心技術趨勢

    計算 數據中心的首要趨勢是追求更高的效能和性能。隨著數字化轉型的深入推進,各行業對數據中心處理能力和存儲容量提出了更高要求。為了滿足這些需求,數據中心正不斷引入新
    的頭像 發表于 10-24 15:15 ?344次閱讀

    簡述數據中心網絡架構的演變

    隨著全球對人工智能(AI)的需求不斷增長,數據中心作為AI計算的重要基礎設施,其網絡架構與連接技術的發展變得尤為關鍵。
    的頭像 發表于 10-22 16:23 ?244次閱讀

    人工智能數據中心新型連接解決方案

    支持新型人工智能數據中心架構的先進連接解決方案不斷涌現。高速板對板連接器、下一代電纜、背板和近似集成電路連接器對電纜解決方案的運行速度高達224Gb/s-PAM4,將加速未來計算的發展
    的頭像 發表于 06-13 08:26 ?520次閱讀
    人工智能<b class='flag-5'>數據中心</b>的<b class='flag-5'>新型</b>連接解決方案

    第十三期CCF秀湖會議:共話未來數據中心的存儲平臺技術挑戰與探索

    、清華大學鄭緯民教授華中科技大學金海教授,清華大學舒繼武教授,浪潮存儲產品線總經理李輝等20余位專家出席會議。秀湖會議AC主席、CCF副理事長、清華大學胡事民
    的頭像 發表于 06-04 16:33 ?325次閱讀
    第十三期CCF秀湖會議:共話未來<b class='flag-5'>數據中心</b>的存儲平臺<b class='flag-5'>技術</b>挑戰與探索

    八大科技巨頭攜手推進UALink,加速數據中心AI互聯

    近日,英特爾、Google、微軟、Meta等八家科技巨頭宣布共同成立超加速器鏈接(UALink)推廣小組,致力于推動數據中心內AI加速器芯片的連接組件發展。UALink旨在優化數據中心
    的頭像 發表于 05-31 10:59 ?792次閱讀

    智慧醫療的綠色大腦 中科曙光風改液數據中心

    中科曙光及旗下子公司曙光數創積極探索,推出液冷數據中心解決方案。該方案在華中科技大學協和深圳醫院(以下簡稱南山醫院)成功應用。 不僅為智慧醫療的發展提供了強有力的支撐,也為實現“雙碳”目標作出了積極貢獻。 ? ?
    發表于 04-08 09:53 ?348次閱讀

    華中科大在近場光學成像方向取得重要進展

    近日,《自然·納米技術》(Nature Nanotechnology)在線刊發華中科技大學李培寧教授團隊題目為“Van der Waals quaternary oxides for tunable low-loss aniso
    的頭像 發表于 03-19 09:17 ?732次閱讀
    <b class='flag-5'>華中科大</b>在近場光學成像方向取得重要進展

    讓數字世界堅定運行 | 華為發布2024數據中心能源十大趨勢

    碳綠色,并分享數據中心在部件、產品、系統和架構方面的技術演進趨勢,凝聚共識,洞見未來。 華為數據中心能源領域總裁堯權 堯權表示,AI大模型時
    的頭像 發表于 01-17 20:45 ?537次閱讀
    讓數字世界堅定運行 | 華為發布2024<b class='flag-5'>數據中心</b>能源十大趨勢

    IDc數據中心需要哪些產品

    IDC數據中心是一個專門提供服務器和網絡設備的租用、托管和管理服務的場所。它通常由大型的硬件設施和專業的技術團隊組成,可以為企業和機構提供高效、安全和可靠的數據存儲和處理解決方案。這篇
    的頭像 發表于 01-16 17:40 ?1927次閱讀

    數據處理器:DPU編程入門》讀書筆記

    。以DPU為技術代表的新算架構,正在重新定義數據中心和云原生技術的基礎架構。 DPU的出現,是
    發表于 12-21 10:47

    數據處理器:DPU編程入門》+初步熟悉這本書的結構和主要內容

    之一。隨著人們對云計算和大數據處理需求的增加,數據中心的計算負載也不斷增加。傳統的中央處理器(CPU)在處理這些工作負載時可能會遇到瓶頸,難以提供足夠的性能和效率。DPU通過提供專門的
    發表于 12-08 18:03

    施耐德電氣基于創新技術驅動數據中心革新

    據施耐德電氣估算,到2028年,人工智能電力消耗將占數據中心總電力消耗的15%-20%。AI需要愈加澎湃的算助其不斷演進,也為數據中心的設計和運營帶來顛覆性的變革。
    的頭像 發表于 12-01 11:38 ?977次閱讀
    施耐德電氣基于<b class='flag-5'>創新技術</b>驅動<b class='flag-5'>數據中心</b>革新