圖:華中科技大學計算機科學與技術學院院長 馮丹
4月20日,在中國深圳舉辦的華為分析師大會分論壇上,長江學者特聘教授、華中科技大學計算機科學與技術學院院長馮丹對數據中心Diskless架構及近數據處理發展趨勢做出了權威解讀。
馮丹指出,傳統存算融合架構下,企業通常采用應用與本地盤耦合的服務器一體化架構,存在存力效率低、無效數據遷移、資源浪費等典型問題。表現為:一、數據從盤到計算域CPU,需要8次以上數據搬遷,無效搬遷帶來了網絡和算力資源的浪費;二、在存算融合的上千節點大規模集群中,算力、容量空間配比無法均衡,擴容時需要額外遷移數據,不僅帶來現有業務風險,還會浪費投資;三、數據爆發增長,面向結構化數據的數據縮減策略不完全適用于非結構化場景。
國際調研機構IDC的數據顯示,2025年數據量將達到175ZB,積累的數據量90%主要來自于近兩年,大部分數據來自金融、基因、分子、動力、IoT等等,從結構化到非結構化大量數據的產生,使得對容量、成本的壓力越來越大。但是傳統的面向結構化數據的數據壓縮方法,可以使壓縮比達到3:1,但是對于非結構化數據,壓縮比小于2,甚至是無效的。如何在存儲域實現對于用戶來說,透明的、高效、自適應的數據縮減算法也成為一個難題。
隨著算力多樣化、高性能網絡和存儲介質的發展,數據中心架構從以CPU中心朝著以數據為中心的Diskless架構演進。Diskless架構下,單一CPU算力發展到GPU、DPU、XPU等多樣算力,算力效率得以充分發揮;網絡從IP、NOF發展到高通量的CXL,為算力和存力等硬件解耦奠定了基礎;存力也從傳統HDD到SSD,性能、功耗實現全面提升。在Intel、華為、KIOXIA、阿里云等業界芯片、存儲、云和互聯網廠商的積極推進下,Diskless架構借助專用DPU/IPU等數據處理芯片和OceanDisk等專用存儲模塊,進一步提升數據處理和存儲的效能,充分調動數據中心資源。
馮丹教授表示,資源池化共享的Diskless架構應具備以下關鍵技術:
1、網存協同,DPU硬件卸載加速,數據高效協同處理。通過DPU等專有數據處理模塊,使服務器CPU全為應用服務,基礎設施與應用任務解耦,將VirtIO、NVMe-oF等CPU計算效率低任務轉移到DPU的專用加速器執行,實現資源彈性擴展。
2、數控分離+IO直通,實現控制流與IO流分離,IO直通到存儲介質,進一步提升存儲效率。通過數控分離,可達到極致IO訪問時延,通過存儲域IO讀寫數據流與IO控制處理的分離,使得讀寫IO直通到存儲介質中,減少IO處理路徑,降低處理復雜度,極大提升存儲域訪問性能。計算域則可以借助DPUbypassCPU,減少數據拷貝開銷,提升IO訪問性能。
3、盤控協同,盤芯片與控制器芯片配合,提升集成度,達到最佳成本和能耗。盤控協同技術的關鍵是要實現高性能、低成本的大盤,通過硬件對盤控系統內的算法進行加速,比如利用FPGA實現FTL/DIF/在線壓縮/加密/EC/GC等硬化,提升性能;盤內和框內的各類驅動和緩存層合一,實現盤框一體,構建極致成本和能耗的大盤存儲。
4、算子卸載,EC、數據縮減等算法通過硬件卸載到存儲端,實現近數據處理。通過計算語義的卸載,存儲直出語義接口,主機側軟件棧打薄,減少80%的IO交互次數,實現對整系統
的CPU和網絡帶寬節省。同時,在大數據/數據倉庫場景,可以利用引擎的下推接口,下推謂詞和投影等運算操作到存儲資源池,減少無效數據的搬移。
華為去年發布的OceanDisk智能盤框產品,是一個標準的大存力新型盤框產品。OceanDisk通過NoF+高速網絡連接Diskless服務器,實現計算和存儲獨立彈性擴展,幫助客戶提高資源利用率,機柜空間和設備功耗分別降低40%;內置FlashLink?智能盤框協同算法等軟硬結合技術,帶來最大250萬IOPS,50GB/s帶寬的高性能;依托華為多年存儲研發實力,OceanDisk智能盤框提供硬盤亞健康管理、智能慢盤優化等技術,保持大規模數據中心10萬級硬盤的性能穩定,大幅降低運維難度。OceanDisk作為業界首個面向Diskless架構的新型盤框,將以高性能、高可靠、綠色集約重新定義下一代云和互聯網數據中心存儲架構。
馮丹教授表示:“從技術趨勢來看,高性能異構算力、高速網絡、大存力新型盤框、算子卸載等技術的發展,帶來了數據中心架構的變革,加速了以CPU為中心的耦合架構走向徹底存算分離、資源池化共享的以數據為中心的Diskless架構,這種架構進一步簡化了數據中心基礎設施構建,能夠實現存力和算力資源的集約高效發展,已經成為大規模數據中心發展的重要技術趨勢。”
本文由電子發燒友原創,轉載請注明以上來源。微信號zy1052625525。需入群交流,請添加微信elecfans999,投稿爆料采訪需求,請發郵箱zhangying@elecfans.com。
-
華為
+關注
關注
216文章
34327瀏覽量
251218 -
intel
+關注
關注
19文章
3480瀏覽量
185763 -
數據中心
+關注
關注
16文章
4700瀏覽量
71968
發布評論請先 登錄
相關推薦
評論