"
結合京東科技 '雙碳' 的技術發展方向,京東在數據中心領域的持續創新,與英特爾合作,打造 '綠色' 算力技術。將整機柜供電的總線電壓提高到 54V,有效降低了電源全鏈路損耗,改善了數據中心能效。結合在氣流優化、液冷散熱等方面的技術改進,以及第四代英特爾 至強 可擴展處理器帶來的更高能耗比,我們推出了綠色的高密度算力整機柜方案,打造了可持續的數據中心典范。我們也和英特爾將技術成果標準化,幫助更多企業構建綠色的高密度算力基礎設施。
——陳國峰
京東科技京東云事業部
硬件架構負責人
"//概 述 //
在綠色可持續發展成為社會共識的今天,推進數據中心的節能減排已經成為重要趨勢。作為中國大規模云數據中心的重要運營者,京東與英特爾在綠色數據中心發展方面已經開展了深度合作,包括采用第四代英特爾 至強 可擴展處理器提升性能/能耗比,采用模塊化服務器設計實現更加高效的散熱設計,發布了從數據中心級到微處理器級的冷板液冷整體解決方案等,有效地提升了數據中心的整體能效,降低數據中心碳排放量。
在供電方面,京東還推出了大功率高利用率整機柜液冷服務器設計,該服務器搭載了第四代英特爾 至強 可擴展處理器,通過將整機柜供電的總線電壓從 12V 提高到 54V,降低整機柜服務器內部的連接阻抗和導電阻抗,從而大幅降低了電源輸出端到終端設備的全鏈路傳輸損耗,達到了提高數據中心用電效率、改善總體擁有成本 (TCO) 和降低碳排放的目的。
//背景:打造高密度、綠色節能的數據中心成為重要趨勢 //
數據中心規模快速擴大帶來的能耗問題在全世界都倍受關注,提升數據中心能效,推動綠色數據中心建設已成為數據中心未來可持續發展的必然趨勢。對于京東而言,隨著業務的持續快速發展,人工智能 (AI)、云原生、計算機視覺等技術得到了快速應用,對于計算、存儲、網絡等基礎資源的需求出現了爆發式增長。為滿足這些需求,京東加大了在數據中心方面的投資,這在支撐業務快速增長的同時,也帶來了不容小視的能耗問題。
為了滿足日益增長的算力需求,同時降低能耗,京東希望能夠解決以下挑戰,從而持續改善機架式服務器的空間利用率與功率密度:
12V 總線電壓設計的損耗較高:在過去幾代機架式服務器中,12V 供電是服務器電源最常見的中間總線電壓設計。然而,由于電纜、連接器和 PCB 中存在的不可避免的損耗,該總線電壓設計會降低傳輸至負載的功率,從而嚴重影響系統功效。特別是在新一代服務器的功率已經遠超前代產品的背景下,12V 的總線電壓對于供電效率的制約已經愈發明顯。 功率瓶頸導致機柜空間浪費:隨著多種部件功耗提升,機柜總功率顯著增加,既有的供電系統難以滿足如此高功率的供電需求,導致數據中心必須減少機柜的服務器部署數量,以應對功率方面的限制,這導致了約三分之二的空間閑置。 傳統冷卻方式的效率不足:傳統數據中心多采用空氣作為冷卻介質,這種方式較為成熟且應用廣泛,但是缺陷也相當明顯:當數據中心部署了高密度的服務器時,由于房間水平的空氣循環,傳統的空氣冷卻系統無法在垂直機架陣列的 IT 設備入口處提供均勻溫度的空氣;此外,空氣冷卻系統效率相對較低,特別是在機架中的高密度服務器運行時,滿足散熱需求的空氣冷卻系統的總功率常會達到 100kW 以上,這在經濟性、供電、噪音等方面都會帶來巨大的困擾。 提升服務器的算力能效比:多樣化的應用負載意味著數據中心需要提供多元化算力,以支持上層應用使用更優架構完成每項任務。只有提升服務器的算力能效比,并更加靈活地調用服務器的算力資源,才能有助于降低特定任務的能耗。 //解決方案:京東云綠色數據中心高密度算力方案 //
京東云綠色數據中心高密度服務器的典型模塊如圖 1 所示,由標準電源、前 IO 模組、液冷模組、內置 PCIe 模組、風扇模組、電源轉換模組、后 IO 模組等構成。
圖 1. 京東云綠色數據中心高密度服務器的模塊化設計
與集中式電源架構中的 12V 總線電壓設計相比,54V 總線電壓通過減少機架中的傳導損耗,能夠在更高的機架功率下提供更好的整體機架效率。特別是當機架功率密度增加時,54V 供電的優勢在機架總功率效率上更加明顯。
京東云綠色數據中心高密度算力方案采用了天樞機架式機柜,該機柜支持兩種電源模式,即中央模式和分布式模式,中央電源模式為 54V 高功率支持模式。兩條電源線提供給電源架,輸出功率為 54V。54V 電源通過機架式機柜后面垂直放置的電源母線提供給每個服務器節點。圖 2 顯示了天樞機架式機柜的電源架布局,即 12 個電源單元 (PSU) 插入電源模塊,這些 PSU 的 54V 輸出并聯連接,并通過垂直銅母線提供給每個服務器節點。與母線相連的服務器內部設計有 54V 至 12V 電源轉換模塊,可將 54V 電源轉換為 12V 電源,用于主板。
圖 2. 天樞機架式機柜電源架布局
京東采用的 54V 電源 PSU 為鈦金牌高效率電源模塊,能夠通過高能源轉換效率節省能源。此外,京東 54V 轉 12V 電源模組采用成熟 54V VR 方案,多組并聯,最大功率達 2100W,實現了可插拔、高效率、高功率密度。
京東還部署了從數據中心級到微處理器級的冷板液冷整體解決方案,在冷卻液分配單元 (CDU)、工作液、歧管、服務器等方面進行了針對性的創新設計。該方案組建冷卻液回路,利用 CDU 分配冷卻液。在通過冷板收集計算節點的熱量后,冷卻液不斷流向另一個冷的 CPU,并通過另一個連接器離開服務器冷板管道,實現液冷計算節點的液冷循環。
圖 3. 京東服務器冷板液冷方案
為了進一步提高數據中心在計算、存儲、網絡層面的基礎資源供給能力,推動數據中心節能減排,京東云綠色數據中心高密度算力方案采用了第四代英特爾 至強 可擴展處理器。第四代英特爾 至強 可擴展處理器通過創新架構增加了每個時鐘周期的指令,每個插槽多達 56 個核心,支持 8 通道 DDR5 內存,有效提升了內存帶寬與速度,并通過 PCIe 5.0(80 個通道)實現了更高的 PCIe 帶寬提升。除了釋放第四代英特爾 至強 可擴展處理器的基礎算力優勢之外,京東還靈活應用處理器集成的英特爾 IAA、英特爾 AMX、英特爾 DSA、英特爾 QAT 等高級硬件能力,提升數據中心面向多種負載的能效。
//收益:顯著改善供電效率,助力節能減排 //
得益于更加高效的供電、冷卻設計,京東云綠色數據中心高密度算力方案在節能減排方面實現了如下收益:
銅排效率改善 3.8%,銅排損耗減少 770W1
京東機柜最大負載測試數據顯示,相較于 12V 總線電壓設計相比,采用 54V 總線電壓的整機柜銅排效率從 96% 提升到 99.86%,最大損耗從 800 W 降低到約 30 W,損耗大幅降低2 。
54V 轉 12V 模組效率達到 97.7%3服務器兼容 54V 集中供電的整機柜和 12V 的 CRPS 供電的服務器,54V 轉 12V 模組效率達到 97.7%。
節省數據中心 TCO新的 54V 機架部署將增加資本成本,但投資的增加將通過每年節省的電能來補償,按 21KW 機架功率計算,每年可節約用電 8500 千瓦時,節約用電成本約 6000 元;按部署 500 個機架計算,在 5 年的生命周期內,可節省高達 1500 萬元的電力4 。
降低碳排放該方案單個機柜每年可減少多達 87 噸的二氧化碳排放。部署 500 個機柜,在 5 年的生命周期內,總共可以減少 21750 噸二氧化碳排放5 。除此之外,天樞機架支持與液冷兼容,如今京東數據中心的液冷機架解決方案已實現 1.1 的 PUE。同時,與傳統機架相比,全機柜液冷在服務器部署中節省了大量運輸。據估計,如果機架以全柜交付的方式交付,1000 個服務器節點的二氧化碳排放量可以減少 5.3 噸6 。
//展 望 //
在現代化的高密度數據中心,整體功耗的不斷提升為散熱效率、節能減排、以及運營成本帶來了極大挑戰,這也加重了企業尋找創新的數據中心供電、冷卻解決方案的壓力。通過在整機柜中采用 54V 總線電壓設計,以及全機柜液冷方案,京東能夠顯著降低服務器供電損耗,提升電源鏈路效率,降低碳排放,助力打造高性能、高密度、可持續的綠色數據中心。
除了供電、冷卻方面的節能減排措施之外,第四代英特爾 至強 可擴展處理器等新一代硬件將有助于提升性能密度與能效,助力降低服務器在多種負載下的能效。展望未來,英特爾正在與京東等業界上下游生態伙伴合作,圍繞電源設計、冷卻技術等構建行業標準,降低實施成本,結合中國市場特點,以助力提升能效、降低 PUE,進而推動先進綠色數據中心建設,實現綠色節能發展。
實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.Intel.com/PerformanceIndex
性能測試結果基于配置信息中顯示的日期進行測試,且可能并未反映所有公開可用的安全更新。詳情請參閱配置信息披露。沒有任何產品或組件是絕對安全的。
具體成本和結果可能不同。
英特爾技術可能需要啟用硬件、軟件或激活服務。
英特爾未做出任何明示和默示的保證,包括但不限于,關于適銷性、適合特定目的及不侵權的默示保證,以及在履約過程、交易過程或貿易慣例中引起的任何保證。
英特爾并不控制或審計第三方數據。請您審查該內容,咨詢其他來源,并確認提及數據是否準確。
-
英特爾
+關注
關注
60文章
9880瀏覽量
171482 -
cpu
+關注
關注
68文章
10824瀏覽量
211135 -
京東云
+關注
關注
0文章
71瀏覽量
28
原文標題:英特爾攜手京東云構建綠色數據中心高密度算力方案,降低TCO和碳排放
文章出處:【微信號:英特爾中國,微信公眾號:英特爾中國】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論