電子發燒友網報道(文/黃晶晶)AI訓練數據集正高速增長,與之相適應的不僅是HBM的迭代升級,還有用于處理這些海量數據的服務器內存技術的不斷發展。
以經過簡化的AI訓練管道流程來看,在數據采集進來后的數據存儲階段對主內存的需求以小于1TB來計算(實際應用中一個集群或實例的內存容量會是簡化模型的數倍。),這時GPU還無須參與訓練中。
到了數據準備階段,將數據進行整理、驗證,此時主內存容量上升到1TB。比如SDXL訓練網絡架構,在數據準備階段,所有的圖像都要被規整成統一的規格、大小、像素、尺寸,從而更加高效的利用到網絡中的這些資源,降低延遲和在空間展示中節省資源。
在AI訓練階段,不僅需要強大的GPU內存,主內存的容量需求會是GPU內存的兩倍,且必須有非常高的帶寬,才能讓GPU本地內存滿足數據的吞吐速度。由此可見,DDR5內存對于AI訓練的重要性。
Rambus為 DDR5 服務器內存模塊提供完整的內存接口芯片組,包含 RCD、PMIC、SPD Hub、溫度傳感器 IC。Rambus最近推出最先進的全新DDR5 服務器電源管理IC(PMIC)系列,包含適用于高性能應用的業界領先超高電流電源器件,滿足AI及其他高級工作負載對最高性能與容量內存模塊的需求。
Rambus DDR5服務器PMIC產品特點
PMIC是DDR5內存架構中的關鍵組件,可實現更多的內存通道、更大容量的模組和更高的帶寬。Rambus DDR5服務器PMIC系列包含符合JEDEC超高電流(PMIC5020)、高電流(PMIC5000)和低電流(PMIC5010)規范的產品。
JEDEC定義了三種不同的PMIC,針對不同的電流輸出水平。它們都共享相同的封裝尺寸、引腳布局,并且大多數寄存器集相同。每種設計的電源效率都針對其目標應用的預期電流水平進行了優化。
極高電流的PMIC 5020目標是約30安培的最大持續直流電流,是這三種服務器PMIC中最新定義的。Rambus是首家提供樣品的公司。該PMIC針對的是最高帶寬和最高容量的模塊。
高電流PMIC 5000一直是主要的PMIC,支持的最大持續直流電流大約為20安培。這款特定的PMIC針對標準到四階模塊,容量為64GB、96GB和128GB。低電流 PMIC 5010 面向容量較低的市場,它支持的最大持續電流約為 12 安培。
大多數速率高達 60,400 MT/s 的 DDR5 RDIMM 都使用 PMIC 5000 高電流版本和 PMIC 5010 低電流版本 PMIC。目前這兩種型號正處于大批量生產階段。
而新發布的PMIC5020,主要用于數據速率達到7200MT/s的第四代DDR5,以及第一代的MRDIMM模組,另外,還包括一些6400MT/s數據速率但容量特別高的如256GB內存模組,也會使用超高電流的PMIC5020。
Rambus內存互連芯片業務部門產品營銷副總裁John Eble表示,Rambus提供完整的DDR5 RDIMM芯片組,對于我們的客戶、客戶的用戶,以及整個生態系統是多贏的。對于DDR5 RDIMM完整芯片組,我們是經過預先驗證的,可以帶給客戶具有經過驗證的互操作性和非常優秀的時序、功率優化,而且也有足夠穩健的供應鏈供給。
設計挑戰
應用DDR5技術的DIMM架構如何實現更高的內存性能。John Eble進行了詳細解析。
現在DDR5內存已經開始轉移到雙通道架構,在展現的DDR5 RDIMM架構在DDR5當中數據流的通道比特率是32,另外加上8位ECC,來保證他們在連接器上有著各自所需的存儲和吞吐量以及內存性能。
上圖中的雙通道 RCD 現在在主機端以 DDR5 速度運行。因此它的運行速度與 DRAM 相同。圖中每個引腳的開關頻率將比DDR4高出一倍多。
DDR5的每通道最高頻率速度達到8400MT/s。但實際上根據JEDEC今年4月發布的最新數據,表示在DRAM的規格當中可以達到8800MT/s的速度。
更高的數據傳輸速率(裕度至關重要),所有這些數據信號所需的連接器引腳數量的增加以及主電源電壓從 1 至 1.2 伏降至 1.1 伏,這些因素共同促使決定采用專用的電源管理IC,幫助控制更加精細的電壓。
DDR5模塊增加了PMIC和相關的無源組件,這是DDR4到DDR5最顯著的變化之一。
通過將電源管理集成到內存模塊(DIMM)上,主板可以為內存模塊提供單一的高電壓電源。由內存模組上的PMIC向模組提供輸入高壓12V電源,避免通過模塊連接器從主板向內存模組組件輸出如1V的電壓,大大降低了輸電網絡上的IR下降問題。
PMIC有四個開關降壓調節器,其中兩個采用雙相配置,兩個低壓差調節器,為模塊上的各種組件產生總共五個不同的電壓供應和電壓水平。
PMIC可以針對其所在的特定模塊進行調整。隨著用戶增加內存容量,他們以遞增的方式為服務器添加電源管理。因此,將PMIC集成到內存模塊上極大地簡化主板設計,減少所需的面積,并降低電源系統過度配置的浪費。
為了實現更高的數據傳輸速率,DDR5需要更嚴格且精準的電壓范圍。在電源配置變化的情況下,它需要非常低的噪音,要在較低電壓下保持可靠性。
電源設計上的挑戰來看,首先是散熱問題。PMIC會產生熱量,而且它靠近對熱非常敏感的DRAM。因此,進行熱模擬并確保熱量以一種不會影響模塊的方式消散,這一點非常重要。
第二個設計挑戰是如何將PMIC及其無源元件安裝在模塊上,因為模塊的尺寸是固定的。模塊上已經有很多元器件。因此為PMIC騰出空間,確保其功率完整性達到最佳狀態,并確保其不會造成任何干擾或散熱問題,這是一個很大的挑戰。
第三個挑戰是確保PMIC上的開關穩壓器不會將任何不需要的噪聲引入DIMM的其他部分。
最后是需要確保PMIC可靠且強大。Rambus 專門內置了特殊電路來處理可能的壓力條件,以確保擁有非常強大的部件。
憑借在高性能內存領域積累30多年的經驗,Rambus已成為RDIMM制造商的“一站式” DDR5 內存接口芯片供應商,能夠為制造商提供最高級別的驗證保證并加快其產品上市時間。
中國市場
中國內存市場蓬勃發展,已經形成了內存顆粒、內存模組、服務器、OEM、ODM、云一套連貫的生態鏈,中國在全球的內存生態里扮演著非常重要的一環。
Rambus大中華區總經理蘇雷表示,Rambus中國的業務理念不單單把自己作為一個產品的供應方,更多的是定位成業務的合作伙伴,助力中國內存整個產業鏈的生態發展。我們通過跟內存上下游合作伙伴的緊密協同工作,通過利用Rambus內存產品方面的經驗和積累去服務好中國市場。
無論是在客戶產品布局,還是產品設計、研發問題定位、甚至量產階段,Rambus通過提供高效、優質的產品和全面、細致的技術服務與行業經驗,來踐行“in China for China”的理念,最終實現跟客戶的成長與共贏。
寫在最后
John Eble對DDR5和PMIC發展情況做一些預判。隨著對更高性能和電源效率的需求不斷增長,未來可能會定義新型內存模塊。現在業界已經經歷了將 PMIC 集成到模塊驗證和認證中的學習曲線,并看到了由此帶來的好處。那么,很有可能會繼續在模塊上集成PMIC,以進一步優化電源管理并提高整體系統性能。這將成為一種趨勢。
DDR5 在服務器和個人電腦領域都得到了相當迅速的采用。在服務器方面也即將達到平衡點。據集邦咨詢的報告,預計下個季度DDR5 普及率將超過 50%。
另外,PMIC 供應對DDR5服務器模塊來說非常重要。早前曾出現過PMIC 短缺的問題,不過現在整個供應鏈已經恢復,目前沒有看到PMIC供應短缺的情況。
-
服務器
+關注
關注
12文章
9019瀏覽量
85182 -
內存
+關注
關注
8文章
2999瀏覽量
73882 -
PMIC
+關注
關注
15文章
312瀏覽量
109426 -
Rambus
+關注
關注
0文章
59瀏覽量
18788 -
AI
+關注
關注
87文章
30108瀏覽量
268401 -
DDR5
+關注
關注
1文章
419瀏覽量
24099
發布評論請先 登錄
相關推薦
評論