來源：半導體芯科技編譯

業內率先推出8層垂直堆疊的24GB容量HBM3 Gen2，帶寬超過1.2TB/s，并通過先進的1β工藝節點實現“卓越功效”。

美光科技已開始提供業界首款8層垂直堆疊的24GB容量HBM3 Gen2內存樣品，其帶寬超過1.2TB/s，引腳速度超過9.2Gb/s，相比目前出貨的HBM3解決方案提高了50%。美光的HBM3 Gen2產品的每瓦性能是前幾代產品的2.5倍，據稱為關鍵人工智能（AI）數據中心性能、容量和功效指標創造了新記錄。美光本次改進可減少GPT-4等大型語言模型的訓練時間，為AI推理提供高效的基礎設施應用，并提供卓越的總擁有成本（TCO）。

美光高帶寬內存（HBM）解決方案的基礎是美光1β (1-beta) DRAM工藝節點，該節點允許將24Gb DRAM芯片組成行業標準封裝尺寸內的8層垂直堆疊的立方體。此外，美光的12層垂直堆疊的堆棧容量為36GB，將于2024年第一季度開始提供樣品。美光表示，與現有的競爭解決方案相比，它在給定的堆棧高度下提供的容量增加了50%。美光的HBM3 Gen2 性能功耗比和引腳速度改進對于管理當今人工智能數據中心的極端功耗需求至關重要。美光在技術方面的進步，讓能效提升成為可能，例如硅通孔（TSV）比競爭對手的HBM3產品增加了一倍，通過金屬密度增加五倍，從而降低熱阻抗，此外，還設計了更為節能的數據通路。

美光很榮幸成為臺積電3DFabric Alliance的合作伙伴，幫助塑造半導體和系統的創新未來。作為HBM3 Gen2產品開發工作的一部分，美光與臺積電之間的合作為AI和HPC設計應用計算系統的順利引入和集成奠定了基礎。臺積電已收到美光HBM3 Gen2內存樣品，并與美光密切合作進行進一步的評估和測試，助力客戶的下一代HPC應用創新。

美光HBM3 Gen2解決方案滿足了生成式AI領域對多模態、數萬億參數AI模型日益增長的需求。每個立方體容量為24GB，引腳速度超過9.2Gb/s，大型語言模型的訓練時間減少30%以上，從而降低TCO。此外，美光產品觸發每日查詢量顯著增加，從而能夠更有效地利用經過訓練的模型。美光HBM3 Gen2擁有業界一流的每瓦性能，能切實推動現代AI數據中心節省成本。對于安裝1000萬個GPU的情況，每個HBM立方體可節約5W功耗，預計在五年內可節省高達5.5億美元的運營費用。

美光計算產品集團副總裁兼總經理Praveen Vaidyanathan表示：“美光HBM3 Gen2技術的開發旨在為客戶和行業提供卓越的人工智能和高性能計算解決方案。對我們來說，一個重要的標準是，HBM3 Gen2產品在客戶平臺上是否易于集成。其完全可編程的內存內建自測試（MBIST）可在完整規格的引腳速度下運行，能夠為客戶提供更強大的測試能力，實現高效協作，助力客戶縮短產品上市時間。”

NVIDIA超大規模和HPC計算副總裁Ian Buck表示：“生成式AI的核心是加速計算，它受益于HBM高帶寬，可帶來更出色的能效。我們與美光在眾多產品領域有著長期合作，并且非常期待與美光在HBM3 Gen2上合作，促進AI創新。”

美光利用其全球工程機構開發了這一突破性產品，于美國進行設計和工藝開發，在日本進行內存制造，在臺灣進行先進封裝。美光此前宣布推出基于1α (1-alpha)節點、24Gb單塊DRAM裸片的96GB容量DDR5模組，用于大容量服務器解決方案，如今又推出了基于1β節點24Gb芯片24GB容量HBM3產品。公司還計劃在2024年上半年推出基于1β節點32Gb單塊DRAM裸片的128GB容量DDR5模組。這些產品展示了美光在AI服務器方面的技術創新。

審核編輯 黃宇