HBM究竟是什么呢？為何在AI時代如此火熱？

各位ICT的小伙伴們大家好呀。

我是老貓。

今天我們聊聊GPU背后的大贏家-HBM。

HBM到底為何方神圣？

HBM全稱為High Bandwidth Memory，直接翻譯即是高帶寬內(nèi)存，是一款新型的CPU/GPU內(nèi)存芯片。其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現(xiàn)大容量、高位寬的DDR組合陣列。

打個比喻，就是傳統(tǒng)的DDR就是采用的"平房設(shè)計"方式，HBM則是"樓房設(shè)計"方式，從而可實現(xiàn)了更高的性能和帶寬。

如上圖，我們以AMD最新發(fā)布MI300XGPU芯片布局為例，中間的die是GPU，左右兩側(cè)的4個小die就是DDR顆粒的堆疊HBM。目前，在平面布局上，GPU現(xiàn)在一般常見有2/4/6/8四種數(shù)量的堆疊，立體上目前最多堆疊12層。

可能會說，HBM跟DDR不就是"平房"和"樓房"的區(qū)別嗎？這也叫創(chuàng)新？

其實想要實現(xiàn)HBM生產(chǎn)并沒有說起來這么簡單，大家想想，建一個樓房可要比建一個平房要困難很多，從底層地基到布線都需要重新設(shè)計。HBM的構(gòu)建像樓房一樣，將傳輸信號、指令、電流都進(jìn)行了重新設(shè)計，而且對封裝工藝的要求也高了很多。

如上圖右側(cè)，DRAM通過堆疊的方式，疊在一起，Die之間用TVS方式連接；DRAM下面是DRAM邏輯控制單元， 對DRAM進(jìn)行控制；GPU和DRAM通過uBump和Interposer（起互聯(lián)功能的硅片）連通；Interposer再通過Bump和 Substrate(封裝基板）連通到BALL；最后BGA BALL 連接到PCB上。

HBM堆棧通過中介層緊湊而快速地連接，HBM具備的特性幾乎和芯片集成的RAM一樣，可實現(xiàn)更多的IO數(shù)量。同時HBM重新調(diào)整了內(nèi)存的功耗效率，使每瓦帶寬比GDDR5高出3倍還多。也即是功耗降低3倍多！另外，HBM 在節(jié)省產(chǎn)品空間方面也獨具匠心，HBM比GDDR5節(jié)省了 94% 的表面積！使游戲玩家可以擺脫笨重的GDDR5芯片，盡享高效。

鑒于技術(shù)上的復(fù)雜性，HBM是公認(rèn)最能夠展示存儲廠商技術(shù)實力的旗艦產(chǎn)品。

為什么需要HBM？

HBM的初衷，就是為了向GPU和其他處理器提供更多的內(nèi)存。

這主要是因為隨著GPU 的功能越來越強(qiáng)大，需要更快地從內(nèi)存中訪問數(shù)據(jù)，以縮短應(yīng)用處理時間。例如，AI和視覺，具有巨大內(nèi)存和計算和帶寬要求。

為了減小“內(nèi)存墻”的影響，提升內(nèi)存帶寬一直是存儲芯片聚焦的關(guān)鍵問題。

半導(dǎo)體的先進(jìn)封裝為克服阻礙高性能計算應(yīng)用程序的內(nèi)存訪問障礙提供了機(jī)會，內(nèi)存的延遲和密度都是可以在封裝級別解決的挑戰(zhàn)。基于對先進(jìn)技術(shù)和解決方案開展的研究，內(nèi)存行業(yè)在新領(lǐng)域進(jìn)行了更深入的探索。

為了克服這些挑戰(zhàn)，半導(dǎo)體封裝設(shè)計人員采用了異構(gòu)集成路線，以在更靠近處理器的位置包含更多內(nèi)存。而HBM就為現(xiàn)代處理器和嵌入式系統(tǒng)當(dāng)前面臨的內(nèi)存障礙問題提供了解決方案。這些存儲器為系統(tǒng)設(shè)計人員提供了兩個優(yōu)勢：一是減少組件占用空間和外部存儲器要求；二是更快的內(nèi)存訪問時間和速率。

疊起來之后，直接結(jié)果就是接口變得更寬，其下方互聯(lián)的觸點數(shù)量遠(yuǎn)遠(yuǎn)多于DDR內(nèi)存連接到CPU的線路數(shù)量。因此，與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸。

目前，HBM產(chǎn)品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開發(fā)，最新的HBM3E是HBM3的擴(kuò)展版本。

HBM每一次更新迭代都會伴隨著處理速度的提高。引腳（Pin）數(shù)據(jù)傳輸速率為1Gbps的第一代HBM，發(fā)展到其第五產(chǎn)品HBM3E，速率則提高到了8Gbps，即每秒可以處理1.225TB的數(shù)據(jù)。也就是說，下載一部長達(dá)163分鐘的全高清（Full-HD）電影（1TB）只需不到1秒鐘的時間。

當(dāng)然，存儲器的容量也在不斷加大：HBM2E的最大容量為16GB，目前，三星正在利用其第四代基于EUV光刻機(jī)的10nm制程（14nm）節(jié)點來制造24GB容量的HBM3芯片，此外8層、12層堆疊可在HBM3E上實現(xiàn)36GB（業(yè)界最大）的容量，比HBM3高出50%。

此前SK海力士、美光均已宣布推出HBM3E芯片，皆可實現(xiàn)超過1TB/s的帶寬。

同時，三星也宣布HBM4內(nèi)存將采用更先進(jìn)的芯片制造和封裝技術(shù)，雖然HBM4的規(guī)格尚未確定，但有消息稱業(yè)界正尋求使用2048位內(nèi)存接口，并使用FinFET晶體管架構(gòu)來降低功耗。三星希望升級晶圓級鍵合技術(shù)，從有凸塊的方式轉(zhuǎn)為無凸塊直接鍵合。因此，HBM4的成本可能會更高。

HBM的發(fā)展史

如同閃存從2D NAND向3D NAND發(fā)展一樣，DRAM也是從2D向3D技術(shù)發(fā)展，HBM也由此誕生。

在最初， HBM是通過硅通孔（Through Silicon Via， 簡稱"TSV"）技術(shù)進(jìn)行芯片堆疊，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制，將數(shù)個DRAM裸片像摩天大廈中的樓層一樣垂直堆疊，裸片之間用TVS技術(shù)連接。

從技術(shù)角度看，HBM使得DRAM從傳統(tǒng)2D轉(zhuǎn)變?yōu)榱Ⅲw3D，充分利用空間、縮小面積，正契合半導(dǎo)體行業(yè)小型化、集成化的發(fā)展趨勢。HBM突破了內(nèi)存容量與帶寬瓶頸，被視為新一代DRAM解決方案，業(yè)界認(rèn)為這是DRAM通過存儲器層次結(jié)構(gòu)的多樣化開辟一條新的道路，革命性提升DRAM的性能。

在HBM的誕生與發(fā)展過程中，AMD和SK海力士可謂功不可沒。據(jù)了解，AMD在2009年就意識到DDR的局限性并產(chǎn)生開發(fā)堆疊內(nèi)存的想法，后來其與SK海力士聯(lián)手研發(fā)HBM。

2013年，經(jīng)過多年研發(fā)后，AMD和SK海力士終于推出了HBM這項全新技術(shù)，還被定為了JESD235行業(yè)標(biāo)準(zhǔn)，HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi），其帶寬為4096bit，遠(yuǎn)超GDDR5的512bit。

除了帶寬外，HBM對DRAM能耗的影響同樣重要。此外，由于GPU核心和顯存封裝在了一起，還能一定程度上減輕散熱的壓力，原本是一大片的散熱區(qū)域，濃縮至一小塊，散熱僅需針對這部分區(qū)域，原本動輒三風(fēng)扇的設(shè)計，可以精簡為雙風(fēng)扇甚至是單風(fēng)扇，變相縮小了顯卡的體積。

在當(dāng)時，無論是AMD和SK海力士，還是媒體和眾多玩家，都認(rèn)定了這才是未來的顯存。第一代HBM面世商用后，SK海力士與三星即開始了一場你追我趕的競賽。

2016年1月，三星宣布開始量產(chǎn)4GB HBM2 DRAM，并在同一年內(nèi)生產(chǎn)8GB HBM2 DRAM；2017年下半年，被三星趕超的SK海力士開始量產(chǎn)HBM2；2018年1月，三星宣布開始量產(chǎn)第二代8GB HBM2"Aquabolt"。

2018年末，JEDEC推出HBM2E規(guī)范，以支持增加的帶寬和容量。當(dāng)傳輸速率上升到每管腳3.6Gbps時，HBM2E可以實現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。此外，HBM2E支持最多12個DRAM的堆棧，內(nèi)存容量高達(dá)每堆棧24GB。與HBM2相比，HBM2E具有技術(shù)更先進(jìn)、應(yīng)用范圍更廣泛、速度更快、容量更大等特點。

2019年8月，SK海力士宣布成功研發(fā)出新一代"HBM2E"；2020年2月，三星也正式宣布推出其16GB HBM2E產(chǎn)品"Flashbolt"，于2020年上半年開始量產(chǎn)。

2020年，另一家存儲巨頭美光宣布加入到這一賽場中來。

美光在當(dāng)時的財報會議上表示，將開始提供HBM2內(nèi)存/顯存，用于高性能顯卡，服務(wù)器處理器產(chǎn)品，并預(yù)計下一代HBMNext將在2022年底面世。但截至目前尚未看到美光相關(guān)產(chǎn)品動態(tài)。

2022年1月，JEDEC組織正式發(fā)布了新一代高帶寬內(nèi)存HBM3的標(biāo)準(zhǔn)規(guī)范，繼續(xù)在存儲密度、帶寬、通道、可靠性、能效等各個層面進(jìn)行擴(kuò)充升級。JEDEC表示，HBM3是一種創(chuàng)新的方法，是更高帶寬、更低功耗和單位面積容量的解決方案，對于高數(shù)據(jù)處理速率要求的應(yīng)用場景來說至關(guān)重要，比如圖形處理和高性能計算的服務(wù)器。

2022年6月量產(chǎn)了HBM3 DRAM芯片，并將供貨英偉達(dá)，持續(xù)鞏固其市場領(lǐng)先地位。隨著英偉達(dá)使用HBM3 DRAM，數(shù)據(jù)中心或?qū)⒂瓉硇乱惠喌男阅芨锩?/p>

2023年，NVIDIA 發(fā)布H200芯片，是首款提供HBM3e內(nèi)存的GPU，HBM3e是目前全球最高規(guī)格的HBM內(nèi)存，由SK海力士開發(fā)，將于明年上半年開始量產(chǎn)。

2023年12月，AMD發(fā)布最新MI300X GPU芯片，2.5D硅中介層、3D混合鍵合集一身的3.5D封裝，集成八個5nm工藝的XCD模塊，內(nèi)置304個CU計算單元，又可分為1216個矩陣核心，同時還有四個6nm工藝的IOD模塊和256MB無限緩存，以及八顆共192GB HBM3高帶寬內(nèi)存。

從HBM1到HBM3，SK海力士和三星一直是HBM行業(yè)的領(lǐng)軍企業(yè)。但比較可惜的是，AMD卻在2016年發(fā)布完產(chǎn)品后完全轉(zhuǎn)向，近乎放棄了HBM。唯一仍然保留HBM技術(shù)的是用于AI計算的加速卡。

起了個大早，趕了個晚集，是對AMD在HBM上的最好概括。既沒有憑借HBM在游戲顯卡市場中反殺英偉達(dá)，反而被英偉達(dá)利用HBM鞏固了AI計算領(lǐng)域的地位，白白被別人摘了熟透甜美的桃子。

HBM的競爭格局？

由生成式AI引發(fā)對HBM及相關(guān)高傳輸能力存儲技術(shù)的需求，HBM成為存儲巨頭在下行行情中對業(yè)績的重要扭轉(zhuǎn)力量，這也是近期業(yè)績會上的高頻詞。

調(diào)研機(jī)構(gòu)TrendForce集邦咨詢也指出，預(yù)估2023年全球HBM需求量將年增近六成，來到2.9億GB，2024年將再增長三成。2023年HBM將處于供不應(yīng)求態(tài)勢，到2024年供需比有望改善。

但是HBM在整體存儲市場占比較低，目前還不是普及性應(yīng)用的產(chǎn)品。目前似乎競爭都局限在SK海力士、三星和美光這三家企業(yè)之間。

目前，在HBM的競爭格局中，SK海力士是技術(shù)領(lǐng)先并擁有最高市場份額的公司，其市占率為50%。緊隨其后的是三星，市占率約為40%，而美光占據(jù)了大約10%的市場份額。

根據(jù)預(yù)測，到23年，海力士的市場份額有望提升至53%，而三星和美光的市場份額將分別為38%和9%。

在下游廠商主要包括CPU/GPU制造商，例如英特爾、英偉達(dá)和AMD。由于HBM是與GPU封裝在一起的，因此HBM的封裝通常由晶圓代工廠完成。

反觀到我們國內(nèi)，由于起步較晚，目前HBM相關(guān)產(chǎn)業(yè)鏈布局相對較小，只有一些企業(yè)涉及封測領(lǐng)域。但是這也意味著，在信息安全的今天，HBM具有更大的成長空間。

目前，在國內(nèi)涉及HBM產(chǎn)業(yè)鏈的公司主要包括雅克科技、中微公司、和拓荊科技等公司。其中，雅克的子公司UP Chemical是SK海力士的核心供應(yīng)商，為其提供HBM前驅(qū)體。

在HBM工藝中，ALD沉積（單原子層沉積）起著重要作用。拓荊科技就是國內(nèi)主要的ALD供應(yīng)商之一，公司的PEALD產(chǎn)品用于沉積SiO2、SiN等介質(zhì)薄膜，在客戶端驗證中都取得了令人滿意的結(jié)果。

而TSV技術(shù)（硅通孔技術(shù)）也是HBM的核心技術(shù)之一，中微公司是TSV設(shè)備的主要供應(yīng)商。硅通孔技術(shù)用于連接硅晶圓兩面，并與硅襯底和其他通孔絕緣的電互連結(jié)構(gòu)。它能夠通過硅基板實現(xiàn)硅片內(nèi)部的垂直電互聯(lián)，是實現(xiàn)2.5D和3D先進(jìn)封裝的關(guān)鍵。

隨著HBM堆疊DRAM裸片數(shù)量逐步增加到8層和12層，HBM對DRAM材料的需求將呈倍數(shù)級增長。同時，HBM前驅(qū)體的單位價值也將出現(xiàn)倍數(shù)級增長，這為前驅(qū)體市場帶來了全新的發(fā)展機(jī)遇。

HBM的未來應(yīng)用前景

隨著AI大模型、智能駕駛等新技術(shù)的崛起，人們對高帶寬的內(nèi)存的需求越來越多。

首先，AI服務(wù)器的需求會在近兩年爆增，如今在市場上已經(jīng)出現(xiàn)了快速的增長。AI服務(wù)器可以在短時間內(nèi)處理大量數(shù)據(jù)，GPU可以讓數(shù)據(jù)處理量和傳輸速率的大幅提升，讓AI服務(wù)器對帶寬提出了更高的要求，而HBM基本是AI服務(wù)器的標(biāo)配。

除了AI服務(wù)器，汽車也是HBM值得關(guān)注的應(yīng)用領(lǐng)域。汽車中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字，想要在車輛周圍快速傳輸大量數(shù)據(jù)，HBM具有很大的帶寬優(yōu)勢。

另外，AR和VR也是HBM未來將發(fā)力的領(lǐng)域。因為VR和AR系統(tǒng)需要高分辨率的顯示器，這些顯示器需要更多的帶寬來在 GPU 和內(nèi)存之間傳輸數(shù)據(jù)。而且，VR和AR也需要實時處理大量數(shù)據(jù)，這都需要HBM的超強(qiáng)帶寬來助力。

此外，智能手機(jī)、平板電腦、游戲機(jī)和可穿戴設(shè)備的需求也在不斷增長，這些設(shè)備需要更先進(jìn)的內(nèi)存解決方案來支持其不斷增長的計算需求，HBM也有望在這些領(lǐng)域得到增長。并且，5G 和物聯(lián)網(wǎng) (IoT) 等新技術(shù)的出現(xiàn)也進(jìn)一步推動了對 HBM 的需求。

并且，AI的浪潮還在愈演愈烈，HBM今后的存在感或許會越來越強(qiáng)。據(jù)semiconductor-digest預(yù)測，到2031年，全球高帶寬存儲器市場預(yù)計將從2022年的2.93億美元增長到34.34億美元，在2023-2031年的預(yù)測期內(nèi)復(fù)合年增長率為31.3%。

HBM需要克服的問題

1：HBM需要較高的工藝從而導(dǎo)致大幅度提升了成本。

針對更大數(shù)據(jù)集、訓(xùn)練工作負(fù)載所需的更高內(nèi)存密度要求，存儲廠商開始著手研究擴(kuò)展Die堆疊層數(shù)和物理堆疊高度，以及增加核心Die密度以優(yōu)化堆疊密度。

但就像處理器芯片摩爾定律發(fā)展一樣，當(dāng)技術(shù)發(fā)展到一個階段，想要提升更大的性能，那么成本反而會大幅提升，導(dǎo)致創(chuàng)新放緩。

2：產(chǎn)生大量的熱，如何散熱是GPU極大的挑戰(zhàn)。

行業(yè)廠商需要在不擴(kuò)大現(xiàn)有物理尺寸的情況下增加存儲單元數(shù)量和功能，從而實現(xiàn)整體性能的飛躍。但更多存儲單元的數(shù)量讓GPU的功耗大幅提升。新型的內(nèi)存需要盡量減輕內(nèi)存和處理器之間搬運數(shù)據(jù)的負(fù)擔(dān)。

最后總結(jié)：

隨著人工智能、機(jī)器學(xué)習(xí)、高性能計算、數(shù)據(jù)中心等應(yīng)用市場的興起，內(nèi)存產(chǎn)品設(shè)計的復(fù)雜性正在快速上升，并對帶寬提出了更高的要求，不斷上升的寬帶需求持續(xù)驅(qū)動HBM發(fā)展。相信未來，存儲巨頭們將會持續(xù)發(fā)力、上下游廠商相繼入局，讓HBM得到更快的發(fā)展和更多的關(guān)注。

審核編輯：劉清