深度解析HBM內(nèi)存技術(shù)

HBM作為基于3D堆棧工藝的高性能DRAM，打破內(nèi)存帶寬及功耗瓶頸。HBM(High Bandwidth Memory)即高帶寬存儲(chǔ)器，通過使用先進(jìn)封裝(如TSV硅通孔、微凸塊)將多個(gè)DRAM芯片進(jìn)行堆疊，并與GPU一同進(jìn)行封裝，形成大容量、高帶寬的DDR組合陣列。

HBM通過與處理器相同的“Interposer”中間介質(zhì)層與計(jì)算芯片實(shí)現(xiàn)緊湊連接，一方面既節(jié)省了芯片面積，另一方面又顯著減少了數(shù)據(jù)傳輸時(shí)間；此外HBM采用TSV工藝進(jìn)行3D堆疊，不僅顯著提升了帶寬，同時(shí)降低了功耗，實(shí)現(xiàn)了更高的集成度。

HBM性能遠(yuǎn)超GDDR,成為當(dāng)前GPU存儲(chǔ)單元理想解決方案。GPU顯存一般采用GDDR或者HBM兩種方案，但HBM性能遠(yuǎn)超GDDR。

根據(jù)AMD數(shù)據(jù)，從顯存位寬來看，GDDR5為32-bit,HBM為其四倍，達(dá)到了1024-bit;從時(shí)鐘頻率來看，HBM為500MHz，遠(yuǎn)遠(yuǎn)小于GDDR5的1750MHz;從顯存帶寬來看，HBM的一個(gè)stack大于100GB/s,而GDDR5的一顆芯片才25GB/s,所以HBM的數(shù)據(jù)傳輸速率遠(yuǎn)遠(yuǎn)高于GDDR5。

從空間利用角度來看，HBM由于與GPU封裝在一塊，從而大幅度減少了顯卡PCB的空間，而GDDR5芯片面積為HBM芯片三倍，這意味著HBM能夠在更小的空間內(nèi)，實(shí)現(xiàn)更大的容量。因此，HBM可以在實(shí)現(xiàn)高帶寬和高容量的同時(shí)節(jié)約芯片面積和功耗，被視為GPU存儲(chǔ)單元理想解決方案。

在高性能GPU需求推動(dòng)下，HBM目前已經(jīng)成為AI服務(wù)器的搭載標(biāo)配。AI大模型的興起催生了海量算力需求，而數(shù)據(jù)處理量和傳輸速率大幅提升使得AI服務(wù)器對(duì)芯片內(nèi)存容量和傳輸帶寬提出更高要求。

HBM具備高帶寬、高容量、低延時(shí)和低功耗優(yōu)勢(shì)，目前已逐步成為AI服務(wù)器中GPU的搭載標(biāo)配。英偉達(dá)推出的多款用于AI訓(xùn)練的芯片A100、H100和H200,都采用了HBM顯存。

其中，A100和H100芯片搭載了40GB的HBM2e和80GB的HBM3顯存，最新的H200芯片搭載了速率更快、容量更高的HBM3e。AMD的MI300系列也都采用了HBM3技術(shù)，MI300A的容量與前一代相同為128GB,而更高端的MI300X則將容量提升至192GB,增長了50%,相當(dāng)于H100容量的2.4倍。

HBM市場競爭激烈，HBM產(chǎn)品向低能耗、高帶寬、高容量加速迭代。從2016年第一代HBM1發(fā)布開始，HBM目前已經(jīng)迭代到第五代產(chǎn)品——HBM3e,縱觀五代HBM產(chǎn)品性能變化，可以發(fā)現(xiàn)HBM在帶寬、I/O速率、容量、工藝節(jié)點(diǎn)等方面取得較大突破，其中帶寬由初代的128GB/s迭代至HBM3e的1TB/s,I/O速率由1Gbps迭代至8Gbps,容量從1GB增至最高36GB,制造工藝則取得進(jìn)一步突破，達(dá)到5nm級(jí)別。

最新一代HBM3e數(shù)據(jù)處理速度最高可達(dá)到1.15TB/s,HBM系列產(chǎn)品的更新迭代將在低能耗、高帶寬、高容量上持續(xù)發(fā)力，以高性能牽引AI技術(shù)進(jìn)一步革新。

HBM產(chǎn)品迭代助力AI芯片性能升級(jí)。當(dāng)?shù)貢r(shí)間2023年11月13日，英偉達(dá)發(fā)布了首款搭載最先進(jìn)存儲(chǔ)技術(shù)HBM3e的GPU芯片H200。H200作為首款搭載最先進(jìn)存儲(chǔ)技術(shù)HBM3e的GPU,擁有141GB顯存容量和4.8TB/s顯存帶寬，與H100的80GB和3.35TB/s相比，顯存容量增加76%,顯存帶寬增加43%。

盡管GPU核心未升級(jí)，但H200憑借更大容量、更高帶寬的顯存，依舊在人工智能大模型計(jì)算方面實(shí)現(xiàn)顯著提升。根據(jù)英偉達(dá)官方數(shù)據(jù)，在單卡性能方面，H200相比H100,在Llama2的130億參數(shù)訓(xùn)練中速度提升40%,在GPT-3的1750億參數(shù)訓(xùn)練中提升60%,在Llama2的700億參數(shù)訓(xùn)練中提升90%;在降低能耗、減少成本方面，H200的TCO(總擁有成本)達(dá)到了新水平，最高可降低一半的能耗。

HBM市場目前被三大原廠占據(jù)，其中海力士份額領(lǐng)先，占據(jù)HBM市場主導(dǎo)地位。據(jù)TrendForce數(shù)據(jù)，三大原廠海力士、三星、美光2022年HBM市占率分別為50%、40%、10%。2023年年初至今，生成式AI市場呈爆發(fā)式增長，大模型參數(shù)量、預(yù)訓(xùn)練數(shù)據(jù)量攀升，驅(qū)動(dòng)AI服務(wù)器對(duì)高帶寬、高容量的HBM需求迅速增加。

作為最先開發(fā)出HBM芯片的海力士，在AIGC行業(yè)迅速發(fā)展背景下得以搶占先機(jī)，率先實(shí)現(xiàn)HBM3量產(chǎn)，搶占市場份額。2023年下半年英偉達(dá)高性能GPUH100與AMD MI300將搭載海力士生產(chǎn)的HBM3,海力士市占率將進(jìn)一步提升，預(yù)計(jì)2023年海力士、三星、美光市占率分別為53%、38%、9%。

TSV技術(shù)通過垂直堆疊多個(gè)DRAM,能顯著提升存儲(chǔ)容量、帶寬并降低功耗。TSV(硅通孔)技術(shù)通過在芯片與芯片之間、晶圓和晶圓之間制作垂直導(dǎo)通，并通過銅、鎢、多晶硅等導(dǎo)電物質(zhì)的填充，實(shí)現(xiàn)硅通孔的垂直電氣互聯(lián)。

作為實(shí)現(xiàn)3D先進(jìn)封裝的關(guān)鍵技術(shù)之一，對(duì)比wire bond疊層封裝，TSV可以提供更高的互連密度和更短的數(shù)據(jù)傳輸路徑，因此具有更高的性能和傳輸速度。隨著摩爾定律放緩，芯片特征尺寸接近物理極限，半導(dǎo)體器件的微型化也越來越依賴于集成TSV的先進(jìn)封裝。目前DRAM行業(yè)中，3D-TSVDRAM和HBM已經(jīng)成功生產(chǎn)TSV,克服了容量和帶寬的限制。

TSV為HBM核心工藝，在HBM3D封裝成本中占比約30%。根據(jù)SAMSUNG,3D TSV工藝較傳統(tǒng)POP封裝形式節(jié)省了35%的封裝尺寸，降低了50%的功耗，并且對(duì)比帶來了8倍的帶寬提升。對(duì)4層存儲(chǔ)芯片和一層邏輯裸芯進(jìn)行3D堆疊的成本進(jìn)行分析，TSV形成和顯露的成本合計(jì)占比，對(duì)應(yīng)99.5%和99%兩種鍵合良率的情形分別為30%和28%,超過了前/后道工藝的成本占比，是HBM3D封裝中成本占比最高的部分。

TSV技術(shù)主要涉及深孔刻蝕、沉積、減薄拋光等關(guān)鍵工藝。TSV首先利用深反應(yīng)離子刻蝕(DRIE)法制作通孔；然后使用化學(xué)氣相沉積(PECVD)的方法沉積制作介電層、使用物理氣相沉積(PVD)的方法沉積制作阻擋層和種子層；再選擇電鍍銅(Cu)進(jìn)行填孔；最后使用化學(xué)和機(jī)械拋光(CMP)法去除多余的銅。另外，由于芯片堆疊集成的需要，在完成銅填充后，還需要晶圓減薄和鍵合。

HBM多層堆疊結(jié)構(gòu)提升工序步驟，帶動(dòng)封裝設(shè)備需求持續(xù)提升。(1)前道環(huán)節(jié)：HBM需要通過TSV進(jìn)行垂直方向連接，增加了TSV刻蝕設(shè)備需求，同時(shí)HBM中TSV、微凸點(diǎn)、硅中介層等工藝大量增加了前道工序，給前道檢、量測設(shè)備帶來增量；(2)后道環(huán)節(jié)：HBM堆疊結(jié)構(gòu)增多，要求晶圓厚度不斷降低，這意味著對(duì)減薄、鍵合等設(shè)備的需求提升；HBM多層堆疊結(jié)構(gòu)依靠超薄晶圓和銅銅混合鍵合工藝增加了對(duì)臨時(shí)鍵合/解鍵合等設(shè)備的需求；(3)各層DRAM Die的保護(hù)材料也非常關(guān)鍵，對(duì)注塑或壓塑設(shè)備提出了較高要求。

審核編輯：湯梓紅