AI訓(xùn)練不可或缺的存儲，HBM3 DRAM再升級

電子發(fā)燒友網(wǎng)報道（文/黃晶晶） SK海力士近日發(fā)布全球首次實現(xiàn)垂直堆疊12個單品DRAM芯片，成功開發(fā)出最高容量24GB的HBM3 DRAM新產(chǎn)品。

圖源：SK海力士

目前已向數(shù)多全球客戶公司提供了24GB HBM3 DRAM樣品正在進(jìn)行性能驗證，預(yù)計從今年下半年起將其推向市場。而現(xiàn)有HBM3 DRAM的最大容量是垂直堆疊8個單品DRAM芯片的16GB。無論是堆疊數(shù)量還是容量上，此次發(fā)布的新品都有顯著提升。

HBM（高帶寬存儲器）是高價值、高性能存儲器，垂直互連多個DRAM芯片。目前SK海力士在HBM市場處于領(lǐng)先地位，約有60%-70%的份額。

圖源：SK海力士

SK海力士于2013年首次開發(fā)HBM DRAM（第一代）產(chǎn)品，隨后以HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）的順序開發(fā)。早在去年6月，SK海力士宣布其HBM3將與NVIDIA H100Tensor CoreGPU結(jié)合用于加速計算，SK hynix于2022年第三季度開始發(fā)貨。今年年初隨著ChatGPT的火爆，HBM訂單激增。那么SK海力士有哪些技術(shù)來提升HBM的性能呢，以下結(jié)合SK海力士多位技術(shù)專家的分享進(jìn)行一些解讀。

訓(xùn)練計算需匹配高性能存儲

訓(xùn)練GPT-3、Megatron-Turing NLG 530B等超大語言模型所要求的算力提升速度呈數(shù)倍到數(shù)百倍的增長。尤其是ChatGPT的訓(xùn)練，ChatGPT人工智能語言模型的背后就是Transformer架構(gòu)。這個架構(gòu)突破了傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長短時記憶網(wǎng)絡(luò)（LSTM）的局限性，能夠在大規(guī)模數(shù)據(jù)集上進(jìn)行高效訓(xùn)練。為了實現(xiàn)高效訓(xùn)練計算，就需要有與之匹配的高性能存儲。

圖源：SK海力士

SK海力士于2021年10月推出全球首款HBM3，并在2022年6月實現(xiàn)量產(chǎn)。據(jù)介紹，該款HBM3每個引腳傳輸速率達(dá)6.4Gbps，1024位寬接口，最高帶寬可達(dá)819GB/s，較HBM2E（460GB/s）高約78%。16Gb內(nèi)核密度、尖端的TSV垂直堆疊技術(shù)，滿足了系統(tǒng)對更高密度的要求，該技術(shù)可實現(xiàn)12層堆疊內(nèi)存立方體，從而實現(xiàn)最大24GB封裝密度。HBM3配備On-die ECC（糾錯碼）可靠性功能，可自我檢測和糾正數(shù)據(jù)錯誤，從而在SoC和DRAM之間實時傳輸海量數(shù)據(jù)。

圖源：SK海力士

先進(jìn)的封裝技術(shù)

此次新產(chǎn)品采用了先進(jìn)（Advanced）MR-MUF和TSV技術(shù)。SK海力士表示，通過先進(jìn)MR-MUF技術(shù)加強了工藝效率和產(chǎn)品性能的穩(wěn)定性，又利用TSV技術(shù)將12個比現(xiàn)有芯片薄40%的單品DRAM芯片垂直堆疊，實現(xiàn)了與16GB產(chǎn)品相同的高度。這兩項技術(shù)也是SK海力士先進(jìn)封裝技術(shù)的重要組成。

首先來看先進(jìn)MR-MUF技術(shù)。根據(jù)SK海力士的官方資料，MR-MUF（Mass Reflow Molded Underfill, 批量回流模制底部填充）將半導(dǎo)體芯片貼附在電路上，并在堆疊芯片時使用“EMC (Epoxy Molding Compound, 液態(tài)環(huán)氧樹脂模塑料”填充芯片之間或芯片與凸塊之間間隙的工藝。這種新的工藝主要是比之前的NCF技術(shù)工藝有了很大提升。此前的NCF技術(shù)是在芯片之間使用薄膜進(jìn)行堆疊。與NCF相比，MR-MUF導(dǎo)熱率高出兩倍左右，工藝速度和良率都有提升。

另一個是TSV（Through Silicon Via， 硅通孔技術(shù)）。TSV技術(shù)是在DRAM芯片打上數(shù)千個細(xì)微的孔，并通過垂直貫通的電極連接上下芯片的先進(jìn)封裝技術(shù)。這種技術(shù)已經(jīng)成為一種提升DRAM性能和密度的重要手段，可以應(yīng)用于3D-TSV DRAM和HBM。

HBM主要用于彌補SoC高帶寬需求與主存儲器最大帶寬供應(yīng)能力之間的帶寬缺口。SK海力士專家表示，特別是在AI應(yīng)用中，每個SoC的帶寬需求可能都會超過幾TB/s，這是常規(guī)主存儲器無法滿足的。例如具有3200Mbps DDR4 DIMM的單個主存儲器通道只能提供25.6GB/s的帶寬。即使是具有8個存儲器通道的CPU平臺，其速度也只能達(dá)到204.8GB/s。而圍繞單個SoC的4個HBM2堆疊可提供大于1TB/s的帶寬。根據(jù)不同的應(yīng)用程序，HBM既可以單獨用作緩存，也可以用作兩層存儲中的第一層。

實際上除了GPU搭載了HBM之外，CPU也實現(xiàn)了封裝HBM。去年底，英特爾就正式推出了全球首款配備 HBM 內(nèi)存的 x86 CPU——Intel Xeon Max 系列。根據(jù)下圖介紹，它具有64 GB的HBM2e 內(nèi)存，分為4個16 GB的集群，總內(nèi)存帶寬為1 TB / s，每個內(nèi)核的HBM都超過1 GB。


當(dāng)前HBM的技術(shù)方向主要是在速度、密度、功耗、占板空間等方面的提升。SK海力士通過提高引腳數(shù)據(jù)速率、I/O總線位寬等方式提升速率；通過擴展Die堆疊層數(shù)和物理堆疊高度，以及增加核心Die密度以優(yōu)化堆疊密度。通過評估內(nèi)存結(jié)構(gòu)和操作方案，最大限度地降低每帶寬擴展的絕對功耗；為了實現(xiàn)總內(nèi)存Die尺寸最小化，則是通過在不擴大現(xiàn)有物理尺寸的情況下增加存儲單元數(shù)量和功能。

小結(jié)

顯然，人工智能、數(shù)據(jù)中心的應(yīng)用還將拉動HBM的需求，但從成本來看，HBM的平均售價至少是DRAM的三倍，前不久受ChatGPT的拉動，HBM的價格更是水漲船高，消息人士稱，與性能最高的DRAM相比HBM3的價格上漲了五倍。不過，這一市場前景也正是DRAM存儲廠商投入技術(shù)和產(chǎn)品的動力。