被帶寬限制的AI性能，怎么樣才能讓人工智能提供更好的性能？

在目前廣泛應(yīng)用于AI的內(nèi)存方案中，包括片上存儲(chǔ)、HBM和GDDR。

作者 | 吳優(yōu)

人工智能經(jīng)過(guò)幾十年的發(fā)展，在數(shù)據(jù)爆炸時(shí)代正處于良性循環(huán)，大量的數(shù)據(jù)用于制造和訓(xùn)練神經(jīng)網(wǎng)絡(luò)，而后利用神經(jīng)網(wǎng)絡(luò)篩選并理解這些數(shù)據(jù)。

不過(guò)，我們?nèi)匀粚?duì)于更好的人工智能有巨大需求，據(jù)Open AI的一份報(bào)告顯示，從2012到2019年，人工智能訓(xùn)練集增長(zhǎng)將近30萬(wàn)倍，每3.43個(gè)月翻一番，比摩爾定律快25000倍，在摩爾定律將近失效的今天，那么怎么樣才能讓人工智能提供更好的性能？

內(nèi)存帶寬限制人工智能模型本身

早在兩年前，業(yè)內(nèi)就有人提出，在計(jì)算能力和數(shù)據(jù)量足夠的年代里，內(nèi)存帶寬才是人工智能發(fā)展的瓶頸。

德克薩斯高級(jí)計(jì)算中心（TACC）研究科學(xué)家曾在其2016年的報(bào)告《HPC系統(tǒng)中的內(nèi)存帶寬和系統(tǒng)平衡》中比較過(guò)去25年某些HPC服務(wù)器的浮點(diǎn)計(jì)算情況，結(jié)果顯示內(nèi)存、網(wǎng)絡(luò)延遲和帶寬大幅度落后于處理器性能，其中內(nèi)存帶寬大約每十年落后浮點(diǎn)計(jì)算4.5倍。

“一個(gè)非常有趣的現(xiàn)象是，內(nèi)存對(duì)人工智能的限制一部分體現(xiàn)在人工智能模型本身，以及用來(lái)訓(xùn)練這些模型的數(shù)據(jù)量規(guī)模急劇增長(zhǎng)。”Rambus 大中華區(qū)總經(jīng)理蘇雷在Rambus 2020中國(guó)設(shè)計(jì)峰會(huì)上說(shuō)到。

根據(jù)蘇雷的介紹，這種限制在人工智能傳統(tǒng)訓(xùn)練模型和并行訓(xùn)練模型上均有體現(xiàn)。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練通常只使用一個(gè)AI/ML引擎，即將神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練數(shù)據(jù)全都嵌入一顆芯片中，訓(xùn)練的數(shù)據(jù)在芯片中迭代循環(huán)，通過(guò)不斷更新模型實(shí)現(xiàn)對(duì)數(shù)據(jù)的分類、識(shí)別和處理，這一場(chǎng)景下其性能直接取決于計(jì)算引擎和緩存速度、內(nèi)存帶寬。

為提高數(shù)據(jù)訓(xùn)練時(shí)間，具體多個(gè)AI/ML引擎的神經(jīng)網(wǎng)絡(luò)得以出現(xiàn)，這種方法是神經(jīng)網(wǎng)絡(luò)模型的完整副本同時(shí)嵌入多個(gè)芯片中，神經(jīng)網(wǎng)絡(luò)模型所需的訓(xùn)練工作量被均分到每一顆芯片中，多個(gè)芯片引擎并行處理訓(xùn)練集，進(jìn)而提高訓(xùn)練時(shí)間。

并行方案的每一個(gè)訓(xùn)練步驟可分為兩個(gè)階段，每個(gè)階段受到的帶寬限制不盡相同。

在第一階段，每個(gè)訓(xùn)練的并行引擎將通過(guò)它們的訓(xùn)練結(jié)果更新其模型副本，因此并行訓(xùn)練的每個(gè)芯片在運(yùn)行完每一次訓(xùn)練迭代后，都會(huì)有不同的訓(xùn)練更新，因此這一階段數(shù)據(jù)傳輸?shù)叫酒乃俣戎苯尤Q于內(nèi)存帶寬的大小。

在第二階段，即規(guī)約階段（Reduction），需要每個(gè)引擎與所有其它引擎交互更新信息，讓芯片彼此了解其它芯片的更新并接受來(lái)著其他芯片的更新，得以更新自己的模型，恢復(fù)模型間的同步，再次擁有相同的模型副本。顯然，這一階段的性能主要取決于芯片間鏈路帶寬的限制。

HBM 2和GDDR 6，更多的內(nèi)存選擇

“為縮小內(nèi)存帶寬和高性能浮點(diǎn)計(jì)算之間的差距等問(wèn)題，我們有新的系統(tǒng)架構(gòu)和面向特定領(lǐng)域的硅，或者將更多的數(shù)據(jù)直接放在芯片上，以獲得更高的帶寬，更好的功率和更低的延遲，但是數(shù)據(jù)總是越來(lái)越大，需要更多的內(nèi)存，所以依然需要在片外存儲(chǔ)器和鏈路性能上取得突破?！盧aymond Su表示。

在目前廣泛應(yīng)用于AI的內(nèi)存方案中，片上存儲(chǔ)（On-Chip Memory）就是Raymond Su所言的擁有最高帶寬和功率效率但容量有限的方案，其他兩種方案分別是HBM和GDDR，即DRAM解決方案。

HBM是一種基于3D堆棧工藝的高性能DRAM。第一代HBM誕生于2013年，最新一代HBM標(biāo)準(zhǔn)已經(jīng)演進(jìn)到HBM2E，能夠支持12個(gè)DRAM的堆棧，內(nèi)存容量高達(dá)每堆棧24GB，當(dāng)傳輸速率達(dá)到每管腳3.6Gbps時(shí)，HBM2E可以實(shí)現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。

由于HBM2E堆棧需要通過(guò)高達(dá)1700多條數(shù)據(jù)“線”的接口連接到相關(guān)處理器，遠(yuǎn)遠(yuǎn)超過(guò)標(biāo)準(zhǔn)PCB能夠支持的范圍，因此使用硅中介層作為連接內(nèi)存堆棧和處理器的中介，在硅中介層中完成精細(xì)的數(shù)據(jù)走線，獲得HBM接口所需數(shù)量的數(shù)據(jù)線數(shù)。

HBM2E通過(guò)堆疊技術(shù)實(shí)現(xiàn)高帶寬和高容量，但由于硅中介層的使用，成本偏高。

GDDR是雙倍數(shù)據(jù)傳輸率存儲(chǔ)器，采用傳統(tǒng)的方法將標(biāo)準(zhǔn)PCB和測(cè)試的DRAMs與SoC連接在一起，具有較高的帶寬和較好的能耗效率，其缺點(diǎn)在于更難保證信號(hào)完整性和電源完整性。

比較256GB/s下HBM2和GDDR6，HBM2E的接口寬而慢，GDDR6的接口窄而快。HBM2占有面積優(yōu)勢(shì)和能耗優(yōu)勢(shì)，但GDDR6具有成本和方案工程上的實(shí)現(xiàn)優(yōu)勢(shì)。

HBM2與GDDR6內(nèi)存解決方案的高帶寬已經(jīng)顯而易見(jiàn)，不過(guò)想要真正落實(shí)到實(shí)現(xiàn)高性能人工智能的應(yīng)用上，還需要IP供應(yīng)商的支持，在HBM2和GDDR6內(nèi)存解決方案的IP供應(yīng)中，Rambus就扮演重要角色。

根據(jù)Rambus資深應(yīng)用工程師曹汪洋在Rambus 2020中國(guó)設(shè)計(jì)峰會(huì)上的介紹，Rambus的HMB2E接口解決方案（PHY和控制器）專為AI/ML、HPC的高性能和低延遲而設(shè)計(jì)。Rambus HBM Gen2 PHY 完全符合JEDEC HBM2E標(biāo)準(zhǔn)，支持每個(gè)數(shù)據(jù)引腳高達(dá)3.6Gbps 的數(shù)據(jù)速率，總帶寬因此達(dá)到461 GB/s。該接口具有8個(gè)獨(dú)立信道，每個(gè)信道包含128位，總數(shù)據(jù)寬度為 1024 位，支持2、4、8 或 12個(gè)DRAM的堆棧高度。

Rambus GDDR6 PHY每個(gè)引腳的速度高達(dá)16 Gbps，可用于TSMC 7nm工藝，GDDR6接口支持2個(gè)信道，每個(gè)信道有16位，總數(shù)據(jù)寬度為32位。另外，Rambus GDDR6 PHY 每個(gè)引腳的速度高達(dá)16 Gbps，最高可提供 64 GB/s 的帶寬。

在Rambus 2020中國(guó)設(shè)計(jì)峰會(huì)的交流環(huán)節(jié)，蘇雷向雷鋒網(wǎng)表示： “Rambus 是全球HBM IP技術(shù)的引領(lǐng)者，且在市場(chǎng)份額上排名第一，全球范圍內(nèi)擁有50多個(gè)成功案例，Rambus最新的Rambus HBM2E的方案可以實(shí)現(xiàn)全球最高的4Gpbs速率，GDDR6方案可以實(shí)現(xiàn)18Gbps速率，位于業(yè)界頂尖水平，這能夠幫助客戶的方案設(shè)計(jì)提供足夠裕量空間，保證整個(gè)系統(tǒng)的穩(wěn)定性，目前燧原已將選擇了Rambus作為其下一代AI訓(xùn)練芯片的合作伙伴?！?/p>

高帶寬之后，信號(hào)完整性也是挑戰(zhàn)

在上述文章中提到，HBM和GDDR是可以為AI/ML提供高帶寬，其中速率更高的GDDR6面臨著信號(hào)完整性和電源完整性的挑戰(zhàn)。

據(jù)雷鋒網(wǎng)了解，信道中不同類型的損耗是影響信號(hào)完整性的主要因素，具體又可以分為插入損耗、反射和串?dāng)_，插入損耗產(chǎn)于介電損耗或金屬電阻表面粗糙程度，主要通過(guò)較好的PCB和封裝設(shè)計(jì)來(lái)控制。信號(hào)反射源于阻抗，最終會(huì)導(dǎo)致眼圖閉合和信號(hào)丟失。串?dāng)_由于兩個(gè)信號(hào)之間的電容和電感耦合引起的，由于從信號(hào)中消除串?dāng)_的電路很復(fù)雜，因此串?dāng)_是GDDR6 DRAM信號(hào)完整性最具挑戰(zhàn)性的問(wèn)題。

針對(duì)信號(hào)完整性問(wèn)題，蘇雷表示：“ 要確保信號(hào)的完整性，就需要從發(fā)送端到接收端進(jìn)行的完整系統(tǒng)建模，需要采用協(xié)同設(shè)計(jì)的方案。Rambus 的GDDR6 PHY解決方案可以穩(wěn)定在18Gbps并確保傳輸眼圖清晰，走在業(yè)界最前列。在高速的傳輸下，還需要對(duì)電路板上的封裝設(shè)計(jì)進(jìn)行建模，使用比如DFE和反轉(zhuǎn)等技術(shù)，可以提高性能讓眼圖更好的打開(kāi) 。”

當(dāng)然除了信號(hào)完整性和電源完成性，DRAM數(shù)據(jù)速率的增長(zhǎng)還導(dǎo)致更多其他的問(wèn)題，“我們需要做的還是兼顧能耗的制約，不斷找尋和提升內(nèi)存帶寬的方法，為AI/ML更高的性能?！碧K雷說(shuō)道。

責(zé)任編輯：PSY