存儲(chǔ)器陣列中改變模擬計(jì)算技術(shù)解讀

在TinyML Summit上，早期的模擬AI加速器初創(chuàng)公司Areanna首次公開(kāi)披露了其架構(gòu)，并公開(kāi)了其基于40 TOPS / W SRAM陣列的設(shè)計(jì)的某些功能。不尋常的設(shè)計(jì)在存儲(chǔ)陣列內(nèi)集成了模數(shù)和數(shù)模轉(zhuǎn)換。由于ADC和DAC通常在內(nèi)存中計(jì)算設(shè)計(jì)中占用絕大部分硅面積和功率預(yù)算，因此在存儲(chǔ)器陣列中集成此功能可能會(huì)改變模擬計(jì)算技術(shù)。

Areanna由前泰克模擬設(shè)計(jì)工程師Behdad Youssefi以及另一個(gè)前Tek同事Patrick Satarzadeh領(lǐng)導(dǎo)。他們?nèi)匀皇?a target="_blank">公司僅有的兩名全職員工，以及兩名兼職工程師和數(shù)名顧問(wèn)。該公司根據(jù)其架構(gòu)的建立和運(yùn)行情況，獲得了一個(gè)帶有一個(gè)計(jì)算塊的測(cè)試芯片。

模擬計(jì)算的基本前提。DAC將輸入數(shù)據(jù)轉(zhuǎn)換為模擬電壓。通過(guò)調(diào)節(jié)陣列中可變電阻器的電導(dǎo)乘以模擬輸入電壓，可以實(shí)現(xiàn)乘法。信號(hào)累積在垂直累積線上，然后由ADC轉(zhuǎn)換回?cái)?shù)字域。例如，可變電阻器陣列可以基于憶阻器或存儲(chǔ)單元（來(lái)源：Areanna）

計(jì)算和量化
Areanna稱其架構(gòu)為內(nèi)存中的計(jì)算和量化（CQIM）。該概念基于模擬內(nèi)存計(jì)算技術(shù)，與其他幾家AI芯片初創(chuàng)公司（Mythic，Gyrfalcon等）采用的基本概念相同。但是，Areanna使用SRAM陣列而不是非易失性存儲(chǔ)器，并混合了大量的秘密調(diào)味料。

Behdad Youssefi（來(lái)源：Areanna）

Areanna的IP在其SRAM陣列的設(shè)計(jì)中，該陣列在陣列內(nèi)部集成了ADC和DAC功能。其他內(nèi)存計(jì)算設(shè)計(jì)在每行/每個(gè)輸入上使用一個(gè)DAC，在每列/每個(gè)輸出上使用一個(gè)ADC。這些ADC和DAC占據(jù)了芯片功耗預(yù)算和硅片面積的很大一部分（根據(jù)Areanna的數(shù)據(jù)，高達(dá)85％的功耗和98％的硅片面積）。在他的TinyML演示中，尤塞菲描述了模擬計(jì)算方法“用數(shù)據(jù)轉(zhuǎn)換瓶頸代替了馮·諾依曼體系結(jié)構(gòu)的內(nèi)存瓶頸”。
在Areanna的CQIM架構(gòu)中，AD和DA轉(zhuǎn)換是通過(guò)與計(jì)算相同的電路結(jié)構(gòu)執(zhí)行的– Areanna稱這些乘法位單元（MBC）。

雖然Areanna的前提是基于模擬計(jì)算，但電路幾乎完全是數(shù)字化的，并且是用數(shù)字處理技術(shù)制造的。通過(guò)從SRAM位單元讀取權(quán)重參數(shù)，然后將其乘以輸入激活，然后通過(guò)單位電容器轉(zhuǎn)換為電荷，并在垂直累積線上進(jìn)行累加，即可進(jìn)行計(jì)算。具有相同的MBC結(jié)構(gòu)可進(jìn)行AD和DA轉(zhuǎn)換，從而節(jié)省了大量的硅面積，而缺少ADC采樣電路可節(jié)省功耗。

Youssefi在接受EE Times采訪時(shí)說(shuō)：“有一個(gè)SRAM位單元，然后有一個(gè)乘法器，一些邏輯，邏輯塊的輸出是數(shù)字信號(hào)。”“ [金屬]電容器將該信號(hào)轉(zhuǎn)換為電荷，該電荷在垂直累積線上共享。為了執(zhí)行這種所謂的模擬計(jì)算，幾乎沒(méi)有模擬電路?！?/p>

Areanna的CQIM體系結(jié)構(gòu)在每個(gè)乘法位單元（MBC）中都包含DAC和ADC功能（來(lái)源：Areanna）

該設(shè)計(jì)的一個(gè)重要特征是，每個(gè)點(diǎn)積計(jì)算僅需要一次量化（一次AD轉(zhuǎn)換），而與計(jì)算的分辨率無(wú)關(guān)。

尤塞菲說(shuō)：“我們生成和累積MAC結(jié)果并將其量化回?cái)?shù)字的方式使我們只能進(jìn)行一次量化?！薄斑@是因?yàn)槲覀冊(cè)诹炕霸谀M域中進(jìn)行縮放的方式。在其他內(nèi)存中計(jì)算體系結(jié)構(gòu)中，該縮放發(fā)生在數(shù)字域中，因此，當(dāng)您完成AD轉(zhuǎn)換后，就可以進(jìn)行縮放。我們?cè)谀M領(lǐng)域以高度的完整性來(lái)做到這一點(diǎn)。”

尤塞菲說(shuō)，其他的內(nèi)存中計(jì)算架構(gòu)可能會(huì)在每條垂直累積線上解析每個(gè)計(jì)算的一到四位。典型的架構(gòu)可能需要一個(gè)兩位數(shù)字輸入并產(chǎn)生一個(gè)四位數(shù)字輸出（通常使用較低精度的DAC和ADC來(lái)節(jié)省芯片面積）。因此，將八位權(quán)重與輸入激活相乘可能需要將計(jì)算分解為多個(gè)部分。Areanna的設(shè)計(jì)提供了完全可編程的分辨率，而不會(huì)影響硬件利用率。

他說(shuō)：“我們不會(huì)通過(guò)從8位提高到4位再到1位來(lái)降低硬件利用率，無(wú)論分辨率如何，它仍然是100％的硬件利用率，”他說(shuō)?！?[[對(duì)于其他內(nèi)存計(jì)算方案]如果要提供可變分辨率，則必須大大降低硬件利用率?！?/p>

數(shù)據(jù)流優(yōu)化
與非易失性存儲(chǔ)器相比，使用SRAM的優(yōu)勢(shì)包括SRAM的低讀寫(xiě)能量；這樣就可以從片外引入重量，而不會(huì)產(chǎn)生高能耗。Youssefi解釋說(shuō)，SRAM的低寫(xiě)入能量還為數(shù)據(jù)流優(yōu)化提供了靈活性。

當(dāng)今行業(yè)中正在使用各種數(shù)據(jù)流優(yōu)化方法-它們的區(qū)別在于哪些數(shù)據(jù)類(lèi)型保持不變，哪些數(shù)據(jù)類(lèi)型圍繞芯片移動(dòng)。例如，對(duì)于具有很多權(quán)重的大型神經(jīng)網(wǎng)絡(luò)層，保持權(quán)重固定可能是有效的。對(duì)于處理高分辨率圖像的網(wǎng)絡(luò)，輸入激活數(shù)據(jù)是數(shù)據(jù)密集度最高的數(shù)據(jù)類(lèi)型，因此使輸入激活保持靜止可能更有意義。Areanna的基于SRAM的架構(gòu)允許雙重靜態(tài)數(shù)據(jù)流優(yōu)化，也就是說(shuō)，無(wú)需額外的硬件就可以使兩種數(shù)據(jù)類(lèi)型成為靜態(tài)數(shù)據(jù)。

Youssefi說(shuō)：“因?yàn)槲覀兊挠?jì)算是在模擬域中并行完成的，所以我們實(shí)際上并不需要移動(dòng)數(shù)據(jù)?！薄坝捎诩軜?gòu)的原因，可以使權(quán)重或用戶選擇的任何內(nèi)容固定，并且部分和[輸出]始終固定。因此，這兩種數(shù)據(jù)類(lèi)型沒(méi)有變化。”

用戶可以選擇使輸入激活和部分和固定不變，或者使權(quán)重和部分和固定均固定，這取決于對(duì)應(yīng)用程序（或神經(jīng)網(wǎng)絡(luò)中特定層）最有效的選擇。

可伸縮性
據(jù)Youssefi稱，當(dāng)前許多內(nèi)存計(jì)算架構(gòu)的另一個(gè)問(wèn)題是它們的可伸縮性受到限制。

Youssefi在他的TinyML演示中說(shuō)：“針對(duì)功率性能進(jìn)行了優(yōu)化的邏輯技術(shù)被用于構(gòu)建這些數(shù)據(jù)轉(zhuǎn)換器?！薄叭缓笥幸环N存儲(chǔ)技術(shù)，該技術(shù)針對(duì)密度進(jìn)行了優(yōu)化，并用于制造存儲(chǔ)陣列。當(dāng)您將這兩種技術(shù)放在同一個(gè)芯片上時(shí)，您將面臨兩全其美的局面?！?/p>

由于Areanna的設(shè)計(jì)幾乎完全建立在數(shù)字模塊上，因此可以在標(biāo)準(zhǔn)CMOS工藝中進(jìn)行制造，并可以根據(jù)摩爾定律跟蹤到較小的工藝節(jié)點(diǎn)。也無(wú)需擔(dān)心困擾其他內(nèi)存計(jì)算設(shè)計(jì)的模擬非理想情況-Areanna使用的金屬電容器具有非常高的精確度匹配精度，其他一切都是數(shù)字的。

Areanna的測(cè)試芯片（來(lái)源：Areanna）

測(cè)試芯片
Areanna成立于2019年，以小企業(yè)創(chuàng)新研究（SBIR）贈(zèng)款的形式獲得了美國(guó)國(guó)家科學(xué)基金會(huì)的種子資金，總計(jì)225,000美元。該公司在其架構(gòu)上擁有兩項(xiàng)專(zhuān)利。2020年，這家初創(chuàng)公司發(fā)布了磁帶，并制造出了能夠部分矩陣乘法的工作測(cè)試芯片，從而證明了該架構(gòu)的功能。該芯片的基準(zhǔn)功率效率為40 TOPS / W，計(jì)算密度為2 TOPS / mm2硅面積（兩個(gè)數(shù)字均為8位計(jì)算）。每個(gè)內(nèi)核的內(nèi)存帶寬為2 TB / s。

尤塞菲說(shuō)，下一步是阿雷安娜（Areanna）使用多個(gè)計(jì)算塊構(gòu)建更大的測(cè)試芯片。第二個(gè)更高級(jí)的測(cè)試芯片將在2022年問(wèn)世。

編輯：hfy