ADS-NPU芯片內(nèi)存計(jì)算之設(shè)計(jì)挑戰(zhàn)

　　作者 | Dr. Luo

　　簡介：東南大學(xué)工學(xué)博士，英國布里斯托大學(xué)博士后，復(fù)睿微電子英國研發(fā)中心GRUK首席AI科學(xué)家，常駐英國劍橋。Dr. Luo長期從事科學(xué)研究和機(jī)器視覺先進(jìn)產(chǎn)品開發(fā)，曾在某500強(qiáng)ICT企業(yè)擔(dān)任機(jī)器視覺首席科學(xué)家。

　　AI算法在自動(dòng)駕駛ADS領(lǐng)域的行業(yè)應(yīng)用，其當(dāng)前從感知到認(rèn)知的演進(jìn)方向，主要體現(xiàn)在：

　　1）能夠在統(tǒng)一空間支持多模傳感器感知融合與多任務(wù)共享，在提升有限算力的計(jì)算效率的同時(shí)，確保算法模型在信息提取中對(duì)極端惡劣場景（雨雪霧、低照度、高度遮擋、傳感器部分失效、主動(dòng)或被動(dòng)場景攻擊等）的泛化感知能力，降低對(duì)標(biāo)注數(shù)據(jù)和高清地圖的過度依賴；

　　2）預(yù)測與規(guī)劃聯(lián)合建模，離線與在線學(xué)習(xí)相結(jié)合，監(jiān)督與自監(jiān)督學(xué)習(xí)相結(jié)合，從而能夠處理不確定性下的安全行駛與有效決策，提供認(rèn)知決策行為的可解釋問題，通過持續(xù)學(xué)習(xí)解決新場景問題。

　　當(dāng)前，對(duì)應(yīng)于ADS傳感器負(fù)載多樣化和融合感知決策算法多樣化的演進(jìn)趨勢，ADS的算力需求和芯片加速能力以（十倍速/每幾年）的持續(xù)高增長態(tài)勢呈現(xiàn)。ADS領(lǐng)域大算力NPU芯片的當(dāng)前發(fā)展現(xiàn)狀，真可謂是：大算力之時(shí)代，以感知策，四兩撥千斤者；狂洗牌乎戰(zhàn)局，唯快應(yīng)變，一力降十會(huì)也。

　　圖1. DNN任務(wù)占比分析： CNN vs Transformer

　　（圖表分析來自文獻(xiàn)1）

　　如圖1 所示，ADS算法從Compute-bound向Memory-bound演進(jìn)。ADS的存算混合需求，可以通過“硬件預(yù)埋，算法迭代，算力均衡“ ，來提供一個(gè)向前兼容的解決方案，以通用大算力NPU設(shè)計(jì)來解決算法未來的不確定性，具體體現(xiàn)在：1） 底層架構(gòu)的演進(jìn)：從存算分離到近內(nèi)存計(jì)算，最終走向內(nèi)存計(jì)算; 2） 數(shù)據(jù)通道與模型：高速數(shù)據(jù)接口+數(shù)據(jù)壓縮+模型壓縮+低精度逼近計(jì)算+稀疏計(jì)算加速; 3） 并行的頂層架構(gòu)：模型-硬件聯(lián)合設(shè)計(jì)，以及硬設(shè)計(jì)可配置+硬件調(diào)度+軟運(yùn)行可編程調(diào)度引擎。

　　老子曾曰“合抱之木，生于毫末；九層之臺(tái)，起于壘土；千里之行，始于足下。” 老子又曰 ”天下難事，必作于易；天下大事，必作于細(xì)?！碧幚砥D難問題從易入手，致力遠(yuǎn)大目標(biāo)從微著力。ADS-NPU芯片的架構(gòu)設(shè)計(jì)，同樣需要用【見微知著】的能力，來解決異構(gòu)計(jì)算、稀疏計(jì)算、逼近計(jì)算、內(nèi)存計(jì)算等幾類常見的難題與挑戰(zhàn)。

　　1. 異構(gòu)計(jì)算之設(shè)計(jì)挑戰(zhàn)

　　圖2. 脈動(dòng)陣列架構(gòu)（圖表分析來自文獻(xiàn)1）

　　圖3. 可配置的脈動(dòng)陣列架構(gòu)（圖表分析來自文獻(xiàn)1）

　　對(duì)比CPU十百級(jí)的并行處理單元和GPU上萬級(jí)的并行處理單元，NPU會(huì)有百萬級(jí)的并行計(jì)算單元，可以采用Spatial加速器架構(gòu)來實(shí)現(xiàn)，即Spatial PE空間單元陣列通過NoC，數(shù)據(jù)總線，或跨PE的互聯(lián)來實(shí)現(xiàn)矩陣乘運(yùn)算（全卷積計(jì)算或全連接FC計(jì)算）、數(shù)據(jù)流高速交互、以及運(yùn)算數(shù)據(jù)共享。

　　粗顆粒度的可配置架構(gòu)CGRA是Spatial加速器的一種形態(tài)，即可配置的PE Array通過納秒或微秒級(jí)別可配置的Interconnect來對(duì)接，可以支持配置驅(qū)動(dòng)或者數(shù)據(jù)流驅(qū)動(dòng)運(yùn)行。

　　如圖2和圖3所示，脈動(dòng)Systolic加速器架構(gòu)也是Spatial加速器的一類實(shí)現(xiàn)方式，其主要計(jì)算是通過1D或2D計(jì)算單元對(duì)數(shù)據(jù)流進(jìn)行定向固定流動(dòng)處理最終輸出累加計(jì)算結(jié)果，對(duì)DNN輸出對(duì)接卷積層或池化層的不同需求，可以動(dòng)態(tài)調(diào)整硬件計(jì)算邏輯和數(shù)據(jù)通道，但存在的問題難以支撐壓縮模型的稀疏計(jì)算加速處理。

　　NPU的第二類計(jì)算單元是Vector矢量加速器架構(gòu)，面向矢量的Element-wise Sum、Conv1x1卷積、Batch Normalization、激活函數(shù)處理等運(yùn)算操作，其計(jì)算可以通過可配置的矢量核來實(shí)現(xiàn)，業(yè)界常用的設(shè)計(jì)是標(biāo)量+矢量+陣列加速器的組合應(yīng)用來應(yīng)對(duì)ADS多類傳感器的不同前處理需求和多樣化算法模型流水線并行處理的存算混合需求。

　　NPU SoC也可以采用多核架構(gòu)技術(shù)，即提供千百級(jí)的加速器物理核來組件封裝和Chiplet片上互聯(lián)提供更高程度的平行度，尤其是適合大算力下高并行數(shù)據(jù)負(fù)載，這需要底層硬件調(diào)度與上層軟件調(diào)度相結(jié)合，提供一個(gè)分布式硬件計(jì)算資源的細(xì)顆粒度運(yùn)行態(tài)調(diào)用。

　　NPU另外一個(gè)在演進(jìn)中的內(nèi)存處理器PIM架構(gòu)，即通過將計(jì)算靠近存儲(chǔ)的方式來降低數(shù)據(jù)搬移能耗和提升內(nèi)存帶寬?？梢苑殖山鼉?nèi)存計(jì)算與內(nèi)存計(jì)算兩種類型。近內(nèi)存計(jì)算將計(jì)算引擎靠近傳統(tǒng)的DRAM或者SRAM cell，保持它們的設(shè)計(jì)特性。

　　內(nèi)存計(jì)算需要對(duì)內(nèi)存cell添加數(shù)據(jù)計(jì)算邏輯，多采用ReRAM或者STT-MRAM新型工藝，目前采用模擬或數(shù)字類型的設(shè)計(jì)，可實(shí)現(xiàn)》100TOPS/Watt的PPA性能，但技術(shù)難題是如何在運(yùn)行態(tài)時(shí)進(jìn)行大模型參數(shù)動(dòng)態(tài)刷新，工藝實(shí)現(xiàn)可能也落后于市場預(yù)期。

　　圖4. AI算法模型負(fù)載的算子分布統(tǒng)計(jì)（圖表分析來自文獻(xiàn)2）

　　圖5. nVidia A100的TensorCore架構(gòu)與UPCYCLE 融合架構(gòu)的計(jì)算效率對(duì)比

　?。▓D表分析來自文獻(xiàn)2）

　　當(dāng)前市場上主流AI芯片，常用的架構(gòu)有以下幾種形態(tài)：1） GEMM加速架構(gòu)（TensorCore from nVidia， Matrix Core from AMD）; 2） CGRA （初創(chuàng)公司）; 3） Systolic Array （Google TPU）; 4） Dataflow （Wave， Graphcore，初創(chuàng)公司）; 4） Spatial Dataflow （Samba Nova， Groq）; 5） Sparse架構(gòu) （Inferentia）。

　　如圖4與圖5所示案例可以看出，ADS-NPU設(shè)計(jì)其中有一個(gè)挑戰(zhàn)是低計(jì)算效率問題。異構(gòu)計(jì)算架構(gòu)一個(gè)主要的目的是希望從設(shè)計(jì)方法學(xué)上找到一個(gè)硬設(shè)計(jì)時(shí)優(yōu)化可配置與軟運(yùn)行時(shí)動(dòng)態(tài)可編程的平衡點(diǎn)，從而能夠提供一個(gè)通用的方案覆蓋整個(gè)設(shè)計(jì)空間。

　　另外值得一提的是，UPCYCLE 的融合架構(gòu)案例，涉及到SIMD/Short Vector， Matrix Multiply， Caching， Synchronization等多核優(yōu)化策略，這個(gè)案例，說明只是通過短矢量處理+傳統(tǒng)的內(nèi)存緩存+同步策略的傳統(tǒng)方法結(jié)合，在不使用標(biāo)量+矢量+陣列的微架構(gòu)組合條件下，依舊可以從頂層軟件架構(gòu)層面的優(yōu)化（指令集和工具鏈優(yōu)化策略，模型-硬件聯(lián)合優(yōu)化）來實(shí)現(xiàn)7.7x整體計(jì)算性能提升與23x功耗效率提升。

　　2. 稀疏計(jì)算之設(shè)計(jì)挑戰(zhàn)

　　ADS-NPU低效率計(jì)算問題，從微架構(gòu)設(shè)計(jì)領(lǐng)域，可以涉及到：1） 稀疏數(shù)據(jù)（稀疏DNN網(wǎng)絡(luò)，或者稀疏輸入輸出數(shù)據(jù)）導(dǎo)致PE對(duì)大量零值數(shù)據(jù)的無效計(jì)算問題；2）PE之間由于軟件硬件調(diào)度算法的效率低，PE之間互相依賴導(dǎo)致的延遲問題；3）數(shù)據(jù)通道與計(jì)算通道峰值能力不匹配導(dǎo)致的數(shù)據(jù)等待問題。

　　上述問題2和問題3可以從頂層架構(gòu)和存算微架構(gòu)設(shè)計(jì)上來有效解決。問題1可以對(duì)稀疏數(shù)據(jù)進(jìn)行壓縮處理來有效提升微架構(gòu)計(jì)算單元PE的效率。如圖6和圖7所示，稀疏數(shù)據(jù)圖編碼的案例，可以有效提升數(shù)據(jù)存儲(chǔ)空間和對(duì)數(shù)據(jù)通道的沖擊，計(jì)算單元依據(jù)非零數(shù)據(jù)NZVL分布圖進(jìn)行有效甄別計(jì)算，以添加簡單的邏輯單元為代價(jià)就可以將一個(gè)72PE的計(jì)算效率提升到95%，數(shù)據(jù)帶寬降低40%。

　　圖6. 稀疏計(jì)算微架構(gòu)案例（圖表分析來自文獻(xiàn)3）

　　圖7. 稀疏數(shù)據(jù)圖編碼案例（圖表分析來自文獻(xiàn)3）

　　3. 逼近計(jì)算之設(shè)計(jì)挑戰(zhàn)

　　圖8. 算法模型與量化表征的關(guān)系案例（圖表分析來自文獻(xiàn)6）

　　算法模型與量化表征的關(guān)系案例如圖8所示，逼近計(jì)算設(shè)計(jì)可以通過算法模型的低比特參數(shù)表征+量化后訓(xùn)練的方式，在不降低算法模型精度的情況下，通過時(shí)間和空間復(fù)用的方式，等效增加低比特MAC PE單元。

　　逼近計(jì)算的另外一個(gè)優(yōu)勢是可以與稀疏計(jì)算相結(jié)合。低比特表征會(huì)增加數(shù)據(jù)的稀疏特性，類似ReLU等激活函數(shù)和池化計(jì)算也會(huì)產(chǎn)出大量零值數(shù)據(jù)。另外浮點(diǎn)數(shù)值如果用bit-slices進(jìn)行表征，也會(huì)有大量高位零比特特征。

　　零值輸出數(shù)據(jù)意味著可以通過預(yù)計(jì)算可以直接跳過后續(xù)大量的卷積計(jì)算等。如圖9所示的案例，其中簡單的bit-slice數(shù)據(jù)分解表征會(huì)產(chǎn)生偏置分布，可以通過Signed Bit-Slice方法來解決，從而將PPA性能有效提升到（x4能耗，x5性能，x4面積）。

　　圖9. Signed Bit-Slice和RLE游程編碼案例 （圖表分析來自文獻(xiàn)4）

　　4. 內(nèi)存計(jì)算之設(shè)計(jì)挑戰(zhàn)

　　ADS-NPU設(shè)計(jì)其中有一個(gè)挑戰(zhàn)是數(shù)據(jù)墻問題能耗墻問題，即計(jì)算單元PE存算分離設(shè)計(jì)導(dǎo)致數(shù)據(jù)重復(fù)搬移，數(shù)據(jù)共享困難，數(shù)據(jù)通道與計(jì)算通道峰值能力不匹配會(huì)導(dǎo)致PE的低效率和SRAM/DRAM高能耗。

　　圖10. MRAM取代SRAM案例 （圖表分析來自文獻(xiàn)5）

　　一個(gè)有趣的嘗試是用新型工藝MRAM （STT/SOT/VGSOT-MRAM） 來部分或全部取代SRAM， P0方案是只取代算法模型參數(shù)緩存和全局參數(shù)緩存；P1方案是MRAM全面取代SRAM。對(duì)比SRAM-only架構(gòu)，從圖10 的案例可以看出MRAM-P0解決方案可以有》30%能耗提升，MRAM-P1解決方案有》80%能耗提升，芯片面積減少》30%。

　　圖11. Von Neumann與內(nèi)存計(jì)算的架構(gòu)對(duì)比 （圖表分析來自文獻(xiàn)6）

　　圖12. 內(nèi)存計(jì)算的模擬墻問題 （圖表分析來自文獻(xiàn)6）

　　當(dāng)前初創(chuàng)公司的內(nèi)存計(jì)算架構(gòu)策略需要對(duì)內(nèi)存cell添加數(shù)據(jù)計(jì)算邏輯，通過采用ReRAM或者STT-MRAM新型工藝，采用模擬或數(shù)字類型的設(shè)計(jì)來實(shí)現(xiàn)。模擬內(nèi)存計(jì)算IMC對(duì)打破傳統(tǒng)的Von Neumann計(jì)算機(jī)架構(gòu)內(nèi)存墻和能耗墻應(yīng)該更有優(yōu)勢，但需要同時(shí)打破設(shè)計(jì)中的模擬墻問題，這也是當(dāng)前數(shù)字設(shè)計(jì)IMC-SRAM或者IMC-MRAM占多數(shù)的原因。

　　如圖11和圖12所示，IMC的主要問題來自于模數(shù)轉(zhuǎn)換ADC/DAC接口和激活函數(shù)的接口帶來的設(shè)計(jì)冗余。一種新的實(shí)驗(yàn)設(shè)計(jì)是用基于RRAM的RFIMC微架構(gòu)（RRAM cells + CLAMP circuits + JQNL-ADCs + DTACs）。每個(gè)RRAM cell代表2比特內(nèi)存數(shù)據(jù)，4個(gè)RAM cell來存儲(chǔ)8比特的權(quán)重，JQNL-ADC采用8比特浮點(diǎn)數(shù)。

　　從圖13可以看出RFIMC的微架構(gòu)能夠部分解決模擬墻的問題，可實(shí)現(xiàn)》100TOPS/Watt的PPA性能，但存在的問題是，只支持小規(guī)模的全矢量矩陣乘，超大尺寸的矩陣乘，需要將模擬數(shù)據(jù)進(jìn)行局部搬移，是否有數(shù)據(jù)墻的問題仍未知。

　　圖13. RFIMC的性能分解圖 （圖表分析來自文獻(xiàn)6）

　　5. 算法-硬件之共同設(shè)計(jì)挑戰(zhàn)

　　ADS算法多樣化的演進(jìn)趨勢和對(duì)NPU大算力存算的混合需求，需要算法-NPU聯(lián)合設(shè)計(jì)來實(shí)現(xiàn)模型整體效率。

　　常用的量化與模型裁剪能夠解決一部分問題，模型-硬件聯(lián)合搜索，可以認(rèn)為NPU預(yù)定義的硬件架構(gòu)是模板，網(wǎng)絡(luò)模型ASIC-NAS是一個(gè)典型的案例，即在有限硬件計(jì)算空間內(nèi)進(jìn)行DNN的模型搜索和模型小型化，尋求計(jì)算單元的最佳組合模型來提升相同計(jì)算復(fù)雜度下的等效算力效率。

　　NPU添加了硬件的可配置和細(xì)顆?？烧{(diào)度，但依舊存在很大的性能約束性。如圖14 和圖15所示，SkyNet算法與硬件共同設(shè)計(jì)的案例，是將NPU細(xì)顆粒度的PE單元進(jìn)行Bundle優(yōu)化封裝，其價(jià)值在于可以降低NAS架構(gòu)搜索的高維空間，從而減低對(duì)硬件底層架構(gòu)的依賴關(guān)系和優(yōu)化算法的復(fù)雜度。

　　圖14. SkyNet算法與硬件共同設(shè)計(jì)案例 （圖表分析來自文獻(xiàn)7）

　　圖15. SkyNet-Bundle-NAS示例 （圖表分析來自文獻(xiàn)7）

　　作者 | Dr. L. Luo

　　參考文獻(xiàn)：

　　【1】J. Kim， and etc.， “Exploration of Systolic-Vector Architecture with Resource Scheduling for Dynamic ML Workloads”，

　　https://arxiv.org/pdf/2206.03060.pdf【2】M Davies， and etc.， “Understanding the limits of Conventional Hardware Architectures for Deep-Learning”， https://arxiv.org/pdf/2112.02204.pdf

　　【3】C. Wu， and etc.， “Reconfigurable DL accelerator Hardware Architecture Design for Sparse CNN”，

　　https://ieeexplore.ieee.org/document/9602959

　　【4】D. Im， and etc.， “Energy-efficient Dense DNN Acceleration with Signed Bit-slice Architecture”，

　　https://arxiv.org/pdf/2203.07679.pdf

　　【5】V Parmar， and etc.， “Memory-Oriented Design-Space Exploration of Edge-AI Hardware for XR Applications”，

　　https://arxiv.org/pdf/2206.06780.pdf

　　【6】Z Xuan，and etc.， “High-Efficiency Data Conversion Interface for Reconfigurable Function-in-MemoryComputing”，

　　https://ieeexplore.ieee.org/document/9795103

　　【7】X Zhang， and etc.， “Algorithm/Accelerator Co-Design and Co-Search for Edge AI”，

　　https://ieeexplore.ieee.org/document/9785599