AI算法在FPGA芯片上的創(chuàng)新應(yīng)用

碾壓與崛起

AI算法的崛起并非一帆風(fēng)順的，現(xiàn)在的主流的NN類的卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)是第二波浪潮了，早在上個世紀(jì)80年代，源于仿生學(xué)，后又發(fā)展于概率學(xué)的早期AI算法已經(jīng)取得了重大的進(jìn)展，到1986年Rumelhart等人提出多層網(wǎng)絡(luò)的反向傳播算法（BP算法，這是AI算法可進(jìn)行數(shù)據(jù)訓(xùn)練并能收斂的基礎(chǔ)）后，第一波AI算法以“連接主義”的旗幟高高舉起。

不幸的是，旗幟沒舉多久就開始偃旗息鼓，讓位于基于統(tǒng)計學(xué)的算法，直到2006年，Hinton提出了“深度信念網(wǎng)絡(luò)”的概念，從此，AI算法從“連接主義”變成“深度神經(jīng)網(wǎng)絡(luò)”再次華麗登場。

第一波AI算法之所以會快速落寞，不在于算法不夠精美，是因為當(dāng)時的cpu不夠強(qiáng)大，算力完全無法適配當(dāng)時的算法需求.第二次AI算法的崛起也并非算法足夠驚艷，恰恰是證明了算力的崛起。

而且這算力的提供者并不是CPU，這種基于調(diào)度和內(nèi)存交換的方式難以支持如此強(qiáng)大的AI算力缺口。

與此同時，基于異構(gòu)計算的ASIC/FPGA/GPU也在快速崛起，其計算性能完全碾壓CPU，有效的補(bǔ)充AI算力的缺口。

其中GPU迅速發(fā)展，成為目前AI崛起之路的最大收益者，然而GPU最初的設(shè)計目的不是針對AI算法而是處理圖形圖像的，因為圖像上每個像素點處理的過程和方式都十分相似，所以GPU的構(gòu)成相對簡單，有數(shù)量眾多的計算單元和用于并行的流水線，正是這種單指令流多數(shù)據(jù)流的設(shè)計模式，特別適合處理大量的類型統(tǒng)一的數(shù)據(jù)。

這也是在用GPU處理AI算法時，batchsize不能太低的原因。而在其他方面，如面積/功耗/能耗比方面，GPU也便成了弱勢，相比較而言，ASIC芯片從一開始便是為AI而生，能效比高，不會有冗余，功耗低，適合算法穩(wěn)定且要求的應(yīng)用。

其缺點也是硬件為算法而定制，導(dǎo)致其只能運行特定的算法，當(dāng)然，能做出通用AI算法的ASIC芯片是業(yè)界的終極目標(biāo)。

而同時，作為ASIC的共軛形式存在的FPGA越來越受重視，F(xiàn)PGA能效比高，可編程邏輯，計算效率高，F(xiàn)PGA 同時擁有控制流并行和數(shù)據(jù)并行，是天生適合異構(gòu)計算的芯片，目前開發(fā)FPGA應(yīng)用方面還有很多潛能可挖。

通用Or靈活

一個基本的認(rèn)知是ASIC雖然高效，但只能走專業(yè)化定制化的部分，ASIC制作成本很高，而算法一直在持續(xù)更新，如何解決這個矛盾呢？

是否可以做一個通用的ASIC來解決算力提升和靈活性的問題？寒武紀(jì)的NPU和google的TPU給出了答案，兩者的實現(xiàn)雖然不同，但思路是一致的。

即：既然NN算法可以拆分成不同的算子，設(shè)計的硬件建模應(yīng)該全部支持這些算子從而解決通用性問題，并建立相應(yīng)的指令集來解決不同算子的組合，來解決靈活性的問題。當(dāng)然，核心模塊還是圍繞計算量最大的模塊卷積進(jìn)行的。那么,在實現(xiàn)方式上它們又有哪些共同點和不足呢?

寒武紀(jì)dadiannao：

圖1 （dadiannao）

上圖的硬件建模就是在模仿神經(jīng)網(wǎng)絡(luò)部分的數(shù)據(jù)流向，NFU（Neural Functional Units）分三部分順序展開，NFU-1是乘法單元，NFU-2是加法數(shù)樹，處理filter內(nèi)部或通道累加的問題，NFU-3是激活單元。

從模型上不難看出，這里的核心處理卷積的單元是在數(shù)據(jù)流方向上的一維展開進(jìn)行計算的。

一維度展開會帶來兩個問題，一個是多扇出（fan-out）的問題，如果想更大限度的利用內(nèi)部數(shù)據(jù)帶寬優(yōu)勢以及多用乘法器模塊，一個data需要同時廣播給多個計算單元，這會導(dǎo)致多扇出的問題，要保證多個模塊同時到達(dá)，則頻率就不能提的太高。

另外一個問題就是為了保證乘法器都能充分工作，需對filter的相關(guān)參數(shù)進(jìn)行限制.以DianNao為例，一個PE中的16個mul是同時計算的，那么卷積層中的kernel、channel、windows的長和寬都會對計算的效率造成影響，如channel最好是16或16的倍數(shù)，否則就會造成計算資源的浪費.

相比較而言，Google的TPU采用脈動矩陣的方式，巧妙的避開了對filter敏感的問題，TPU的脈動矩陣是面向數(shù)據(jù)流方向的二維結(jié)構(gòu)，在處理卷積乘加這塊有很強(qiáng)的優(yōu)勢。

理論上可以支持任何形式的windows、kernel和channel這種設(shè)計使得TPU有更強(qiáng)的靈活性和高效性。

TPU：

圖2 （TPU）

然而，有得必有失。脈動矩陣中處理卷積時優(yōu)勢明顯，但在處理非卷積類算子方面則未必高效。

比如在fastRcnn中的要用到排序算法proposal層，又如在多網(wǎng)融合的過程中會經(jīng)常被使用 interp層（雙線性插值）。

其中，排序算法在基因里是反asic的(區(qū)塊鏈中的零幣就是以排序為主的算法，主要用于反asic的功能)。類似這種非卷積算法因子則會導(dǎo)致脈動矩陣的功能大大降低，正是因為硬件的固定設(shè)置所限制。

ASIC 在走一個統(tǒng)一的路子，DADIANNAO和TPU都在用統(tǒng)一的模式來解決一切問題，然而現(xiàn)實是很骨感的，有兩個基本點是ASIC中無法完美解決的，一個就是AI算法在不同的探索和更改期。

目前尚未突破其中的黑盒特性，而支持AI算法優(yōu)化的強(qiáng)有力的基礎(chǔ)理論遲遲沒有發(fā)現(xiàn)，這個時期就好比科學(xué)歷史上人們只知道電的存在而沒有電磁原理支撐是一個道理，說明AI算法的研究應(yīng)處于發(fā)展初期。

另外一點就是針對各個垂直領(lǐng)域，如無人機(jī)/自動駕駛/智能安防/無人零售的各種特殊的情況，每一個領(lǐng)域都對功耗/能耗比/性能/系統(tǒng)等等方面有不同的訴求，這些需求都有極強(qiáng)的定制性。如此，想要一顆ASIC芯片通吃天下的事情似乎是個無法求出的解。

找規(guī)律，找突破

如果ASIC無法解決算法通用性問題，那么更具有靈活配置性的芯片F(xiàn)PGA便越來越受到重視，F(xiàn)PGA的低延時，高可配置性的特點使其天然的在靈活性方面比ASIC略勝一籌。

那么FPGA能否滿足統(tǒng)一性呢？其實，在業(yè)界對FPGA的探索一直沒有停止，

圖3（三級壓縮流水線）

國內(nèi)FPGA的頭部公司深鑒科技一直研究深度壓縮技術(shù)，并在FPGA上實現(xiàn)了基于深度壓縮技術(shù)的方案：深度壓縮技術(shù)，其采用剪枝+量化+霍夫曼編碼，形成三級大流水，如圖3所示，實現(xiàn)高度壓縮權(quán)重占用的存儲空間。

其基本的思路就是，先對網(wǎng)絡(luò)本身做pruning來減少權(quán)重的個數(shù)，同時通過訓(xùn)練來彌補(bǔ)由于減少權(quán)重而帶來的精度損失，然后經(jīng)過量化部分來減少權(quán)重的位寬，最后用霍夫曼編碼來壓縮權(quán)重。

總之目的只有一個，制作稀疏矩陣，然后利用稀疏矩陣的特性生成weight查找表，從而達(dá)到數(shù)據(jù)壓縮的目的。數(shù)據(jù)壓縮后再用FPGA實現(xiàn)會大大的降低開發(fā)難度和門檻。

而國內(nèi)另外一個頭部公司商湯科技的設(shè)計思想就是：通過大量減少卷積計算的乘法操作，降低運算復(fù)雜度，來提高運算速度，并在FPGA中順利實現(xiàn)。

不管是降低乘法操作，還是做網(wǎng)絡(luò)裁剪，其思路都是在修改算法的方式來適配FPGA的實現(xiàn)。

即先將FPGA的設(shè)計以固定的方式配置好，然后去修改算法來適配這種固定好的硬件設(shè)計。

這種方式的缺點也是顯而易見的，且不說固定的設(shè)計方式會遇到ASIC同樣的問題，單就修改網(wǎng)絡(luò)的部分可能會導(dǎo)致原有網(wǎng)絡(luò)的精度丟失的問題。

更為嚴(yán)重的是，這種設(shè)計方式會導(dǎo)致無法挖掘FPGA的全部潛力。

FPGA本身就是一個可編程系統(tǒng)，能夠適配各種算法，為什么大家都在想辦法修改算法問題，而沒有想辦法去修改FPGA的內(nèi)部實現(xiàn)優(yōu)化，從而完美的使其適配不同神經(jīng)網(wǎng)絡(luò)算法呢？答案很簡單，用FPGA開發(fā)高難度的算法是一件很困難的事。

換一個語言，換一個世界

工欲善其事，必先利其器，現(xiàn)在主流的開發(fā)語言verilog HDL 是上個世紀(jì)80年代研究出來的，這在計算機(jī)界就好比是原始社會階段，而且這么多年來一直沒有更新過，對比高級語言的B->C->C++->java->python的不斷升級，它就好比一個古老的青銅寶劍，雖價值連城，但并不適用，而讓這個古老的語言來開發(fā)現(xiàn)在最先進(jìn)的AI算法，這便是一個現(xiàn)代版的愚翁移山的故事。

接著探尋問題的本質(zhì)，verilog的缺陷：

A)無規(guī)則化，或規(guī)范化，或許這是一個社會工程的問題，因為用的人少，所以沒有形成統(tǒng)一的規(guī)范，編程方式過分自由，基本上是一千個人里有一千個哈姆雷特。

B)遇到復(fù)雜的邏輯，只能用狀態(tài)機(jī)。

C)同步信號建模時，對控制信號的掌控偏弱。

D)沒有圖形化界面，仿真工具都是看波形。

而改進(jìn)的方案正是解決這些問題，F(xiàn)PGA的開發(fā)就像是在玩樂高游戲，其實現(xiàn)過程就是在搭積木，其中的原語部分就是積木的原始器件，只是顆粒度有點小而已。

有沒有一種方式將原始器件進(jìn)行封裝，加強(qiáng)控制邏輯，同時將控制邏輯和數(shù)據(jù)流邏輯分開，用軟件的思想來封裝硬件，包含繼承，多態(tài)，遞歸，然后以圖形化的形式展現(xiàn)出來，自帶仿真系統(tǒng)，所見即所得，利用核心庫器件，真正做到用搭積木的方式來開發(fā)FPGA，這樣便能大大降低其開發(fā)門檻。

有一種很好用的開發(fā)工具ptero，是雪湖信息科技公司自主研發(fā)的開發(fā)FPGA的工具鏈，可以顛覆對FPGA開發(fā)的認(rèn)知，上文的種種特性都已經(jīng)在該工具中實現(xiàn)，相當(dāng)于用全新的語言來開發(fā)FPGA，且完全是界面化的形式進(jìn)行開發(fā),所見即所得,極大的降低了開發(fā)門檻并提高了開發(fā)效率。

舉個例子，在實現(xiàn)AI算法的過程中，對數(shù)據(jù)流的嚴(yán)格控制是關(guān)鍵，如下圖所示，圖中的例子是一個卷積核是3×3的數(shù)據(jù)組裝功能實現(xiàn)，一個數(shù)據(jù)產(chǎn)生器來模擬數(shù)據(jù)來源，補(bǔ)零模塊來進(jìn)行padding補(bǔ)零操作，地址譯碼器來處理數(shù)據(jù)組裝需要的不斷變化的bram地址，三行緩存模塊完成數(shù)據(jù)的組裝。

圖4 卷積里面的數(shù)據(jù)組裝模塊

圖4便是對上述流程的一個展示，從圖形化里面我們很容易理解設(shè)計思路，由于里面的用到的模塊都是在核心模塊封裝好。

所以，對開發(fā)人員來說，只需要將所有的精力都來放到邏輯這塊即可。

同時，可以隨時驗證邏輯的正確性，所有的輸出結(jié)果都可以打印輸出。這種所見即所得的開發(fā)模式極大的提高了硬件邏輯的開發(fā)效率。

那么，在FPGA實現(xiàn)的過程中，是否可以做出通用化的過程呢？答案是肯定的，如圖4中的紅色字體所示，控制參數(shù)部分就是自動更新的參數(shù)，通過自動化工具生成的控制參數(shù)能有效的控制不同算子模塊的實現(xiàn)，而無需改動硬件電路。

有了這樣方便又強(qiáng)大的工具，又有了底層封裝的模塊，才能在上層建筑有更大的發(fā)揮空間，就能更好的發(fā)揮FPGA的潛能，使其適配更多的算法結(jié)構(gòu)，而不是只關(guān)注于修改算法來削足適履。

換一種維度思考

解決了開發(fā)FPGA效率的問題，我們可以把主要精力在提升FPGA的性能上下功夫，利用FPGA的分布式的存儲的思路來設(shè)計模型，將FPGA的性能提升到最高。

假設(shè)網(wǎng)絡(luò)結(jié)構(gòu)中有三層卷積依次執(zhí)行，如下圖所示：

圖5（卷積合并示例）

在這樣的網(wǎng)絡(luò)結(jié)構(gòu)下，第一層是1×1的卷積核，第二層是3×3的depwise卷積運算，第三層又是一個1×1的卷積核，每層的conv模塊的kernel和channel都不是很大，類似這樣的網(wǎng)絡(luò)不同的算子組合在AI算法中很常見，若按傳統(tǒng)的思路,只能每層conv都單獨計算。

但每一層的計算都不能將FPGA的資源用滿（dsp&bram），這會導(dǎo)致資源的浪費，最重要的是沒有發(fā)揮FPGA的最大的性能，從而導(dǎo)致處理的幀率降低。

為了更好的利用FPGA 資源，挖掘FPGA的潛能，我們可以根據(jù)每層的資源分布做個統(tǒng)計，發(fā)現(xiàn)將上述三層的資源合并成一個全流水的方式（即一次IO讀寫，三層連續(xù)計算）才能將FPGA的潛能發(fā)揮到最大。

這種設(shè)計方案是根據(jù)算法的規(guī)律進(jìn)行調(diào)整FPGA的組裝結(jié)構(gòu)，從而發(fā)揮出并行計算的最大性能。

如此定制化的方式是發(fā)揮了FPGA的最大性能，那么又會產(chǎn)生一個問題：AI算法那么多，有沒有那種即能發(fā)揮FPGA的最大性能,又能有通用性的方法？

要回答這個問題，我們得先探究FPGA的本質(zhì)，F(xiàn)PGA本質(zhì)上是個分布式的資源分布系統(tǒng)，那么對核心資源（主要是dsp和bram）是否可以進(jìn)行動態(tài)分配？

如果解決了這個問題，那么就能完美解決上述問題。

我們可以通過給相應(yīng)模塊不同的參數(shù)來適配不同的算法因子以及不同的算法組合，而修改這些參數(shù)并不需要修改FPGA程序。

而對這種方式的探索，雪湖信息科技已經(jīng)做了很多工作，并有相當(dāng)多的積累，并有可以商用的成熟案例，如下圖，是我們生成參數(shù)的一角。

圖6（控制參數(shù)列表）

這樣的設(shè)計思路是根據(jù)不同的參數(shù)控制，針對不同的filter大小、不同的算子、不同的算子組合、不同的conv層的組合，來進(jìn)行不同的控制。

這種設(shè)計兼顧了FPGA的靈活性和通用性，可以說著兼顧通用性的情況下最大限度的提高了FPGA資源的使用率，也不會出現(xiàn)設(shè)計硬傷，可以適配任何新的算子，對interp等非卷積類支持很充分。

而針對proposal層的處理，可以在采用將網(wǎng)絡(luò)一分為二，預(yù)留比較小的資源進(jìn)行排序處理，而其他資源可以處理新的數(shù)據(jù)，兩者并行處理，只有控制邏輯和周期計算處理好，兩者不會產(chǎn)生阻塞和延時。

另一種維度的統(tǒng)一

反過來想，能否在保持FPGA靈活性的情況下，做成統(tǒng)一平臺，這種探索是可行的，這種探索雪湖信息科技一直在堅持。

圖7（各個網(wǎng)絡(luò)/芯片平臺的評估數(shù)據(jù)表）

控制參數(shù)在處理平臺的靈活性，而模塊化的開發(fā)則是開發(fā)平臺的基石ptero在開發(fā)卷積過程中不斷的積累現(xiàn)有的卷積模塊/非卷積模塊，在不斷的打磨過程中將平臺的核心庫不斷的更新/優(yōu)化，這些高效的模塊才是能兼顧通用和靈活的關(guān)鍵所在。

當(dāng)這種模塊經(jīng)過實踐證明可行之后，雪湖開發(fā)出了自動化工具平臺，該工具平臺包括自動解析網(wǎng)絡(luò)結(jié)構(gòu)、生成控制參數(shù)、生成計算參數(shù)、推薦相應(yīng)的模塊、分配合理的FPGA資源等等內(nèi)容。

同時會包含自動測試部分，有了自動化工具的支持，對平臺的通用性和便捷性提到了一個新的高度。

如下圖，便是自動化測試工具測試示例：

已經(jīng)實現(xiàn)的卷積算法計算量在5.3 Gflops左右（算法的細(xì)節(jié)涉及機(jī)密不便展開），用znq7020里進(jìn)行實現(xiàn)，dsp利用率在88.88%左右，下圖為自動測試工具生成結(jié)果圖：

圖8（自動測試工具生成結(jié)果圖）

自動化工具是自適應(yīng)FPGA開發(fā)平臺的濃縮表現(xiàn)，可以根據(jù)不同的算法推薦不同的方案，通過生成的不同的控制參數(shù)來合理的分配FPGA資源使用。隨著該平臺的不斷更新和升級，最終完成一鍵式端到端的FPGA實現(xiàn)方案。

通過這種方式，最終解決FPGA開發(fā)中通用性和靈活性的問題，這是雪湖不遺余力去追求的目標(biāo)。

通過這種方式，不同的用戶可以根據(jù)自己的需求進(jìn)行不同的配置，得到高性價比的FPGA開發(fā)方案。

同時，更重要的是該方案不需要修改網(wǎng)絡(luò)結(jié)構(gòu)，不需要對用戶的數(shù)據(jù)進(jìn)行重新訓(xùn)練，從而保護(hù)用戶的核心資產(chǎn)。

而同時，由于FPGA的高度可配置性，當(dāng)用戶的算法進(jìn)行更新時，可以快速的修改和部署，這也是保護(hù)用戶投資的有效手段。

總之，從復(fù)雜到簡單，由繁瑣到簡潔，是事物發(fā)展的普遍規(guī)律。

而將FPGA開發(fā)的由難到易，以工具建平臺，以平臺來培養(yǎng)人才，在靈活易用的FPGA芯片上，解決應(yīng)用開發(fā)難題，能夠加快AI算法的快速落地。