如何使用 FPGA 實(shí)現(xiàn)深度學(xué)習(xí)

這是新的系列教程，在本教程中，我們將介紹使用 FPGA 實(shí)現(xiàn)深度學(xué)習(xí)的技術(shù)，深度學(xué)習(xí)是近年來(lái)人工智能領(lǐng)域的熱門(mén)話題。

在本教程中，旨在加深對(duì)深度學(xué)習(xí)和 FPGA 的理解。

用 C/C++ 編寫(xiě)深度學(xué)習(xí)推理代碼

高級(jí)綜合 (HLS) 將 C/C++ 代碼轉(zhuǎn)換為硬件描述語(yǔ)言

FPGA 運(yùn)行驗(yàn)證

在之前的文章中，我們已經(jīng)依次抽取了推理核的任務(wù)并行度和循環(huán)并行度和數(shù)據(jù)并行性。在本文中，我們將繼續(xù)優(yōu)化。

最終版本包括全連接層的循環(huán)數(shù)據(jù)并行化

在上篇文章中《從FPGA說(shuō)起的深度學(xué)習(xí)（八）-數(shù)據(jù)并行性》，全連接層是一個(gè)瓶頸，所以我們實(shí)現(xiàn)了一個(gè)優(yōu)化了全連接層的版本。我不會(huì)在此處粘貼代碼，因此請(qǐng)查看代碼存儲(chǔ)庫(kù)中的linear.h （文末）。全連接層是向量和矩陣的乘積，因此與卷積層不同，它不能在兩個(gè)通道上并行化，但基本上可以使用與卷積層相同的過(guò)程進(jìn)行優(yōu)化。

如第 6 篇文章所示，當(dāng)任務(wù)之間的處理時(shí)間一致時(shí)，任務(wù)并行性最有效。下表顯示了最終版本的并行化程度和執(zhí)行周期數(shù)，它是根據(jù)這個(gè)目標(biāo)進(jìn)行參數(shù)調(diào)整的conv1, conv2, fc1, fc2。本來(lái)，處理fc2一直很低，但現(xiàn)在其他內(nèi)核基本平衡了。

?

?

各層的并行度和處理性能

整體加速結(jié)果

從第8篇到第3篇，我們將任務(wù)并行化、循環(huán)并行化、數(shù)據(jù)并行化應(yīng)用于推理內(nèi)核。下表總結(jié)了這些方法的優(yōu)化結(jié)果。

另外，雖然在之前的文章中沒(méi)有涉及到，但每個(gè)優(yōu)化結(jié)果的資源使用情況如下：

首先，看執(zhí)行性能，這些調(diào)優(yōu)最終使其比基線快 417.87 倍。兩個(gè)特別有效的是使用本地緩沖區(qū)減少外部?jī)?nèi)存訪問(wèn)和最終版本（加速完全連接的層+層之間的平衡）。這兩者中，前者需要大量增加RAM資源，后者需要增加運(yùn)算單元資源（DSP、LUT）。

另外，雖然我們已經(jīng)實(shí)現(xiàn)了400多倍的性能提升，但即使是資源增量方面增速最高的DSP，也只是63 / 20 = 3.15翻了一番。特別是任務(wù)并行化和循環(huán)并行化是非常有利的結(jié)果，因?yàn)閹缀醪辉黾淤Y源就可以提高性能。

即使使用當(dāng)前內(nèi)核，F(xiàn)PGA 內(nèi)部仍有大量資源，因此可以應(yīng)用進(jìn)一步的優(yōu)化?？梢韵襁@次一樣進(jìn)一步提取內(nèi)核內(nèi)部的數(shù)據(jù)并行性，也可以復(fù)制內(nèi)核本身，取幀間的并行性。特別是，如果只使用前者，在綜合時(shí)很難滿足時(shí)序限制，所以我認(rèn)為有時(shí)不得不采用后者的方法。

總結(jié)

本次針對(duì)的 MNIST 數(shù)據(jù)集是一個(gè)非常小的數(shù)據(jù)集，圖像大小為 28×28。此外，該模型是一個(gè)非常輕量級(jí)的網(wǎng)絡(luò)模型。如果將這些做成更真實(shí)的數(shù)據(jù)模型，計(jì)算規(guī)模會(huì)發(fā)生如下變化。

分辨率：28×28 -> 幾百到幾千的寬高

網(wǎng)絡(luò)規(guī)模：2層（卷積層轉(zhuǎn)換）->幾十到幾百

粗略計(jì)算一個(gè)真實(shí)模型所需的計(jì)算量，大約是本次創(chuàng)建的網(wǎng)絡(luò)模型量的1000到100萬(wàn)倍。如果這個(gè)是1000倍左右的話，即使以現(xiàn)在配置的運(yùn)算單元數(shù)也能處理幾十毫秒的量級(jí)，但如果再增加的話，60fps這樣的實(shí)時(shí)圖像處理就會(huì)變得困難。為此，實(shí)際上使用量化和修建等技術(shù)來(lái)降低計(jì)算成本。我們將在下一篇也是最后一篇文章中介紹這些內(nèi)容。

編輯：黃飛

?