采用硬件加速實(shí)現(xiàn)的基本思維有哪些

很多圖像算法不涉及對(duì)顏色的識(shí)別，僅需要識(shí)別灰度目標(biāo)的變化即可，因此很多時(shí)候需要將彩色圖像轉(zhuǎn)換為灰度圖像，在進(jìn)行進(jìn)一步的處理。彩色轉(zhuǎn)灰度計(jì)算公式如下：Y=0.299*R + 0.587*G + 0.144*B，作者以05年的嵌入式系統(tǒng)計(jì)算，采用640*480的圖像進(jìn)行試驗(yàn)，一系列的圖像優(yōu)化如下（只是類比，不要太在意數(shù)據(jù)）：

1）一維數(shù)組索引比三維快，因此先將RGB三維數(shù)組轉(zhuǎn)成一維數(shù)組，再直接用上述公式進(jìn)行計(jì)算，嵌入式系統(tǒng)計(jì)算時(shí)間為120秒；

2）由于Windows位圖是ARGB8888的精度，因此計(jì)算結(jié)果僅需要8bit整形，可忽略小數(shù)，假定左右擴(kuò)大1000倍去轉(zhuǎn)定點(diǎn)計(jì)算，則新的公式如下：Y=(299R + 587*G + 144*B)/1000，此時(shí)嵌入式系統(tǒng)計(jì)算時(shí)間加快到45秒；

3）除法計(jì)算太慢，擴(kuò)大2N次方可轉(zhuǎn)移位操作，假定擴(kuò)大4096倍轉(zhuǎn)定點(diǎn)，則新的公式如下：Y=（R*1224+G*2404+B*467）>>12，計(jì)算進(jìn)一步加快到30秒；

4）由于RGB的取值是固定的[0,255]，因此公式中每一步運(yùn)算其實(shí)都可以提前計(jì)算好，然后直接索引——查找表，這樣將執(zhí)行計(jì)算轉(zhuǎn)換成了執(zhí)行索引，此時(shí)再測(cè)試計(jì)算速度驚人的提升到了2秒；

5）接著作者再馬力全開(kāi)，采用2個(gè)ALU并行計(jì)算，并且將查找表從int型改成unsigned short型，以及函數(shù)聲明為inline，減少CPU的調(diào)用開(kāi)銷，最后在嵌入式系統(tǒng)上將計(jì)算速度提升到了0.5秒。

以上為conquer 05年《讓你的軟件飛起來(lái)》中的相關(guān)數(shù)據(jù)，通過(guò)軟件優(yōu)化的提升，從最初的120S提升到了0.5S，將近240倍，足以見(jiàn)得一個(gè)優(yōu)秀的軟件工程師的重要性，也許IOS和Windows的性能差距那么大，也由此方面原因吧。

目前多媒體視頻普遍到了2K/4K的分辨率，以4K視頻為例，其運(yùn)算量是640*480的30.7倍（(4096*2304)/(640*480)≈30.7），那么0.5*30.7=15.35秒怎么做到實(shí)時(shí)視頻處理/顯示呢（60FPS下單幀16.667ms），差92000倍呢。PC采用GPU加速處理完成圖形運(yùn)算，但如果是終端產(chǎn)品，如果沒(méi)有昂貴的CPU，也沒(méi)有其他加速引擎，那簡(jiǎn)直天方夜譚。那么，此時(shí)主角該上場(chǎng)了——硬件加速器，讓我們開(kāi)始他的表演。
以4096*2304的4K60視頻RGB轉(zhuǎn)YUV為例，進(jìn)行硬件思維的加速計(jì)算解說(shuō)。不管是FPGA還是ASIC，以門級(jí)電路并行加速運(yùn)算，時(shí)序邏輯每個(gè)時(shí)鐘翻轉(zhuǎn)完成一次計(jì)算。前面《讓你的軟件飛起來(lái)》中（2）已經(jīng)完成了定點(diǎn)化，然后（3）采用乘法+移位的方式實(shí)現(xiàn)，（4）采用查找表再累加的方式實(shí)現(xiàn)。單從效率上考慮，兩者計(jì)算一個(gè)像素的灰度均耗用3個(gè)CLK（乘法、累加、移位，或給RAM地址、讀RAM數(shù)據(jù)，累加）；但從資源上對(duì)比，前者占用3個(gè)乘法器和2個(gè)加法器，乘法器數(shù)量不多，但是綜合速率受器件的限制，后者則需要3個(gè)19bit*256深度的RAM，占用了更多的面積，綜合速率上也受到RAM的限制。兩者都用了專用單元庫(kù)，但采用硬件乘法器面積更小，且靈活性更強(qiáng)，工作量也更?。ú挥脤ｉT去生成），因此用硬件加速首選采用優(yōu)化方式（3），具體實(shí)現(xiàn)流水線如下：

STEP1：采用三個(gè)乘法器，并行計(jì)算當(dāng)前輸入像素的RGB通道乘法，即R*1224，G*2404， B*467；

STEP2：將上述三個(gè)結(jié)果直接進(jìn)行累加；同時(shí)計(jì)算下一個(gè)像素的STEP1操作；

STEP3：將累加后的結(jié)果向右移動(dòng)12bit，取低8bit得到最后的結(jié)果；同時(shí)計(jì)算下一個(gè)像素的STEP1，STEP2。

以流水線式循環(huán)操作完一副完整的圖像，如果是輸入到下一級(jí)算法處理，則整體的延時(shí)僅為3個(gè)CLK，因?yàn)槿齻€(gè)時(shí)鐘后得到灰度圖像的1個(gè)像素，立馬可以進(jìn)行下一級(jí)運(yùn)算；如果圖像寫回緩存，我們?cè)賮?lái)精算一下：以主頻250MHz為例（事實(shí)上28nm ASIC跑500MHz甚至1GHz都不是問(wèn)題，F(xiàn)PGA 45nm的250MHz也沒(méi)有問(wèn)題），則需要（4096*2304+2）*4ns=37.75ms>16.667ms。

直接流水線實(shí)現(xiàn)，貌似這還不夠滿足我們實(shí)時(shí)的需求，畢竟很多運(yùn)算需要從內(nèi)存中來(lái)，回到內(nèi)存中去，還得給別的算法預(yù)留時(shí)間，彩色轉(zhuǎn)灰度這只是算法的第一步而已，復(fù)雜的還沒(méi)來(lái)呢。那我們繼續(xù)想辦法突變限制，充分利用硬件加速，挑戰(zhàn)不可能。既然采用門級(jí)電路，那不存在線程的約束，然而我們已經(jīng)采用了流水線并行計(jì)算灰度值，那進(jìn)一步想是否可以同時(shí)計(jì)算n個(gè)像素的灰度值呢？答案是肯定的，如下圖所示：

假設(shè)DDR控制器位寬是256bit，則一次性可以讀取32個(gè)pixel的數(shù)據(jù)，32個(gè)像素同時(shí)計(jì)算需要96個(gè)乘法器，64個(gè)加法器，這些資源的需求甚至對(duì)低端的FPGA都不是問(wèn)題，對(duì)于ASIC來(lái)說(shuō)沒(méi)有太大的面積影響。因此還是在主頻250MHz，DDR控制器帶寬256bit條件下，我們處理一副4096*2304彩轉(zhuǎn)灰圖像的時(shí)間為：37.35/32≈1.17ms<16.667ms，采用并行運(yùn)算提升32倍效率后，4K圖像僅需要1.17ms，完全能夠滿足實(shí)時(shí)性，甚至還給后續(xù)算法預(yù)留了90%以上的時(shí)間，可以滿足系統(tǒng)的需求。

綜上，采用硬件加速實(shí)現(xiàn)的幾種基本思維，總結(jié)如下：

1）浮點(diǎn)轉(zhuǎn)定點(diǎn)，硬件乘法+移位實(shí)現(xiàn)加速；

2）資源夠的前提下，充分利用并行計(jì)算，在單位時(shí)間提升計(jì)算量；

3）充分利用流水線特性，算法采用Pipeline的方式進(jìn)行計(jì)算，能不回內(nèi)存就不回內(nèi)存，能用localbuffer就用localbuffer；

4）盡量少用CPU參與計(jì)算，硬件自動(dòng)完成狀態(tài)跳轉(zhuǎn)，除非最終結(jié)果浮點(diǎn)等復(fù)雜的運(yùn)算；

文章出處：【微信公眾號(hào)：FPGA自習(xí)室】

責(zé)任編輯：gt