FPGA之視頻圖像抓取案例分析

隨著現(xiàn)代圖像及視頻處理技術(shù)的不斷發(fā)展，人們對(duì)圖像處理提出了新的要求，最近幾年，圖像的分辨率和掃描頻率都有了較大范圍的提升，1080P分辨率的視頻已經(jīng)非常流行，2K甚至4K分辨率的圖像也在火熱發(fā)展中。

基于軟件的圖像處理方法存在著一些局限性，尤其是計(jì)算速度和算法效率方面。所以大家很自然的就想到了FPGA作為嵌入式圖像應(yīng)用的平臺(tái)。許多圖像處理本身就是并行計(jì)算的，并且FPGA的編程硬件，本質(zhì)上也是并行的。

FPGA（Field-Program mable Gate Array），即現(xiàn)場(chǎng)可編程門(mén)陣列，它是在PAL、GAL、CPLD等可編程器件的基礎(chǔ)上進(jìn)一步發(fā)展的產(chǎn)物。它是作為專用集成電路（ASIC）領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門(mén)電路數(shù)有限的缺點(diǎn)。

下面以米爾VECP邊緣視覺(jué)套件作為圖像處理的硬件平臺(tái)，帶你玩轉(zhuǎn)FPGA之視頻圖像抓取。

FPGA功能描述圖示：

MYD-CZU3EG-ISP 提供4K分辨率的攝像頭功能，同時(shí)輸出4K分辨率的圖像顯示到圖像輸出接口，下面帶一起來(lái)體驗(yàn)FPGA的圖像抓取和圖像顯示的操作和應(yīng)用。

一、前期準(zhǔn)備工作

將產(chǎn)品資料光盤(pán)中的鏡像文件和攝像頭測(cè)試文件復(fù)制到TF卡中，并安裝光盤(pán)中的工業(yè)相機(jī)采集軟件OCT SDK工具，同時(shí)去cypress官網(wǎng)下載FX3 SDK工具進(jìn)行固件燒錄。（具體文件路徑請(qǐng)看板卡配套資料）

二、操作過(guò)程

（1）將開(kāi)發(fā)板的啟動(dòng)模式switch 開(kāi)關(guān)SW1 的1 撥到OFF，2 撥到ON，3撥到OFF，4 撥到ON，設(shè)置成TF 卡啟動(dòng)模式；

（2）插入已存入文件的TF 卡，連接串口，波特率設(shè)置為115200，開(kāi)發(fā)板上電；
（3）開(kāi)發(fā)板將引導(dǎo)進(jìn)入Ramdisk 文件系統(tǒng)，進(jìn)入Linux 命令行:

Welcome to myir board
myir login: root
[root@myir?~]#

（4）打開(kāi)OCT SDK 工具，如下圖，選擇“OCAM Technology”，點(diǎn)擊右鍵選擇Connect>Window:1:

光標(biāo)移到右側(cè)視屏區(qū)，點(diǎn)擊右鍵，選擇Start
（5）發(fā)送控制指令，設(shè)置Gige（網(wǎng)絡(luò)接口）為輸出接口的視頻源為1，選擇PS VDMA為輸出的視頻源；
[root@myir?~]# cd /mnt/mmcblk1p1/
[root@myir?mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 02 ff
（6）抓取攝像頭圖像，輸入如下命令，將會(huì)生成圖像文件rgb888；
[root@myir?mmcblk1p1]# ./ispcaptest
（7）顯示抓取攝像頭圖像；
[root@myir?mmcblk1p1]# cat rgb888 >/dev/fb0
（8）OCT 工具將會(huì)顯示抓取的攝像頭圖像；

三、HDMI接口顯示

如果要用hdmi 接口的4k 顯示器顯示攝像頭圖像，輸入如下命令，將會(huì)顯示如下圖的攝像頭圖像。
[root@myir?~]# cd /mnt/mmcblk1p1/
[root@myir?mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 01 ff
[root@myir?mmcblk1p1]# ./ispcaptest
[root@myir?mmcblk1p1]# cat rgb888 >/dev/fb0

四、USB顯示輸出

如果要用usb 顯示攝像頭圖像，按照“MYD-CZU3EG-ISP 功能描述和編譯”的文檔生成包含usb 顯示圖像的功能的BOOT.bin，替換TF 卡中的BOOT.bin文件，將會(huì)顯示如下圖的攝像頭圖像。
[root@myir?~]# cd /mnt/mmcblk1p1/
[root@myir?mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 04 ff
[root@myir?mmcblk1p1]# ./ispcaptest
[root@myir?mmcblk1p1]# cat rgb888 >/dev/fb0

五、HDMI 顯示QT 界面

將開(kāi)發(fā)板的啟動(dòng)模式switch開(kāi)關(guān)SW1 的1 撥到OFF，2 撥到ON，3撥到OFF，4 撥到ON，設(shè)置成TF 卡啟動(dòng)模式；
插入已存入燒寫(xiě)文件的TF 卡，連接串口波特率為115200，開(kāi)發(fā)板上電；
開(kāi)發(fā)板將引導(dǎo)進(jìn)入Ramdisk文件系統(tǒng)，進(jìn)入Linux 命令行，輸入命令開(kāi)始更新：
Welcome to myir board
myir login: root
[root@myir?~]#/updatesys.sh /mnt/mmcblk1p1

腳本將把BOOT.bin，devicetree.dtb，Image 燒寫(xiě)到QSPI-Flash，把rootfs.tar燒寫(xiě)到eMMC。
燒寫(xiě)完成之后，將開(kāi)發(fā)板的啟動(dòng)模式switch 開(kāi)關(guān)SW1的1撥到ON，2撥到OFF，3撥到ON，4撥到ON，
設(shè)置成Qspi flash 啟動(dòng)模式，重新上電，進(jìn)入燒寫(xiě)的rootfs文件系統(tǒng)，輸入如下命令。
Welcome to myir board
myir login: root
[root@myir?~]# /mnt/mmcblk1p1/setispcmd 81 01 12 00 01 00 01 ff
[root@myir?~]# /usr/lib/qt/examples/widgets/painting/deform/deform

六、選擇視頻源的指令說(shuō)明

選擇視頻源的指令說(shuō)明見(jiàn)下表，查看ISP 控制指令集，請(qǐng)參考《MYD-CZU3EG -ISP圖像控制指令手冊(cè)》文檔

VECP邊緣視覺(jué)套件簡(jiǎn)介

MYD-CZU3EG開(kāi)發(fā)板由MYC-CZU3EG核心板加MYB-CZU3EG-C-ISP底板組成。核心板采用了Xilinx最新的基于16nm工藝的Zynq UltraScale+ All Programmable SoC平臺(tái)，集成了四核Cortex?-A53 處理器，雙核Cortex?-R5 實(shí)時(shí)處理單元以及Mali-400 MP2圖形處理單元及16nm FinFET+可編程邏輯相結(jié)合的異構(gòu)處理系統(tǒng)。

底板搭載的接口包括PL端的HDMI輸出，千兆網(wǎng)口，USB3.0 device接口，MIPI接口，高速擴(kuò)展IO，以及PS端的USB3.0 HOST接口，千兆網(wǎng)口，TF卡接口，USB 轉(zhuǎn)調(diào)試串口等，擁有超低延時(shí)4k圖像處理技術(shù)，并且圖像處理IP支持定制。
編輯：hfy