基于FPGA而實(shí)現(xiàn)的視頻圖像處理算法

（文章來源：EEPW）
? ? ? ?為有效提高視頻監(jiān)控應(yīng)用領(lǐng)域中多屏幕畫面顯示的清晰度、分辨度等問題，提出了一種基于FPGA的實(shí)時(shí)視頻圖像處理算法。文中介紹了系統(tǒng)的整體結(jié)構(gòu)，然后針對(duì)FPGA模塊介紹了視頻圖像的緩存及圖像分割，并針對(duì)視頻的輸出顯示要求，重點(diǎn)介紹了基于雙線性插值算法的實(shí)現(xiàn)。ModelSim的仿真結(jié)果表明，該算法符合多屏幕顯示系統(tǒng)的要求。

隨著網(wǎng)絡(luò)信息化的發(fā)展，顯示設(shè)備作為獲取信息的直接手段，有著不可或缺的作用。為滿足用戶對(duì)更大屏幕的觀看需要以及使信息顯示更優(yōu)化，大屏幕拼接技術(shù)應(yīng)運(yùn)而生。大屏幕圖像尺寸的增大使在普通顯示器上不易察覺的細(xì)節(jié)暴露無遺，提高了可視化的準(zhǔn)確性。高分辨率圖形圖像數(shù)據(jù)處理和可視化，用于解決基于單一硬件顯示設(shè)備無法可視化的高分辨率圖形圖像。

而拼接控制器是大屏幕系統(tǒng)中的核心顯示控制設(shè)備。拼接控制器的核心是其處理能力和穩(wěn)定性，基于計(jì)算機(jī)體系構(gòu)架的傳統(tǒng)控制器，其性能和穩(wěn)定性完全取決于它所依賴的計(jì)算機(jī)，無論傳統(tǒng)控制器如何改進(jìn)，最多只能算量的積累，難以獲得質(zhì)的提升。采用大規(guī)模FPGA陣列式組合處理構(gòu)架，全嵌入式硬件設(shè)計(jì)的拼接控制器集視頻信號(hào)采集、實(shí)時(shí)高分辨率數(shù)字圖像處理、二維高階數(shù)字濾波等高端圖像處理技術(shù)于一身，具有強(qiáng)大的處理能力。

本文正是在這種背景下，設(shè)計(jì)了一種基于FPGA的視頻圖像處理算法，實(shí)現(xiàn)實(shí)時(shí)數(shù)字視頻的分割、插值放大，通過并行處理機(jī)制，保證了視頻的實(shí)時(shí)處理和畫面流暢。文中將完成一路監(jiān)控?cái)z像頭采集的畫面在2×2的液晶拼接屏上顯示一幅完整大圖的效果。

由網(wǎng)絡(luò)攝像頭采集到的視頻信號(hào)，經(jīng)過DVI接收器后，發(fā)出數(shù)據(jù)及控制信號(hào)供給FPGA。通過FPGA主控芯片對(duì)輸入的視頻信號(hào)進(jìn)行分割、插值放大等處理;視頻輸出模塊將FPGA處理后的數(shù)據(jù)再通過DVI接口輸出到屏幕上。只要數(shù)據(jù)讀出速度高于寫入速度，就不會(huì)使圖像產(chǎn)生突變現(xiàn)象，從而達(dá)到實(shí)時(shí)處理的目的。

DVI接口是將顯卡中經(jīng)過處理的待顯示R、G、B數(shù)字信號(hào)與水平同步信號(hào)(Hsync，行同步信號(hào))、垂直同步信號(hào)(Vsync，場(chǎng)同步信號(hào))進(jìn)行組合，按最小非歸零編碼，將每個(gè)像素點(diǎn)按10 bit(8 bit像素?cái)?shù)據(jù)和2 bit控制信號(hào))的數(shù)字信號(hào)進(jìn)行并串轉(zhuǎn)換，把編碼后的R、G、B數(shù)字流與像素時(shí)鐘4組信號(hào)按照最小化傳輸差分信號(hào)(Transition Minimized Differential Signal，TMDS)方式進(jìn)行傳輸。

當(dāng)FPGA內(nèi)部的信號(hào)控制采集信號(hào)為0時(shí)，采集系統(tǒng)停止工作，地址發(fā)生器不計(jì)數(shù)。當(dāng)其為1時(shí)，系統(tǒng)處于采集狀態(tài)。首先只有Vsync上升沿到來后，才允許Hsync通過，從而保證采集的圖像為完整的一幀圖像。當(dāng)Vsync上升沿到來后，對(duì)所有計(jì)數(shù)器及觸發(fā)器清零。Vsync上升沿后，場(chǎng)消隱延時(shí)用來對(duì)Hsync計(jì)數(shù)，場(chǎng)消隱期后，可以采集圖像。行同步計(jì)數(shù)器對(duì)Hsync進(jìn)行計(jì)數(shù)。在計(jì)數(shù)的每一行中，當(dāng)Hsync上升沿到來時(shí)，行消隱延時(shí)對(duì)其計(jì)數(shù)。行消隱過后，點(diǎn)同步計(jì)數(shù)器開始對(duì)其計(jì)數(shù)。當(dāng)行同步計(jì)數(shù)停止計(jì)數(shù)時(shí)，一幀圖像采集完畢，等待下一個(gè)Vsync到來。

數(shù)據(jù)緩沖區(qū)為兩片SDRAM，以一幀圖像為單位進(jìn)行切換控制。采用乒乓存儲(chǔ)機(jī)制完成數(shù)據(jù)的無縫緩沖與處理。乒乓操作可以通過“輸入數(shù)據(jù)選擇控制”和“輸出數(shù)據(jù)選擇控制”按節(jié)拍、相互配合地進(jìn)行來回切換，將經(jīng)過緩沖的數(shù)據(jù)流沒有停頓地送到“后續(xù)處理”模塊。

由于一個(gè)像素的輸出值只取決于輸入圖像的相應(yīng)像素值，因此，可通過對(duì)每個(gè)輸入像素依次進(jìn)行處理這種流水化的處理模式，來實(shí)現(xiàn)對(duì)圖像的點(diǎn)操作。由于每個(gè)像素是單獨(dú)處理的，所以點(diǎn)操作很容易并行實(shí)現(xiàn)。因此，可以把圖像分割成若干部分，然后再對(duì)每個(gè)部分單獨(dú)進(jìn)行處理。

視頻分割模塊實(shí)現(xiàn)單幀視頻圖像的分割剪裁，得到4路完整格式的子視頻像素流，并控制4個(gè)子視頻的相互時(shí)序關(guān)系，各個(gè)拼接屏幕的像素點(diǎn)的掃描規(guī)律相同，均為逐行掃描形式，并且子視頻像素點(diǎn)顯示同步，即行同步和場(chǎng)同步。