在數(shù)學(xué)形態(tài)學(xué)基礎(chǔ)上實(shí)現(xiàn)DSP和FPGA的紅外圖像檢測(cè)系統(tǒng)

近年來(lái)，紅外探測(cè)系統(tǒng)因其具有隱蔽性，抗干擾性，全天候工作等特點(diǎn)，在現(xiàn)代戰(zhàn)爭(zhēng)中具有重要的作用，而紅外圖像中小目標(biāo)的檢測(cè)將直接影響制導(dǎo)系統(tǒng)的有效作用距離及設(shè)備的復(fù)雜程度，在紅外成像制導(dǎo)和預(yù)警系統(tǒng)中發(fā)揮著舉足輕重的作用。研究紅外輻射的產(chǎn)生、傳播、轉(zhuǎn)化、測(cè)量及其應(yīng)用的技術(shù)科學(xué)。通常人們將其劃分為近、點(diǎn)擊此處添加圖片說(shuō)明中、遠(yuǎn)紅外三部分。近紅外指波長(zhǎng)為0.75~3.0微米；中紅外指波長(zhǎng)為3.0~20微米；遠(yuǎn)紅外則指波長(zhǎng)為20~1000微米。在光譜學(xué)中，波段的劃分方法尚不統(tǒng)一，也有人將0.75~3.0微米、3.0~40微米和40~1000微米作為近紅外、中紅外和遠(yuǎn)紅外波段。另外，由于大氣對(duì)紅外輻射的吸收，只留下三個(gè)重要的"窗口"區(qū)，即1~3微米、3~5微米和8~13微米可讓紅外輻射通過(guò)，因而在軍事應(yīng)用上，又分別將這三個(gè)波段稱為近紅外、中紅外和遠(yuǎn)紅外。

一般說(shuō)來(lái)，由于小目標(biāo)距離較遠(yuǎn)，因而在成像系統(tǒng)中表現(xiàn)為微弱特性，并且沒(méi)有形狀和結(jié)構(gòu)特征或特征不明顯。同時(shí)，由于高于絕對(duì)零度的物體均有紅外輻射能力，所以自然界中的干擾源很多，很難準(zhǔn)確地檢測(cè)出真正的目標(biāo)。

本文在數(shù)學(xué)形態(tài)學(xué)Top-hat算子對(duì)于目標(biāo)檢測(cè)的基礎(chǔ)上，設(shè)計(jì)了一種基于DSP+FPGA的圖像實(shí)時(shí)處理系統(tǒng)，使其能夠滿足高速采樣數(shù)據(jù)流快速存取，快速運(yùn)算的要求。

1 算法基礎(chǔ)

1.1 形態(tài)學(xué)算法

數(shù)學(xué)形態(tài)學(xué)（Mathematical Morphology）誕生于1964年，是由法國(guó)巴黎礦業(yè)學(xué)院博士生賽拉（J. Serra）和導(dǎo)師馬瑟榮，在從事鐵礦核的定量巖石學(xué)分析及預(yù)測(cè)其開(kāi)采價(jià)值的研究中提出"擊中/擊不中變換", 并在理論層面上第一次引入了形態(tài)學(xué)的表達(dá)式，建立了顆粒分析方法。他們的工作奠定了這門(mén)學(xué)科的理論基礎(chǔ)， 如擊中/擊不中變換、開(kāi)閉運(yùn)算、布爾模型及紋理分析器的原型等。數(shù)學(xué)形態(tài)學(xué)的基本思想是用具有一定形態(tài)的結(jié)構(gòu)元素去量度和提取圖像中的對(duì)應(yīng)形狀以達(dá)到對(duì)圖像分析和識(shí)別的目的。數(shù)學(xué)形態(tài)學(xué)方法是一種非線性濾波方法，它最先被用來(lái)處理二值圖像，后來(lái)被引用到灰度圖像處理。基本思想是：用一定的結(jié)構(gòu)元素去度量和提取圖像中的對(duì)應(yīng)形狀，去除不相干的結(jié)構(gòu)，以達(dá)到圖像分析和目標(biāo)識(shí)別的目的。

灰度形態(tài)學(xué)的基本運(yùn)算有膨脹、腐蝕、開(kāi)運(yùn)算和閉運(yùn)算?；谶@些運(yùn)算，可以推導(dǎo)和組合各種數(shù)學(xué)形態(tài)學(xué)使用算法。

設(shè)f（x,y）為輸入圖像，b（x,y）為結(jié)構(gòu)元素，其中（x,y）為圖像平面空間的坐標(biāo)點(diǎn)，f為（x,y）點(diǎn)的灰度值，b為（x,y）點(diǎn)的結(jié)構(gòu)函數(shù)值，Df和Db分別是f和b的定義域，上述4種基本運(yùn)算的表達(dá)式為：

其中，開(kāi)運(yùn)算有些像非線性低通濾波器，但是又與低通濾波器不同，開(kāi)運(yùn)算可以允許高頻部分中大于結(jié)構(gòu)元素的部分通過(guò)。Top-hat算子就是利用了開(kāi)運(yùn)算的上述性質(zhì)來(lái)進(jìn)行目標(biāo)檢測(cè)的。

Top-hat算子的定義為：

經(jīng)過(guò)Top-hat處理后的圖像，目標(biāo)和背景在能量上差別較大，大部分像素都集中在低灰度區(qū)，只有目標(biāo)和小部分噪聲分布在高亮度區(qū)，如圖1所示，圖1（a）為原始圖像，圖1（b）為經(jīng)過(guò)Top-hat處理的圖像及其直方圖統(tǒng)計(jì)結(jié)果。

1.2 最大類(lèi)間方差法求閾值

閾值就是臨界值，在PS中的閾值，實(shí)際上是基于圖片亮度的一個(gè)黑白分界值，默認(rèn)值是50%中性灰，既128,亮度高于128（<50%的灰）白既會(huì)變白，低于128（>50%的灰）的既會(huì)變黑。[可以跟濾鏡中的其它――高反差保留，再用閾值效果會(huì)更好。]

設(shè)經(jīng)過(guò)處理后的圖像f2（x,y）的各灰度的集合為S={0,1,2,…，N},Pi為此集合中i出現(xiàn)的概率，由于圖像是由小目標(biāo)和背景兩部分組成的，設(shè)這兩部分對(duì)應(yīng)的灰度子集分別為：紅外背景，C0={0,1,2,…，k};目標(biāo)對(duì)象，C1={k+1,k+2,…，N};則兩個(gè)類(lèi)別的間方差為：

為節(jié)約程序運(yùn)行時(shí)間，選取k的取值范圍為[μ+5σ…N],其中μ為整幅圖像的均值，σ為整幅圖像的平均差，直到找到使類(lèi)間方差取最大值時(shí)的k值，即為最佳分割閾值th.

對(duì)經(jīng)過(guò)Top-hat處理后的圖像，利用上述的最大類(lèi)間方差法獲取閾值，利用這個(gè)閾值對(duì)圖像進(jìn)行分割，最后通過(guò)判斷目標(biāo)的形狀大小，以達(dá)到提取目標(biāo)的效果，如圖2所示，圖2（a）為閾值分割的結(jié)果，圖2（b）為最終判斷結(jié)果。

2 硬件系統(tǒng)結(jié)構(gòu)

在實(shí)時(shí)視頻處理系統(tǒng)中，底層算法的數(shù)據(jù)量大，運(yùn)算結(jié)構(gòu)相對(duì)比較簡(jiǎn)單，對(duì)速度有很高的要求，而高層處理算法控制結(jié)構(gòu)復(fù)雜，數(shù)據(jù)量較底層算法少，故本文采用FPGA+DSP的結(jié)構(gòu)。利用DSP實(shí)現(xiàn)目標(biāo)檢測(cè)的算法，數(shù)字信號(hào)處理（Digital Signal Processing,簡(jiǎn)稱DSP）是一門(mén)涉及許多學(xué)科而又廣泛應(yīng)用于許多領(lǐng)域的新興學(xué)科。20世紀(jì)60年代以來(lái)，隨著計(jì)算機(jī)和信息技術(shù)的飛速發(fā)展，數(shù)字信號(hào)處理技術(shù)應(yīng)運(yùn)而生并得到迅速的發(fā)展。數(shù)字信號(hào)處理是一種通過(guò)使用數(shù)學(xué)技巧執(zhí)行轉(zhuǎn)換或提取信息，來(lái)處理現(xiàn)實(shí)信號(hào)的方法，這些信號(hào)由數(shù)字序列表示。在過(guò)去的二十多年時(shí)間里，數(shù)字信號(hào)處理已經(jīng)在通信等領(lǐng)域得到極為廣泛的應(yīng)用，可以提高運(yùn)行速度及便于調(diào)試和修改，F(xiàn)PGA實(shí)現(xiàn)整個(gè)系統(tǒng)的控制和圖像的基本預(yù)處理功能。整個(gè)系統(tǒng)的硬件結(jié)構(gòu)如圖3所示。

在系統(tǒng)設(shè)計(jì)中，DSP采用ADI公司通用浮點(diǎn)型TigerSHARC201,它擁有非常高的存儲(chǔ)寬度，支持32位和擴(kuò)展的40位浮點(diǎn)運(yùn)算，支持8、16、32、64位定點(diǎn)運(yùn)算。它擁有高達(dá)600 MHz的內(nèi)核時(shí)鐘速率，一個(gè)周期可以執(zhí)行4條指令，相當(dāng)于24次16 bit定點(diǎn)操作或者6次浮點(diǎn)操作。處理器的運(yùn)算流水是雙周期的，分支流水為2~6周期，鑒于此流水深度，它使用分支目標(biāo)緩沖（BTB）來(lái)減少分支延遲，其兩個(gè)相同的計(jì)算單元均支持浮點(diǎn)和定點(diǎn)運(yùn)算。

FPGA（Field-Programmable Gate Array），即現(xiàn)場(chǎng)可編程門(mén)陣列，它是在PAL、GAL、CPLD等可編程器件的基礎(chǔ)上進(jìn)一步發(fā)展的產(chǎn)物。它是作為專用集成電路（ASIC）領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門(mén)電路數(shù)有限的缺點(diǎn)。FPGA采用Altera公司的EP3C40F484C對(duì)視頻信號(hào)進(jìn)行預(yù)處理和整個(gè)系統(tǒng)的時(shí)序控制，它具有多達(dá)24 624個(gè)邏輯單元，具有129個(gè)兼容的LV-DS通道，每個(gè)通道數(shù)據(jù)率高達(dá)640 Mb/s,還有4個(gè)可編程鎖相環(huán)和8個(gè)全局時(shí)鐘線。另外此芯片的功耗較低，全局運(yùn)行時(shí)總功耗為300 mW左右。

2.1 視頻輸入和輸出模塊

采用解碼器SAA7111將攝像頭輸出的模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。編碼器（encoder），是一種輸入模擬視頻信號(hào)并將它轉(zhuǎn)換為數(shù)字信號(hào)格式，以進(jìn)一步壓縮和傳輸?shù)挠布?軟件設(shè)備。像視頻的mpeg4,音頻的mp3,ac3,dts等，這些編碼器可以將原始數(shù)據(jù)壓縮存放，剛才都是常用的編碼格式，還有些專業(yè)的編碼格式，一般家庭基本不會(huì)用到。為了在家用設(shè)備或者電腦上重放這些視頻和音頻則需要用到解碼軟件，一般稱為插件。解碼器是一個(gè)重要前端控制設(shè)備。在主機(jī)的控制下，可使前端設(shè)備產(chǎn)生相應(yīng)的動(dòng)作。解碼器，國(guó)外稱其為接收器/驅(qū)動(dòng)器（Receiver/Driver）或遙控設(shè)備（Telemetry），是為帶有云臺(tái)、變焦鏡頭等可控設(shè)備提供驅(qū)動(dòng)電源并與控制設(shè)備如矩陣進(jìn) 解碼器（Decoder）

行通訊的前端設(shè)備。通過(guò)配置SAA7111將PAL制式的模擬基帶信號(hào)轉(zhuǎn)化為CCIR-656格式的UYVY信號(hào)，并將其送入FPGA中，進(jìn)行預(yù)處理。具體連接如圖4所示，VPO[0…7]沒(méi)有數(shù)據(jù)輸入，VPO[8…15]是數(shù)據(jù)輸出管腳與FPGA相連，時(shí)鐘同步信號(hào)TS201采用MDMA的方式將原始圖像信號(hào)存入SDRAM中，供目標(biāo)檢測(cè)算法使用。視頻輸出模塊采用視頻編碼器SAA7121,標(biāo)準(zhǔn)的UYVY數(shù)據(jù)從FPGA的引腳輸出，送到SAA7121的數(shù)據(jù)引腳，場(chǎng)、行同步信號(hào)分別接到FPGA的控制引腳上，通過(guò)行、場(chǎng)信號(hào)的控制，就能夠輸出顯示正確的視頻圖像。在SAA7111和SAA7121工作之前，都需要對(duì)這兩個(gè)芯片進(jìn)行配置，它們的配置的參數(shù)都是通過(guò)FPGA產(chǎn)生I2C總線來(lái)實(shí)現(xiàn)的。

2.2 存儲(chǔ)模塊

TS201的片上存儲(chǔ)器分為兩個(gè)部分：每個(gè)內(nèi)核各使用100 KB的專用、高速L1存儲(chǔ)器；128 KB的大容量共享L2存儲(chǔ)器。通過(guò)EBIU接口外擴(kuò)SDRAM和Flash兩種存儲(chǔ)器。選取2片MT48L32M16A2來(lái)構(gòu)成SDRAM存儲(chǔ)器，圖像處理數(shù)據(jù)和圖像處理中間結(jié)果可存儲(chǔ)在SDRAM中。系統(tǒng)擴(kuò)展64 MB的Flash,選用S29GL064M90T,主要存放DSP內(nèi)核程序。

FPGA的存儲(chǔ)系統(tǒng)：選取2片IS61LV10248來(lái)構(gòu)成SRAM存儲(chǔ)器，主要用于存儲(chǔ)從SAA7111傳輸?shù)紽PGA的數(shù)據(jù)，根據(jù)視頻數(shù)據(jù)的奇偶場(chǎng)的關(guān)系，在數(shù)據(jù)的存取過(guò)程中采用乒乓存取方式，當(dāng)SRAM1存儲(chǔ)數(shù)據(jù)的時(shí)候，F(xiàn)PGA從SRAM2讀取數(shù)據(jù)，傳給SAA7121做為顯示使用，當(dāng)SRAM2存儲(chǔ)數(shù)據(jù)的時(shí)候，F(xiàn)PGA從SRAM1讀取數(shù)據(jù)，傳給SAA7121做為顯示使用，同時(shí)通過(guò)對(duì)讀時(shí)鐘和讀范圍的控制，可以控制圖像的現(xiàn)實(shí)范圍和現(xiàn)實(shí)方式。具體硬件連接結(jié)構(gòu)如圖5所示。

2.3 DSP雙核以及FPGA之間的通信

在本系統(tǒng)中，涉及到TS201兩個(gè)核之間的通信以及TS201與FPGA之間的通信。FPGA給DSP提供預(yù)處理之后的圖像數(shù)據(jù)，DSP根據(jù)提供的圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)算法，并將檢測(cè)之后的坐標(biāo)數(shù)據(jù)傳輸?shù)紽PGA,FPGA將坐標(biāo)信息疊加到原始圖像后送給SAA7121顯示。常見(jiàn)的雙核通信主要采用中斷、輪詢兩種通信方式。中斷是利用兩個(gè)核的中斷機(jī)制來(lái)實(shí)現(xiàn)FPGA與DSP之間的通信；輪詢是通過(guò)在雙核的共享寄存器里設(shè)置一些信號(hào)量，供雙核通信與訪問(wèn)。考慮到本系統(tǒng)的應(yīng)用條件，采用輪詢的通信方式，DSP的異步存儲(chǔ)器的地址空間映射到FPGA,通過(guò)FPGA操作數(shù)據(jù)線和地址線，即可完成FPGA與DSP之間的數(shù)據(jù)交互。

2.4 系統(tǒng)工作流程

整個(gè)系統(tǒng)的工作流程為：由CCD采集視頻模擬信號(hào)，經(jīng)過(guò)可編程視頻解碼處理器SAA7111解碼后輸出場(chǎng)同步、行同步、像素時(shí)鐘和位寬為16 bit的數(shù)字圖像信號(hào)，并將信號(hào)送入FPGA中，在FPGA中對(duì)送來(lái)的數(shù)據(jù)做緩存，預(yù)處理，再通過(guò)與TS201連接的雙向LINKPORT,把圖像數(shù)據(jù)實(shí)時(shí)地導(dǎo)入DSP中，在DSP中運(yùn)行檢測(cè)算法，得到被檢測(cè)目標(biāo)的正確坐標(biāo)，DSP把目標(biāo)的坐標(biāo)信息返回到FPGA中，F(xiàn)PGA根據(jù)坐標(biāo)信息在原始圖像上標(biāo)示出目標(biāo)的位置，最后將處理后的圖像信號(hào)傳給可編程視頻編碼器SAA7121進(jìn)行編碼實(shí)現(xiàn)D/A轉(zhuǎn)換，輸出模擬視頻，并把檢測(cè)結(jié)果顯示在視頻顯示設(shè)備上。

3 結(jié)論

首先研究了形態(tài)學(xué)Top-hat算子，并利用Top-hat算子進(jìn)行背景抑制，同時(shí)，采用最大類(lèi)間方差法獲得圖像的閾值，分割背景和目標(biāo)，實(shí)現(xiàn)小目標(biāo)檢測(cè)，通過(guò)仿真實(shí)驗(yàn)發(fā)現(xiàn)，這種方法能夠在一定程度上減少實(shí)際檢測(cè)中的虛警率，增加目標(biāo)檢測(cè)的準(zhǔn)確性。

利用DSP+FPGA的系統(tǒng)架構(gòu)設(shè)計(jì)了實(shí)現(xiàn)算法的硬件平臺(tái)，這種結(jié)構(gòu)在一定程度上可以滿足實(shí)時(shí)性和靈活性的要求，具有很強(qiáng)的通用性和可擴(kuò)展性。并在設(shè)計(jì)中采用了模塊化設(shè)計(jì)，這樣的設(shè)計(jì)便于集中控制，能夠節(jié)省程序運(yùn)行時(shí)間。