基于雙DSP的運(yùn)動(dòng)目標(biāo)智能跟蹤系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)

圖1  嵌入式運(yùn)動(dòng)目標(biāo)智能跟蹤系統(tǒng)功能圖

摘    要：本文針對(duì)視頻監(jiān)控領(lǐng)域中對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤，設(shè)計(jì)了一種以雙DSP為核心處理器的嵌入式實(shí)時(shí)控制方案，并闡述了系統(tǒng)的硬、軟件結(jié)構(gòu)，以低成本成功實(shí)現(xiàn)了集實(shí)時(shí)視頻處理、云臺(tái)運(yùn)動(dòng)控制、攝像機(jī)自動(dòng)調(diào)節(jié)于一體的智能視頻跟蹤系統(tǒng)。實(shí)踐證明，系統(tǒng)工作性能良好。
關(guān)鍵詞：雙DSP；嵌入式實(shí)時(shí)系統(tǒng)；檢測(cè)與跟蹤；差分圖像

引言
隨著DSP芯片集成度、運(yùn)算速度、數(shù)據(jù)吞吐率等性能的不斷提高，DSP不再局限于傳統(tǒng)視頻處理、離線信號(hào)處理等方面的應(yīng)用,它已被廣泛地應(yīng)用于許多實(shí)時(shí)視頻處理和傳輸領(lǐng)域。本文設(shè)計(jì)了一種以ADSP-BF533為核心處理器，集視頻處理、云臺(tái)運(yùn)動(dòng)控制、攝像機(jī)自動(dòng)調(diào)節(jié)于一體的嵌入式實(shí)時(shí)控制系統(tǒng)。該系統(tǒng)體積小，靈活性高，易于升級(jí)，可應(yīng)用于無(wú)人值守的智能監(jiān)控系統(tǒng)，如銀行，金庫(kù)，倉(cāng)庫(kù)等重地。當(dāng)發(fā)現(xiàn)異常情況出現(xiàn)時(shí)，該系統(tǒng)能夠自動(dòng)報(bào)警或采取其它相應(yīng)的措施，從而更有效、可靠地實(shí)現(xiàn)了安全防范，同時(shí)也在很大程度上減少了監(jiān)視人員的工作量和疲勞度，大大提高了工作效率。

圖2  嵌入式運(yùn)動(dòng)目標(biāo)智能跟蹤硬件系統(tǒng)結(jié)構(gòu)

圖3  嵌入式運(yùn)動(dòng)目標(biāo)智能跟蹤系統(tǒng)硬件設(shè)計(jì)

系統(tǒng)的功能和結(jié)構(gòu)
如圖1所示，嵌入式運(yùn)動(dòng)目標(biāo)智能跟蹤系統(tǒng)的基本功能為：系統(tǒng)采用高速DSP實(shí)現(xiàn)圖像信號(hào)的實(shí)時(shí)采集，經(jīng)過(guò)圖像預(yù)處理模塊實(shí)現(xiàn)對(duì)數(shù)字圖像的復(fù)原、增強(qiáng)，然后分別發(fā)送給自動(dòng)控制模塊、運(yùn)動(dòng)目標(biāo)檢測(cè)模塊、運(yùn)動(dòng)估計(jì)模塊等。各功能模塊對(duì)圖像進(jìn)行處理后，通過(guò)現(xiàn)場(chǎng)總線控制網(wǎng)絡(luò)自動(dòng)向解碼器發(fā)出控制指令，驅(qū)動(dòng)對(duì)應(yīng)云臺(tái)、攝像機(jī)作相應(yīng)動(dòng)作。當(dāng)然系統(tǒng)也可以通過(guò)手動(dòng)控制模塊接收從監(jiān)控中心發(fā)送的控制數(shù)據(jù)，直接控制攝像機(jī)、云臺(tái)動(dòng)作。
如圖2所示，嵌入式運(yùn)動(dòng)目標(biāo)智能跟蹤硬件系統(tǒng)主要由 CCD 攝像機(jī)、高速數(shù)字云臺(tái)、視頻 ADC、圖像幀存儲(chǔ)器、DSP處理控制器、視頻合成及DAC、報(bào)警模塊等部分構(gòu)成。視頻 ADC的作用是通過(guò)視頻解碼芯片將模擬視頻信號(hào)轉(zhuǎn)換成標(biāo)準(zhǔn)的數(shù)字視頻信號(hào)；幀存儲(chǔ)器可以按照一定的時(shí)間周期存儲(chǔ)圖像數(shù)據(jù)；視頻合成及DAC的作用是將視頻信號(hào)與工作狀態(tài)字符、報(bào)警標(biāo)記、報(bào)警次數(shù)等字符疊加起來(lái)，同時(shí)轉(zhuǎn)換成模擬視頻信號(hào)，供監(jiān)視器顯示；報(bào)警電路的作用是當(dāng)有活動(dòng)目標(biāo)進(jìn)入視場(chǎng)或進(jìn)入設(shè)定的警戒區(qū)域時(shí)，通知DSP處理器啟動(dòng)報(bào)警裝置。其核心DSP處理控制部分由兩塊DSP芯片組成，一塊負(fù)責(zé)圖像的實(shí)時(shí)采集,運(yùn)動(dòng)目標(biāo)跟蹤算法的處理，實(shí)現(xiàn)對(duì)高速數(shù)字云臺(tái)的驅(qū)動(dòng)控制以及報(bào)警發(fā)生電路的控制等；另一塊負(fù)責(zé)視頻合成和編碼輸出。

圖4 PAL制式下ITU-656 YUV 4 : 2 : 2數(shù)據(jù)流格式描述

圖5 嵌入式運(yùn)動(dòng)目標(biāo)智能跟蹤軟件設(shè)計(jì)框圖

圖6   對(duì)單目標(biāo)運(yùn)動(dòng)物體的跟蹤

系統(tǒng)的硬件設(shè)計(jì)和實(shí)現(xiàn)
整個(gè)系統(tǒng)的設(shè)計(jì)如圖3所示,下面將從DSP核心處理器、視頻處理通道、幀存儲(chǔ)器、一體化球型攝像機(jī)控制等幾個(gè)方面進(jìn)行闡述。
DSP核心處理器
系統(tǒng)采用了ADI公司最新推出的BLACKFIN DSP，主頻可以達(dá)到750MHz，它是基于ADI公司與Intel公司聯(lián)合開(kāi)發(fā)的微信號(hào)結(jié)構(gòu)(MSA)，外部存儲(chǔ)器接口可以和SDRAM、FLASH、異步RAM實(shí)現(xiàn)無(wú)縫連接。PPI接口可以和視頻解碼器、編碼器實(shí)現(xiàn)無(wú)縫連接，加強(qiáng)了系統(tǒng)的穩(wěn)定性。 除通用I/O、實(shí)時(shí)時(shí)鐘和定時(shí)器外，所有其他的外設(shè)都有獨(dú)立的DMA通道，片內(nèi)還有一個(gè)獨(dú)立的存儲(chǔ)器DMA通道，專(zhuān)用于在DSP的不同存儲(chǔ)空間進(jìn)行數(shù)據(jù)傳輸，包括外部的SDRAM和異步存儲(chǔ)器。片內(nèi)總線能以133MHz的速度運(yùn)行，提供了足夠的帶寬以保證處理器內(nèi)核的速度能夠與片內(nèi)和片外外設(shè)匹配，特別適合于圖像處理。
系統(tǒng)使用ADSP-BF533 (DSP(1))和ADSP-BF531(DSP(2))組成核心處理部分。750MHz的DSP(1)通過(guò)PPI接口的DMA通道進(jìn)行實(shí)時(shí)圖像采集，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的跟蹤算法，然后通過(guò)UART接口對(duì)一體化球型攝像機(jī)進(jìn)行控制。同時(shí)使用通用I/O口模擬I2C總線，對(duì)視頻解碼芯片SAA7113H和視頻編碼芯片SAA7185B進(jìn)行初始化設(shè)置和控制。400MHz的DSP(2)通過(guò)PPI接口，將視頻合成后的圖像采用DMA的方式編碼輸出。
視頻處理通道
如圖3所示，模擬視頻信號(hào)(CVBS)通過(guò)SAA7113H芯片進(jìn)行視頻解碼，輸出標(biāo)準(zhǔn)的ITU 656 YUV 4 : 2 : 2 視頻流(8-bit)，然后通過(guò)DSP(1)的PPI接口，由其DMA通道0，傳送到幀存儲(chǔ)器中。DSP(1)處理完的數(shù)據(jù)經(jīng)SPORT接口傳送到DSP(2)的幀存儲(chǔ)器中，由其DMA通道0，通過(guò)PPI接口送至SAA7185B，輸出標(biāo)準(zhǔn)的模擬視頻信號(hào)。因?yàn)镻PI接口可以實(shí)現(xiàn)與視頻編、解碼器的無(wú)縫連接，所以簡(jiǎn)化了視頻同步和鎖相控制電路的硬件設(shè)計(jì)，同時(shí)還大大加強(qiáng)了系統(tǒng)的可靠性。通過(guò)PPI _CONFIG控制寄存器還可以進(jìn)行數(shù)據(jù)過(guò)濾，選擇感興趣的數(shù)據(jù)，系統(tǒng)中濾掉了同步控制字符，保留了有效視頻數(shù)據(jù)，節(jié)省了幀存儲(chǔ)器存儲(chǔ)空間。如圖4所示，每行中的前288個(gè)字節(jié)同步控制字符可以被過(guò)濾掉，只保留有效視頻數(shù)據(jù)。DSP(1)的PPI接口工作在ITU 656下的輸入模式，DSP(2)的PPI接口工作在ITU 656下的輸出模式。
幀存儲(chǔ)器及系統(tǒng)啟動(dòng)
ADSP-BF53X支持的最高系統(tǒng)時(shí)鐘頻率SCLK為133MHz，所以系統(tǒng)采用MICRON的MT48LC16M16A2(SDRAM PC133 32MB)作為幀存儲(chǔ)器，其結(jié)構(gòu)為4Meg×16×4Banks，可以與DSP(1)，DSP(2)的EBIU實(shí)現(xiàn)無(wú)縫連接。
由于DSP(1)片內(nèi)沒(méi)有程序存儲(chǔ)器，系統(tǒng)必須從片外引導(dǎo)。本系統(tǒng)采用的是從SPI接口的EEPROM引導(dǎo)方式，所選用的EEPROM是ATMEL的AT25HP512(64KB)。
一體化球型攝像機(jī)控制
系統(tǒng)采用的是一體化智能球形攝像機(jī)，可實(shí)現(xiàn)水平自由度為 360°的連續(xù)旋轉(zhuǎn)，垂直自由度為0~90°的旋轉(zhuǎn)，水平、垂直自由度運(yùn)動(dòng)速度0.5°~160°/s可控，攝像機(jī)的光圈和焦距可控，直接通過(guò)RS-485總線對(duì)其進(jìn)行控制。

系統(tǒng)的軟件設(shè)計(jì)
系統(tǒng)采用了一種基于差分圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，檢測(cè)結(jié)果是符號(hào)化的圖像，其中運(yùn)動(dòng)目標(biāo)由其外接矩形表示，通過(guò)計(jì)算目標(biāo)的形心坐標(biāo)與圖像中心的偏差來(lái)控制云臺(tái)和攝像機(jī)轉(zhuǎn)動(dòng)，使目標(biāo)顯示在圖像的中央，進(jìn)而達(dá)到對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤。
如圖5所示，DSP(1)對(duì)波門(mén)內(nèi)的數(shù)字圖像處理得到一閾值，根據(jù)該閾值再?gòu)牟ㄩT(mén)內(nèi)的數(shù)字圖像中分割出目標(biāo)象元。然后根據(jù)分割出的全部目標(biāo)象元的位置數(shù)據(jù)和目標(biāo)象元的總點(diǎn)數(shù)，計(jì)算出目標(biāo)的形心。該形心數(shù)據(jù)作為下一場(chǎng)波門(mén)的跟蹤數(shù)據(jù)，目標(biāo)的形心相對(duì)于視場(chǎng)中心的位置數(shù)據(jù)作為目標(biāo)的偏差數(shù)據(jù)，對(duì)一體化球型攝像機(jī)進(jìn)行控制。

實(shí)驗(yàn)結(jié)果和結(jié)論
整個(gè)系統(tǒng)使用VISUAL DSP++ 3.5進(jìn)行開(kāi)發(fā)，用EZ_ICE 通過(guò)JTAG接口在開(kāi)發(fā)目標(biāo)板上進(jìn)行仿真調(diào)試，現(xiàn)已脫機(jī)運(yùn)行。當(dāng)圖像分辨力設(shè)定為384×288時(shí)，跟蹤算法處理速度為10幀/s。當(dāng)攝像機(jī)與跟蹤目標(biāo)的距離>2.5m，目標(biāo)運(yùn)動(dòng)速度不高于1m/s時(shí)，能對(duì)目標(biāo)進(jìn)行有效跟蹤。圖6是在背景較為簡(jiǎn)單的情況下，實(shí)現(xiàn)對(duì)單目標(biāo)運(yùn)動(dòng)物體跟蹤的實(shí)驗(yàn)圖片。系統(tǒng)采用的是雙DSP結(jié)構(gòu)，DSP(2)只承擔(dān)了視頻的復(fù)合和編碼工作，在運(yùn)算負(fù)荷和端口資源還有很大的裕量，下一步工作將在DSP(2)上進(jìn)行MPEG-4壓縮編碼和傳輸。