360度全景智能監(jiān)控方案解析

目前，國(guó)內(nèi)外尚未將三維成像技術(shù)成熟應(yīng)用到監(jiān)控產(chǎn)品上面，功能比較接近的產(chǎn)品是車輛智能全景監(jiān)控系統(tǒng)。但它只能記錄平面信息，不能全面地反映周圍環(huán)境的具體情況。

今天為大家介紹的360度全景智能監(jiān)控方案，正是在車輛智能全景監(jiān)控系統(tǒng)發(fā)展而來(lái)的，是對(duì)車輛智能全景監(jiān)控系統(tǒng)的改進(jìn)。

通過(guò)采用三維成像技術(shù)和語(yǔ)聲混合算法，本系統(tǒng)一方面將周圍物體的三維建模和尺度測(cè)量用3D技術(shù)來(lái)實(shí)現(xiàn)。另一方面，還將全部觀測(cè)點(diǎn)的聲音信息全部記錄下來(lái)，使得記錄的資料更加生動(dòng)、形象和全面。

本系統(tǒng)方案可以廣泛地應(yīng)用于中高檔汽車、工程機(jī)械、港口船閘、水庫(kù)大壩、金融場(chǎng)所等重要場(chǎng)合的全方位智能化監(jiān)控。

系統(tǒng)基本原理描述

三維智能全景監(jiān)控系統(tǒng)主要分為如下幾部分：中央處理單元、顯示與人機(jī)界面、專用攝像頭（分布式安裝）。

本系統(tǒng)的主體為中央處理單元，該部分主要包括：

（1）視頻采集部件，采集系統(tǒng)所需視頻，并將采集到的視頻傳送到視頻合成部件。

（2）視頻防抖部件，最大程度地預(yù)防在視頻采集過(guò)程中的抖動(dòng)，同時(shí)進(jìn)行相應(yīng)的視頻補(bǔ)償操作。

（3）視頻合成部件，將采集到到視頻內(nèi)容進(jìn)行無(wú)縫合成，形成全景視頻，并輸送到投影與映射單元。

（4）投影與映射部件，將合成的視頻內(nèi)容進(jìn)行投影與映射，輸出到相應(yīng)的終端。

（5）目標(biāo)檢測(cè)部件，對(duì)周邊的目標(biāo)物體進(jìn)行智能檢測(cè)，按照預(yù)先設(shè)定的規(guī)則進(jìn)行智能控制操作、綜合障礙預(yù)警和多元導(dǎo)航信息等。

（6）GIS部件，對(duì)移動(dòng)主體進(jìn)行GIS定位功能。

圖1 系統(tǒng)方案框架圖

系統(tǒng)硬件的工作流程框圖

系統(tǒng)方案主要包括：DSP核心處理器單元、FPGA協(xié)同處理器單元、圖像采集單元(相機(jī))、視頻解碼芯片、視頻編碼芯片、CAN模塊。圖3．1系統(tǒng)硬件的工作流程框圖。

系統(tǒng)硬件平臺(tái)主要器件的選型及討論分析

本系統(tǒng)硬件平臺(tái)器件選擇是依據(jù)系統(tǒng)穩(wěn)定性、可擴(kuò)展性以及日后軟件升級(jí)空間等各項(xiàng)性能指標(biāo)最佳化的情況下進(jìn)行分析的。各器件還以盡可能降低系統(tǒng)成本，充分利用各芯片的內(nèi)部資源為準(zhǔn)則進(jìn)行選取，提高整個(gè)系統(tǒng)的集成度和性價(jià)比。

（1）TMS320C6000系列DSP分析

在本設(shè)計(jì)中DSP作為核心處理器件，它的選型決定外圍電路的復(fù)雜性和整個(gè)系統(tǒng)的穩(wěn)定性。為實(shí)現(xiàn)多圖像傳感器融合的全景泊車輔助系統(tǒng)的特殊要求，核心處理器DSP的選型決定了整個(gè)系統(tǒng)電路的結(jié)構(gòu)。

DM642保留了C64x原有的內(nèi)核結(jié)構(gòu)以及大部分外設(shè)的基礎(chǔ)上為適應(yīng)多路視頻采集處理等應(yīng)用增加了3個(gè)雙通道數(shù)字視頻無(wú)縫接口，可最多同時(shí)采集6路數(shù)字視頻流。其片內(nèi)資源豐富和擴(kuò)展性好，最為適合本設(shè)計(jì)的要求，經(jīng)過(guò)綜合考慮，最終選擇DM642作為本設(shè)計(jì)的核心處理器。

選用DM642作為本設(shè)計(jì)核心處理器， DM642整體功能框圖如圖3．2所示。

DM642內(nèi)部使用L1P和L1D兩級(jí)高速緩存結(jié)構(gòu)，有著強(qiáng)大豐富的外圍設(shè)備接口。L1P和L1D分別為一級(jí)程序緩存、二級(jí)數(shù)據(jù)緩存，LIP是一個(gè)的直接映射緩存空間，L1D是一個(gè)2組相連的高速數(shù)據(jù)緩存空間n 2|。

外圍設(shè)備包括：3個(gè)可配置視頻端口，1個(gè)以太網(wǎng)控制器模塊，1個(gè)高速數(shù)據(jù)輸入／輸出管理模塊，1個(gè)內(nèi)插VCXO控制接口，1個(gè)多鏈路專用音頻接口，1個(gè)12C總線硬件標(biāo)準(zhǔn)接口，2個(gè)可配置多通道緩沖串口，3個(gè)可配置32位定時(shí)器，1個(gè)與外圍設(shè)備的擴(kuò)展接口(PCI)，1組16管腳的可配置I／O端口(GPIO)，1個(gè)64位IMIFA，可以無(wú)縫連接同／異步存儲(chǔ)器和外圍擴(kuò)展設(shè)備。

（2）FPGA的選型及分析

經(jīng)過(guò)調(diào)研最終本設(shè)計(jì)選用的是擁有40萬(wàn)系統(tǒng)門數(shù)的Spartan一3AN系列XC3S400AN型號(hào)的芯片，所以著重介紹此款芯片的資源外設(shè)等相關(guān)信息n6。

Spartan一3AN系列芯片為系統(tǒng)集成度非常高的非易失性FPGA，此款芯片有以下幾項(xiàng)獨(dú)特性能：FPGA有大量?jī)?nèi)部SRAM高性能資源、非易失性、縮小板卡空間和配置便捷等特點(diǎn)。

Spartan一3AN．硬件平臺(tái)是專門面向?qū)Τ杀居袊?yán)格要求的嵌入式產(chǎn)品開(kāi)發(fā)的。

Spartan-3AN系列FPGA芯片的硬件資源如表3．1。

（3）圖像傳感器的選型及分析

圖像傳感器包括電子束攝像管、CCD、CMOS等超大規(guī)模半導(dǎo)體集成感光器件的圖像傳感器和面陣高速掃描型圖像傳感器等。CMOS圖像傳感器的內(nèi)部結(jié)構(gòu)框圖如圖3．3所示。

在CMOS器件發(fā)展的歷程中，CMOS器件從“被動(dòng)像敏單元”結(jié)構(gòu)到“主動(dòng)像敏單元”演變是由于大規(guī)模集成電路設(shè)計(jì)與微電子制造技術(shù)進(jìn)入深亞微米階段，CMOS圖像傳感器芯片可集成大規(guī)模感光陣列、信號(hào)讀出及處理電路和控制電路于一體，再加上光學(xué)鏡頭等外圍設(shè)備就構(gòu)成了一個(gè)光學(xué)成像系統(tǒng)。

現(xiàn)代工藝條件下的CMOS芯片內(nèi)部結(jié)構(gòu)主要是由感光陣列、水平(垂直)控制電路和時(shí)序電路、信號(hào)讀出與處理電路、模／數(shù)轉(zhuǎn)換電路和數(shù)據(jù)接口電路等組成。

下面對(duì)兩種圖像傳感器進(jìn)行分析，即MT9V024和0v7960兩款不同公司的圖像傳感器芯片。

(1)MT9V024圖像傳感器

MT9V024是像平面尺寸為1／3英寸、寬VGA模式的CMOS有源像素圖像傳感器，它采用TrueSNAP球形快門和高動(dòng)態(tài)范圍。該傳感器專門為內(nèi)外兼顧的汽車成像需求而設(shè)計(jì)，這使得它成為多種成像應(yīng)用環(huán)境的理想芯片。

這款傳感器采用Aptina的突破性低噪聲的CMOS成像技術(shù)以達(dá)到CCD的成像質(zhì)量(基于信號(hào)信噪比和低光照靈敏度)同時(shí)保持了固有的大小，成本和CMOS的整合優(yōu)勢(shì)。

片上采用先進(jìn)的相機(jī)功能，如分級(jí)2×2，4×4，以提高在較小的決議上操作時(shí)的靈敏度，就像窗口功能，行和列鏡像。通過(guò)標(biāo)準(zhǔn)兩線串行可編程接口，可以在默認(rèn)模式下對(duì)幀大小、曝光度、增益以及其他參數(shù)進(jìn)行配置。默認(rèn)模式輸出寬VGA尺寸的圖像，每秒60幀。

片上模數(shù)轉(zhuǎn)換器把每個(gè)像素的模擬信號(hào)轉(zhuǎn)換為士Obit數(shù)據(jù)流?？闪硗鈫⒂靡粋€(gè)12位全分辨率代替10位小信號(hào)。除了傳統(tǒng)的并行邏輯輸出，MT9V024還有還具有LVDS(串行低壓差分信號(hào))這款傳感器能夠在立體攝像中操作。MT9V024圖像傳感器具體性能參數(shù)如表3．2所示：

(2)0V7960圖像傳感器

0V7960是OMNIVISION最近兩年新推出的小尺寸圖像傳感器芯片，它的出現(xiàn)滿足了汽車業(yè)對(duì)輔助駕駛系統(tǒng)應(yīng)用要求(如倒車后視鏡)，開(kāi)創(chuàng)了CMOS圖像傳感器在汽車安全輔助駕駛系統(tǒng)應(yīng)用的新開(kāi)端0V7960圖像傳感器的性能完全滿足了汽車電子行業(yè)對(duì)圖像傳感器成像效果的特殊需求，1／4超小巧體積，在低光照下的也有良好的性能(<0．01LUX)，并采用全球最小的CSP封裝，體積比同類產(chǎn)品小50％，已經(jīng)成為CMOS產(chǎn)品的領(lǐng)導(dǎo)者。

0V7960圖像傳感器具體性能參數(shù)如表3．3所示：

本設(shè)計(jì)的目的是開(kāi)發(fā)出一種能打破現(xiàn)有的只在高端車上配備的全景泊車輔助系統(tǒng)。所以低成本是系統(tǒng)開(kāi)發(fā)必須考慮的因素之一，由于用于汽車主動(dòng)安全的系統(tǒng)是給駕駛員提供二些車輛周圍實(shí)時(shí)狀況信息，所以系統(tǒng)對(duì)圖像質(zhì)量的要求不是特別高，經(jīng)過(guò)綜合考慮本設(shè)計(jì)才用0V7960圖像傳感器作為相機(jī)的圖像采集芯片。

電源電路設(shè)計(jì)

由于本系統(tǒng)包含DSP、FPGA以及它們的外圍電路器件，所需電源有5v、3．3v、2．5v、1．8v、1．4v、1．2v等，系統(tǒng)所需電源如此之多電源模塊的設(shè)計(jì)會(huì)成為整個(gè)系統(tǒng)的難點(diǎn)，能否保證系統(tǒng)個(gè)部分能夠穩(wěn)定運(yùn)行成為整個(gè)硬件設(shè)計(jì)成敗關(guān)鍵，下面將各模塊器件的電源進(jìn)行總體說(shuō)明。

1、DSP及外圍設(shè)備電源電路

汽車啟動(dòng)和正常行駛過(guò)程中時(shí)，其電源輸出電壓在lOV一16V范圍內(nèi)無(wú)規(guī)律突變。不難想象出這樣的大幅度波動(dòng)電壓對(duì)電子系統(tǒng)的危害，若直接作用在車載電子系統(tǒng)及車載儀表上，這種大幅度波動(dòng)產(chǎn)生的電壓沖擊往往會(huì)造成電子器件損壞，導(dǎo)致出現(xiàn)嚴(yán)重事故。

所以本系統(tǒng)在設(shè)計(jì)中考慮到12V供電電源要從車上引入時(shí)，添加一個(gè)保護(hù)電路確保整個(gè)系統(tǒng)電路的安全，如圖3．4：

圖3.4 12V保護(hù)電路

為確保TMS320DM642處理器穩(wěn)定工作必須對(duì)它的內(nèi)核和I／O端口分別進(jìn)行獨(dú)立供電以減少電源之間的相互串?dāng)_，其內(nèi)核電壓為1．4V，I／O端口電源為3．3V。視頻編碼芯片TVP5150AMl數(shù)字電壓(AVDD)和模擬電壓(DVDD)輸入均為1．8 V，i／o端IZl電壓(DVDDIO)為3．3 V。

視頻編碼芯片SAATl21數(shù)字電壓(VDDD)和模擬電壓(VDDA)同為3．3V。GDRAM和FLASH工作電壓為3．3V?？紤]整個(gè)系統(tǒng)的功耗，第一級(jí)的電壓轉(zhuǎn)換全部選用TI推薦的開(kāi)關(guān)電源管理芯片TPS5430作為12V一5V的電壓轉(zhuǎn)換核心器件；選用兩片TPS54310參照其DataSheet對(duì)電路進(jìn)行設(shè)計(jì)，分別為DSP提供內(nèi)核電壓1．4V和I／O端口電壓3．3V，其中3．3V電源也為系統(tǒng)中其他元器件供電。各部分電路設(shè)計(jì)如下所示：

圖3．5 TPS5430電源轉(zhuǎn)換電路12V-5V

TPS54310輸入的電壓為TPS5430經(jīng)過(guò)轉(zhuǎn)換輸出的5V電壓。一片TPS54310為

TMS320DM642提供內(nèi)核電壓，輸出電壓1．4V如電路圖3．9所示，另一片為TMS320DM642提供I／O端口電壓，輸出電壓為3．3V如圖3．6所示：

圖3．6 DM642外圍I／0端口電壓

在系統(tǒng)上電后，DSP內(nèi)核首先得到TPS54310電源芯片提供的1．4V穩(wěn)定電壓，然后第一片TPS54310的PV／RGD端口輸出一個(gè)使能電平(高電平)給第二片TPS54310的SS／EN端口舊引。這樣就保證了系統(tǒng)上電時(shí)DSP內(nèi)核首先獲得供電，IlO端口在內(nèi)核得到1．4V穩(wěn)定電壓后獲得3．3V供電，系統(tǒng)掉電過(guò)程中DSP內(nèi)核后于i／o端口電源掉電。這樣大大增加了芯片使用壽命和系統(tǒng)穩(wěn)定性。

2、FPGA及其他部分電源模塊設(shè)計(jì)

FPGA協(xié)處理器選用的是Xilinx的Spartan-3AN系列芯片，其型號(hào)為XC3S400AN。XC3S400AN處理器內(nèi)核電壓(VCCINT)為1．2V，輔助電源電壓(VCCAUX)為2．5V，i／o端口電壓為3．3V雎引。

板卡上其他芯片，如FPGA的配置芯片XCF02SV020C電源為2．5V和3．3V，TVP5150AMl電壓(AVDD、DVDD)為1．8V以及I／0端口電壓(DVDDIO)3．3V，SAA7121電壓為3．3V。

由于電源輸入12V經(jīng)過(guò)TPS54310和TPS5430等開(kāi)關(guān)電源第一級(jí)轉(zhuǎn)換，所以之后的電壓轉(zhuǎn)換芯片都選用的是設(shè)計(jì)簡(jiǎn)單、占用空間小的線性電源轉(zhuǎn)換芯片，如TLVlll7—1．2為FPGA內(nèi)核提供1．2V穩(wěn)定電壓、TLVlll7-1．8為TVP5150AMl提供1．8v數(shù)字電壓、TLVll7—2．5為FPGA的輔助電源和配置芯片電源。其電路設(shè)計(jì)如下圖3．7所示

圖3．7 FPGA及其他部分電源模塊

基于0V7960圖像傳感器的相機(jī)設(shè)計(jì)

下面對(duì)0V7960圖像傳感器核心部分電路設(shè)計(jì)進(jìn)行簡(jiǎn)單介紹。相機(jī)是否能正確輸出穩(wěn)定模擬信號(hào)，是相機(jī)部分設(shè)計(jì)的關(guān)鍵，必須采用輸出電壓紋波系數(shù)小的電源芯片和大量的濾波電容，濾波電容的擺放盡量靠近引腳，這樣就能夠輸出良好的模擬視頻圖像數(shù)據(jù)。圖像傳感器設(shè)計(jì)電路如圖3．8所示：

圖3．8 0V70960圖像傳感器外圍電路

三維智能全景監(jiān)控系統(tǒng)實(shí)踐應(yīng)用

針對(duì)本系統(tǒng)在車輛的三維全景監(jiān)控系統(tǒng)上進(jìn)行了實(shí)踐和應(yīng)用。通過(guò)本系統(tǒng)進(jìn)行視頻合成虛擬出來(lái)的監(jiān)控范圍內(nèi)有效區(qū)域的全景視圖效果，并利用三維圖像的形式進(jìn)行顯示，提供更加真實(shí)的虛擬現(xiàn)場(chǎng)。同時(shí)，本系統(tǒng)還可以實(shí)現(xiàn)關(guān)鍵部位的自動(dòng)尺度測(cè)量，在必要的時(shí)候，主動(dòng)進(jìn)行報(bào)警。其效果演示圖如下：

圖3 三維智能全景監(jiān)控系統(tǒng)在車輛監(jiān)控上的應(yīng)用效果圖