嵌入式系統(tǒng)的趨勢下 數(shù)字視頻監(jiān)控需要集成多種技術

高端數(shù)字信號處理還有另一個殺手級應用：數(shù)字視頻監(jiān)控。

從模擬視頻轉向數(shù)字視頻的主要原因是智能可嵌入監(jiān)控系統(tǒng)本身和＃151 ;以及在網(wǎng)絡中，而不是依賴高度含咖啡因的人類觀看電視監(jiān)視器，這在傳統(tǒng)的模擬視頻監(jiān)控中就是如此。

雖然國家安全是視頻監(jiān)控預計市場快速增長的主要動力，但公司也有令人信服的理由轉向數(shù)字視頻。

普通賭場，例如，擁有2000至3000個監(jiān)控攝像頭，每年365天，每天24小時捕獲數(shù)據(jù)，以及一小群安全人員監(jiān)控攝像頭。聯(lián)邦和州法律要求將數(shù)據(jù)存儲長達一年，這需要大約數(shù)TB的大容量存儲。

舉一個簡單的例子，如果監(jiān)控賭場出口或入口的攝像機可以在檢測到運動時自動開啟，當幀中沒有運動時關閉，單獨存儲的節(jié)省使得數(shù)字視頻成為可能德州儀器視頻監(jiān)控營銷經(jīng)理Yvonne Cager說，這是一個有利可圖的建議。

與國家安全和反恐密切相關的應用，包括有爭議的面部識別問題，可以擴大圖像識別和運動的極限檢測。這方面的例子包括跟蹤機場中無人看管的行李箱或包裹，并報告其在指定時間內(nèi)無人看管或監(jiān)控包裹如何在安全區(qū)域內(nèi)從一個地方移動到另一個地方。

正如現(xiàn)在的情況一樣

數(shù)字視頻監(jiān)控對OEM和ODM提出了復雜的挑戰(zhàn)，他們希望將包括圖像采集，數(shù)字信號處理，視頻算法，通信和存儲在內(nèi)的多種技術集成到一個復雜的高度可靠的系統(tǒng)。在大多數(shù)情況下，第一個挑戰(zhàn)是如何處理現(xiàn)有的模擬基礎設施做出關鍵決策。

簡而言之，現(xiàn)有的傳統(tǒng)同軸電纜，攝像頭，模擬復用器和解碼器都很多。 ADI公司業(yè)務開發(fā)經(jīng)理Noam Levine說，基礎設施。每個視頻監(jiān)控應用都需要仔細評估如何將數(shù)字智能與模擬基礎設施相結合，但在許多情況下，答案是將智能應用到攝像機本身。

可以通過在相機中嵌入智能來處理的相對簡單的應用是運動檢測和識別。例如，用于監(jiān)視室外場景以進行可疑活動的數(shù)碼相機可以執(zhí)行能夠區(qū)分在風中搖曳的樹木或灌木以及進入場景的個人或車輛的算法。

可能需要處理要求的應用程序除了可以經(jīng)濟地安裝到攝像機之外的應用程序之外，可能是攝像機和目標正在移動的空中監(jiān)視。在一些高端實例中，相機分辨率可能是高清晰度的。

在數(shù)字視頻監(jiān)控推出的早期階段，系統(tǒng)集成商以數(shù)字方式獲取數(shù)據(jù)（數(shù)碼相機）并執(zhí)行一些圖像處理并且隨后做出決策（轉向或提升）并不罕見相機）。然后將數(shù)據(jù)轉換為模擬數(shù)據(jù)，這樣它就可以分布在現(xiàn)有的基礎設施上，只能恢復到數(shù)字數(shù)據(jù)，以便進行更復雜的分析，最后進行存儲。

未來，我們可以期待看到可以利用傳輸幾乎免費的IP網(wǎng)絡的端到端數(shù)字系統(tǒng)。每個監(jiān)控攝像頭都將成為WebCam，智能將應用于通信路徑上的視頻數(shù)據(jù)。

計算機視頻

在某些方面，數(shù)字視頻監(jiān)控可以打開傳統(tǒng)視頻它的頭。例如，用于娛樂或類似目的的視頻通常需要平衡的圖像，其在觀看時看起來盡可能逼真。但由于監(jiān)控視頻注定要由計算機而不是人類“觀察”，因此應增強圖像以使分析更容易。

對比度就是一個很好的例子。由于運動檢測和圖像識別算法通常在很大程度上依賴于識別物體的邊緣，因此高對比度圖像可能是最好的對象，并且可以在相機系統(tǒng)內(nèi)實現(xiàn)邊緣銳化算法。

這些圖像的機器解釋直接導致決策制定，這也可以在本地相機系統(tǒng)中完成。通過已經(jīng)被識別為感興趣的對象的幀來跟蹤運動可以導致成像系統(tǒng)向攝像機定位系統(tǒng)發(fā)出指令以平移，縮放或轉動攝像機，從而可以跟蹤對象超出初始場這個和其他場景導致了一個重要的硬件考慮因素，這在傳統(tǒng)視頻處理中幾乎是未知的，并且平衡了圖像處理和控制功能。

視頻標準

除了圖像識別，壓縮對DSP處理應用程序的能力也有很大影響。在數(shù)字監(jiān)視中采用的壓縮算法包括JPEG2000，MPEG-2，MPEG-4和H.264。編解碼器的圖像分辨率通常以720×480像素（DIF）或352×288像素（CIF）來表示。

大多數(shù)使用模擬相機的應用似乎都支持MPEG4編碼ADI的Levine說，CIF圖像尺寸。對于網(wǎng)絡攝像機的壓縮，要求范圍從15幀/秒的CIF圖像到30 fps的DIF圖像。最近的請求是MPEG4，但一些OEM正在轉向H.264。

從DSP的角度來看，兩家領先的供應商＆＃151; ADI公司和德州儀器公司采取了不同的方法數(shù)字視頻監(jiān)控。

多線程RTOS

ADI公司將注意力集中在雙重要求和信號處理和控制上。 ADI公司的Levine表示，其Blackfin處理器的指令集和架構使其在任何一項任務中同樣適用于家庭。 Blackfin的架構和相關工具允許設計人員將芯片資源分配給信號處理或控制功能，包括運行TCP/IP堆棧。

由于處理器是可編程的，因此可以輕松升級以適應新算法。通過集成Quadros Systems提供的多線程操作系統(tǒng)，可進一步提高其靈活性。

雖然Blackfin/Quadros RTXC/dm RTOS是一種通用RTOS，但它為視頻監(jiān)控提供了有價值的功能，營銷總監(jiān)表示史蒂夫馬丁。它是可擴展的，可以在多個核心或多個處理器上運行。這在將多個視頻饋送全部反饋到大型機進行處理的操作中非常有用。當監(jiān)控系統(tǒng)本身擴展時也很有用，例如在安全區(qū)域添加額外的樓層。

然而，最大的優(yōu)勢是多線程，與Blackfin處理器的雙重性質相匹配。信息可以遵循兩個路徑之一，每個路徑都有自己的OS內(nèi)核。一條路徑使用以單個堆棧為特征的內(nèi)核。此路徑有時稱為輕量級線程，因為它不保存操作的上下文。這是DSP操作使用的路徑，直到完成為止，或直到它們被中斷為止。

圖1 顯示了RTOS架構。右側使用RTXC/ss（單堆棧）內(nèi)核。右側使用RTXC/ms（多堆棧）內(nèi)核。

RTOS還指定了三個優(yōu)先級的優(yōu)先級，如圖1 所示。中斷服務例程（ISR）具有最高優(yōu)先級。來自任何外圍設備（包括攝像機和其他安全傳感器）的信息可以啟動ISR，這可能導致正在進行的DSP操作停止并重置自身。 DSP操作（例如執(zhí)行算法）處于中等優(yōu)先級并且控制功能不必在硬實時中發(fā)生，例如傾斜相機和＃151;具有最低優(yōu)先級。

計算機視覺

TI的Cager表示，德州儀器公司在其高性能C6000內(nèi)核上采用數(shù)字視頻監(jiān)控解決方案，打造出一系列數(shù)字媒體處理器芯片。 VLIW架構得到了有效處理8位數(shù)據(jù)的能力的補充，因為視頻通常以8位塊的形式到達。

TMS32DM64x數(shù)字媒體處理器具有片上視頻端口，可以處理視頻和音頻。添加外圍設備以適合特定應用。 DM642有三個視頻端口; DM641有兩個視頻端口; DM640有一個視頻端口。 TCP/IP堆棧對于所有三個芯片都是通用的。

作為對這種基準性能的預期要求的指南，德州儀器的600MHz DM642視頻處理器可以處理MPEG-2，MPEG-4和H.264的多個D1解碼。編碼更加計算密集，DM642下降到單個通道，用于編碼除MPEG-4算法之外的所有編碼。 400 MHz DM640能夠處理CIF分辨率。

TI還將其以太網(wǎng)供電解決方案與其數(shù)字視頻監(jiān)控平臺相結合。 TI將其平臺稱為IP攝像機，因為它們能夠通過TCP/IP鏈路運行。

監(jiān)控自動化

雖然DSP芯片和RTOS對于正常運行的數(shù)字視頻監(jiān)控系統(tǒng)至關重要，但這些系統(tǒng)的核心是成像算法。這些用于解析視頻幀，解釋已處理的視頻數(shù)據(jù)，并根據(jù)軟件根據(jù)數(shù)據(jù)創(chuàng)建的推斷以及它與一組規(guī)則交互的方式采取特定操作。

數(shù)字視頻監(jiān)控專用軟件有三個主要組成部分：視頻分析，內(nèi)容分析以及對內(nèi)容分析結果采取措施。用于通過電纜傳輸視頻數(shù)據(jù)的視頻壓縮也有助于DSP的計算負荷。但由于壓縮的這種利用并非特定于監(jiān)視應用，因此這里不再討論。

使用TI的600-MHz，4800-MIPS DM642作為基準，圖像處理部分“只是設計師所掌握的計算能力的一小部分”，副總裁Paul Brewer表示。 ObjectVideo，Inc。的技術實際數(shù)量在實施中差別很大，但30％到40％是一個合理的大概數(shù)字。

ObjectVideo已經(jīng)在現(xiàn)場運行的軟件在PC上運行，但公司有利用DM642的嵌入式產(chǎn)品的功能原型。

第一步是視頻分析。該功能的示例包括分離和丟棄諸如雨或樹的背景圖像數(shù)據(jù)以及識別和提取移動物體。將原始視頻數(shù)據(jù)拆分為視頻監(jiān)控要素后，將其轉換為元數(shù)據(jù)。元數(shù)據(jù)來自用于面向對象編碼的MPEG-4壓縮數(shù)據(jù)。

元數(shù)據(jù)被發(fā)送到內(nèi)容分析引擎，在那里由負責站點的安全官設置的一組規(guī)則進行評估。 。這主要是評估子集的問題。例如，如果移動對象被識別為人，并且如果該人移動經(jīng)過安全機構指定的場景中的某個點，則該軟件將啟動操作。

ObjectVideo的應用軟件使用簡單點擊工具界面，幫助安全人員創(chuàng)建規(guī)則集。安全區(qū)域的視頻圖像用于繪制安全邊界，這些邊界以若干方式注釋以實現(xiàn)一組規(guī)則。示例屏幕顯示在圖2 中。

圖2前景中的視頻圖像顯示了華盛頓特區(qū)里根機場附近的海岸線。通過簡單的圖形工具繪制的大致平行于海岸線的紅線代表虛擬旅行線。

黃色箭頭表示將啟動規(guī)則違規(guī)的動作方向。如果右類的物體沿指示的方向穿過跳閘線，則至少部分規(guī)則序列將被違反。規(guī)則序列的另一部分可能是穿過絆網(wǎng)的物體類型。

除絆網(wǎng)外，該軟件還可以實施其他類型的規(guī)則，例如游蕩規(guī)則。

違反規(guī)則時，ObjectVideo控制臺上會顯示警報。此外，可以將包含靜止圖像的電子郵件發(fā)送給安全管理器，并且可以對手機進行自動呼叫。該軟件可能需要特定類型的確認，即已收到警報。

該軟件識別出潛在的威脅，Brewer說。只有安全專業(yè)人員才能確定導致一個或多個規(guī)則被破壞的活動的真實性質。

結論

數(shù)字視頻監(jiān)控需要集成多種技術之前很少被整合。嵌入式系統(tǒng)的趨勢，其中大部分智能在相機本身內(nèi)或附近，將為能夠處理工作的DSP提供快速增長的市場。