基于FPGA的嵌入式視覺的應(yīng)用

什么樣的積極創(chuàng)新可以幫助您設(shè)計出這樣一個系統(tǒng)——它能夠提醒用戶有兒童在游泳池中溺水，或是有入侵者試圖闖入住宅或者辦公場所？這種技術(shù)還能夠提醒駕駛員道路上即將發(fā)生的危險，甚至可以制止他們并線、加速及其它可能會給自身或他人帶來危險的操作。它能夠給軍用無人機(jī)或其他機(jī)器人配上電子“眼”，使這些設(shè)備部分實(shí)現(xiàn)甚至完全實(shí)現(xiàn)自動化操作。它能夠協(xié)助內(nèi)科醫(yī)生診斷患者的病情。它能夠準(zhǔn)確地進(jìn)行面部識別，隨后啟動一系列操作（例如自動登錄用戶賬號，或者獲取相關(guān)新聞及其它信息），解讀姿態(tài)， 甚至覺察人的情緒狀態(tài)。與GPS、指南針、加速計、陀螺儀和其他功能配合，它還能夠提供數(shù)據(jù)強(qiáng)化(data augmented) 的場景再現(xiàn)。

上面談到的應(yīng)用實(shí)例都采用了一項共同的技術(shù)，即嵌入式視覺。該技術(shù)正準(zhǔn)備書寫新一代電子系統(tǒng)的成功篇章。嵌入式視覺最初應(yīng)用于組裝生產(chǎn)線檢測、光學(xué)字符識別、機(jī)器人、監(jiān)視和軍用系統(tǒng)等傳統(tǒng)的計算機(jī)視覺應(yīng)用。不過近年來，隨著關(guān)鍵技術(shù)構(gòu)建塊成本的不斷下降以及功能的不斷豐富，嵌入式視覺技術(shù)不斷向主要的大批量市場加速滲透。

例如，在日益豐富和不斷提高的應(yīng)用需求的推動下，圖像傳感器的分辨率、低亮度性能、幀速率、尺寸、功耗和成本等關(guān)鍵特性都有著明顯的改善。同樣，嵌入式視覺應(yīng)用也要求處理器具備高性能、低成本、低功耗以及靈活的可編程功能。這些理想的特性在不計其數(shù)的產(chǎn)品設(shè)計中正日漸變?yōu)楝F(xiàn)實(shí)。最新一代光學(xué)系統(tǒng)、照明模塊、易失性和非易失性存儲器以及I/O 標(biāo)準(zhǔn)也正在實(shí)現(xiàn)類似的特性優(yōu)化。因此，算法到了迎接挑戰(zhàn)的關(guān)口，需要充分利用這些硬件性能的改進(jìn)來提供更穩(wěn)健可靠的分析結(jié)果。

嵌入式視覺指的是能夠通過視覺方式理解其所處環(huán)境的機(jī)器。“嵌入式”的意思指內(nèi)置圖像傳感器的非通用型計算機(jī)系統(tǒng)。比如，嵌入式可以是手機(jī)、平板電腦、監(jiān)視系統(tǒng)、地面或者具備飛行能力的機(jī)器人、安裝有一套 360°攝像頭的車輛或者是醫(yī)療診斷設(shè)備。它也可以是有線或者無線用戶界面外設(shè)。這方面微軟針對 Xbo x360 游戲機(jī)提供的 Kinect 可能是最好的例證，上市頭 2 個月就銷售出 800萬件。

FPGA 的商機(jī)：案例研究
可供選用的穩(wěn)健可靠的嵌入式視覺處理產(chǎn)品豐富多樣，如微處理器與嵌入式控制器、專用 SoC、DSP、圖形處理器、ASIC 和 FPGA。FPGA 是一款用于實(shí)現(xiàn)嵌入式視覺技術(shù)的極富吸引力的芯片平臺，因?yàn)樗鼘?ASIC的高性能和低功耗硬件以及可運(yùn)行在CPU、GPU 或 DSP 上的軟件算法的靈活性和快速上市優(yōu)勢集于一身。在嵌入式視覺市場處于襁褓時期的當(dāng)前階段，靈活性具有特別重要的意義。因?yàn)闉榱酥С侄鄻踊乃惴ㄟx擇，迅速完成缺陷修正和特性集改進(jìn)是一種常態(tài)，而非偶然。FPGA 的硬件可配置能力也便于讓設(shè)計經(jīng)簡單直觀修改就能適用于支持各種串行和并行（以及模擬和數(shù)字）接口的圖像傳感器。

嵌入式視覺聯(lián)盟是由世界各地的開發(fā)商和提供商組成的統(tǒng)一的全球性聯(lián)盟，其宗旨是以豐富、迅速和高效的方式將嵌入式視覺的潛力變?yōu)楝F(xiàn)實(shí)（見側(cè)邊欄）。該聯(lián)盟的兩個創(chuàng)始成員 (BDTI) 伯克利設(shè)計技術(shù)公司和賽靈思已聯(lián)合開發(fā)出一個參考設(shè)計，用于證實(shí)嵌入式視覺技術(shù)不可估量的市場前景以及 FPGA 在實(shí)現(xiàn)該前景中可能發(fā)揮的作用。這個項目的目的是探索系統(tǒng)設(shè)計人員在開發(fā)高度復(fù)雜的智能視覺平臺時可進(jìn)行的典型架構(gòu)決策，該平臺所包含的元件需要高強(qiáng)度硬件處理和復(fù)雜的軟件及算法控制。

BDTI 和賽靈思對設(shè)計進(jìn)行了分區(qū)，其中 FPGA 架構(gòu)負(fù)責(zé)處理數(shù)字信號處理密集型運(yùn)算，而 CPU 則負(fù)責(zé)處理復(fù)雜的控制和預(yù)測算法。在這個探索性實(shí)現(xiàn)方案中，CPU 電路板通過以太網(wǎng)接口連接到 FPGA 開發(fā)板。FPGA 執(zhí)行高帶寬處理，僅有元數(shù)據(jù)通過網(wǎng)絡(luò) (network tether) 進(jìn)行交換。該項目還探索了軟硬件同步開發(fā)，故要求在最終的 FPGA 硬件實(shí)現(xiàn)之前使用精準(zhǔn)的仿真模型。

第一階段：道路標(biāo)志檢測
項目的第一階段和第二階段均采用了兩個基于 PC 的專門功能：正在開發(fā)中的賽靈思視頻 IP 模塊的仿真模型和一個由 BDTI 開發(fā)的處理應(yīng)用（見圖 1）。輸入數(shù)據(jù)為 720p 高清分辨率、60 fps 的 YUV 編碼視頻流，代表車輛正前方攝像頭可能采集到的圖像。其目的是識別（雖然沒有采用光學(xué)字符職別技術(shù)“讀取”，但這項功能可以自然延伸出來）視頻幀中的四種類型的對象，以輔助駕駛員駕駛：
? 綠色方向標(biāo)志
? 黃色和桔紅色危險標(biāo)志
? 藍(lán)色信息標(biāo)志
? 桔紅色安全錐