視內(nèi)和視外智能視覺(jué)傳感器的劃分與功能

行人是路面上的高危群體，行人檢測(cè)成為安全駕駛領(lǐng)域的一個(gè)研究熱點(diǎn)?；谝曈X(jué)的行人檢測(cè)過(guò)程分為個(gè)連續(xù)的步步驟：行人定位、行人識(shí)別和行人跟蹤。熱電堆和紅外傳感器是一種環(huán)境友好型的傳感器，是不需要照亮周圍環(huán)境，就可以被動(dòng)地完成行人檢測(cè)任務(wù)。

過(guò)去的20年里,視覺(jué)傳感器在智能交通系統(tǒng)中變得越來(lái)越重要。一方面，從交通基礎(chǔ)設(shè)的角度來(lái)看，使用基于交通流監(jiān)視器的視覺(jué)技術(shù)以及相關(guān)的控制策略，可以顯著提升現(xiàn)有交通數(shù)據(jù)收集和道路監(jiān)控方法的效果。另一方面在視覺(jué)傳感器的幫助下,現(xiàn)代駕駛?cè)溯o助系統(tǒng)可以對(duì)危險(xiǎn)情況和錯(cuò)誤的駕駛行為提出預(yù)警，例如偏離車道，忽視交通標(biāo)志等；如果駕駛?cè)藳](méi)有做出反應(yīng)，輔助系統(tǒng)甚至?xí)龀鲎詣?dòng)控制車輛的舉動(dòng)。現(xiàn)階段，基于駕駛安全系統(tǒng)的視覺(jué)技術(shù)已成為下一代交通工具的必要組成部分。

在過(guò)去的30年里,基于安全駕駛的視覺(jué)技術(shù)受到廣泛關(guān)注，產(chǎn)生了大量研究成果，前景廣闊。從功能上看，視覺(jué)傳感器分為兩類，監(jiān)控車內(nèi)環(huán)境的車內(nèi)傳感器和監(jiān)控車外環(huán)境的車外傳感器，如圖所示。

視內(nèi)和視外智能視覺(jué)傳感器的劃分與功能

CMOS/CCD攝像頭是智能交通工具中應(yīng)用最廣泛的視覺(jué)傳感器。正如許多文獻(xiàn)中提到的那樣,在響應(yīng)速度、安裝、操作、維護(hù)，監(jiān)控范圍等方面CMOS/CCD攝像頭優(yōu)于其他許多傳感器。但是CMOS/CCD攝像頭只有在比較理想的工作環(huán)境下才有完美的表現(xiàn)。在實(shí)際場(chǎng)景下，樹(shù)木、云朵的陰影和微弱的光照條件等因素,都會(huì)導(dǎo)致難于獲取對(duì)比度較好的清斷圖像。

近期，作為攝像頭替代品的毫米波段雷達(dá)、激光和紅外傳感器得到了研究人員的積極嘗試。這些新型傳感器的優(yōu)勢(shì)是受天氣、光照的干擾小。盡管CMOS/CCD攝像頭還難以被完全取代，但新型傳感器已經(jīng)在大量應(yīng)用場(chǎng)量中取代了傳統(tǒng)的攝像頭。

這些新型傳感器被看作是一般的視覺(jué)傳感器來(lái)進(jìn)行討論，我們還將考慮不同視覺(jué)傳感器的信息融合問(wèn)題。

智能車輛的基本視覺(jué)傳感器任務(wù)有以下幾點(diǎn)：

(1)車外視覺(jué)傳感器

1)提取車道邊界，特別是在車道邊界未被清楚地標(biāo)明和惡劣天氣場(chǎng)景下。

2)檢測(cè)車輛行駛情況，估計(jì)它們的位置、速度和加速度。

3)識(shí)別相關(guān)的交通標(biāo)志和交通信號(hào)燈。

4)測(cè)其他交通參與者、障礙，例如行人和大石塊。

(2)車內(nèi)檢測(cè)傳感器

1)監(jiān)測(cè)駕駛?cè)说难鄄縿?dòng)作情況，應(yīng)用于疲勞檢測(cè)過(guò)程。

2)監(jiān)測(cè)駕駛?cè)说氖植窟\(yùn)動(dòng)，完成假設(shè)行為學(xué)習(xí)。

3)監(jiān)測(cè)駕駛?cè)?、乘客的姿?shì)和頭部位置，從面進(jìn)行精準(zhǔn)的氣囊保護(hù)。

為了了解該領(lǐng)域其他研究人員的成果，本章首先對(duì)該研究領(lǐng)域的成果進(jìn)行了匯總。同時(shí)論述了相關(guān)的研究工作和存在的問(wèn)題，并著重討論了以下兩個(gè)問(wèn)題：

① 覺(jué)和非視覺(jué)傳感器的磁合；

② 視覺(jué)信息在車內(nèi)、車間通信過(guò)程中的共享問(wèn)題。

基于視覺(jué)信息進(jìn)行行人識(shí)別的優(yōu)勢(shì)

行人是路面上的高危群體。歐洲每年因交通事故受傷的行人超過(guò)15萬(wàn)人，致死的超過(guò)6000人。美國(guó)交通事故中有12%及行人。中國(guó)在2004年有9217人因交通事故致死,其中三分之一是行人。為了解決這一問(wèn)題，過(guò)去20年里，行人檢測(cè)成為安全駕駛領(lǐng)域的一個(gè)研究熱點(diǎn)。

研究人員Gavrila使用分類的思路來(lái)進(jìn)行行人運(yùn)動(dòng)檢測(cè)，該方法基于兩個(gè)準(zhǔn)則：限蹤空間的維度(二維或三維)和模型類型（例如空間信息的、統(tǒng)計(jì)的和基于板圖的）。盡管該方法在智能監(jiān)控、虛擬現(xiàn)實(shí)、運(yùn)動(dòng)分析和其他應(yīng)用中表度良好，但在運(yùn)動(dòng)車輛上，其對(duì)行人的檢測(cè)效果大打折扣。研究者Lombardi提出了一種新的分類方法。根據(jù)其處理過(guò)程是否包含兩個(gè)步驟，首先將這些方法分為三組：二步法、單步法和“盲”方法。

然后將這些方法分成檢測(cè)步和識(shí)別步驟。檢測(cè)步驟主要有光流法、背景差分法、閾值法和行人模板法。識(shí)別步驟主要有運(yùn)動(dòng)分析和利用興趣點(diǎn)的人體形狀分析法。然而，該分類方式并沒(méi)有考慮使用行人檢測(cè)方式完成跟蹤過(guò)程的方法。在下面的內(nèi)容中，基于視覺(jué)的行人檢測(cè)過(guò)程分為個(gè)連續(xù)的步步驟：行人定位、行人識(shí)別和行人跟蹤。

使用CCD/CMOS攝像頭的行人檢測(cè)

1.行人定位

檢測(cè)步驟的目的是找到行人可能出現(xiàn)的區(qū)域，然后在這些區(qū)域中完成行人識(shí)別和跟蹤過(guò)程。與車輛檢測(cè)類似，該領(lǐng)域的三種主要方法是基于先驗(yàn)知識(shí)的方法、基于立體視覺(jué)的方法和基于運(yùn)動(dòng)的方法。

許多方法使用了人體的形狀信息。這些方法一般不需要時(shí)間維度的信息，可以避免背景變化帶來(lái)的問(wèn)題。另一方面，由于行人運(yùn)動(dòng)過(guò)程中身體形狀多變，會(huì)給這種方法帶來(lái)極大的計(jì)算量。例如，Curio等研究人員首先根據(jù)局部圖像熵值來(lái)獲取主動(dòng)區(qū)域，然后進(jìn)行形狀匹配。該方法使用Λ形狀來(lái)表示多變的腿部形狀信息。此外，它們使用逆透視映射來(lái)檢測(cè)短距離障礙物。最后,他們使用DAF( Dynamic Activation Field,DAF)策略來(lái)進(jìn)行下一步的處理，如下圖所示。

左圖是使用熵信息、輪廓信息和三維信息來(lái)得到DAF，然后進(jìn)行初次行人檢測(cè)的示例。右圖是行人行走模型的典型步態(tài)，a-l是行人行走過(guò)程的12個(gè)階段。

另一種行人潛在區(qū)域的檢測(cè)方式是使用立體圖的方法，例如，有研究者使用基于多變量的判別分析方法來(lái)提取三維物體的特征，最終得到區(qū)分行人和周圍物體的三個(gè)有效變量。還有的研究者使用兩個(gè)車載攝像頭成對(duì)圖像中的位置差別來(lái)計(jì)算得到主體車輛與某特征點(diǎn)的距離。同時(shí),他們使用梯度方向光流法來(lái)檢測(cè)物體的運(yùn)動(dòng)情況。結(jié)合立體視覺(jué)方法和運(yùn)動(dòng)信息方法的優(yōu)勢(shì)，他們提出了光流和深度約束法，該方法可以在多種情況下快速完成行人的檢測(cè)任務(wù)。

對(duì)于提取興趣區(qū)域而言，行人運(yùn)動(dòng)信息至關(guān)重要?；谶\(yùn)動(dòng)信息的行人定位方法的一個(gè)優(yōu)勢(shì)是可以檢測(cè)被其他行人部分遺擋的行人。然而，該方法需要分析多幀的信息，這大大增加了運(yùn)行時(shí)間和計(jì)算量。同時(shí)，該方法不能檢測(cè)靜態(tài)的行人，所以該方法常常用于行人識(shí)別過(guò)程。

2.行人識(shí)別

確定行人可能出現(xiàn)的區(qū)域后，需要進(jìn)行行人識(shí)別過(guò)程，從面去掉錯(cuò)誤的區(qū)域。近剛的研究分為兩類：基于運(yùn)動(dòng)的方法和基于人體形狀的方法。第一類方法考慮了時(shí)間維度的信息，試圖檢測(cè)行人運(yùn)動(dòng)的周期性特征。第二類方法沒(méi)有用圖像序列中的特點(diǎn)，而是分析人體形狀信息。

運(yùn)動(dòng)模式，尤其是步態(tài)周期模式是區(qū)分行人和其他運(yùn)動(dòng)物體的一個(gè)重要信息。例如，有的研究者使用最大熵算法來(lái)研究行人運(yùn)動(dòng)所引發(fā)的圖像強(qiáng)度變化。他們利用運(yùn)動(dòng)過(guò)程分解得到的時(shí)間頻率和空間頻率信息，進(jìn)行模型的匹配過(guò)程。也有研究者使用時(shí)頻分析和帶 Harming窗的短時(shí)傅里葉變換來(lái)得到行走周期的變化信息。還有研究者使用自適應(yīng)時(shí)間延遲神經(jīng)網(wǎng)絡(luò)算法從輸入的圖像序列中提取局部時(shí)空特征，跟使用全局特征的方法不同，該方法在低計(jì)算量、低存儲(chǔ)需求的情況下，可以取得更好的識(shí)別別效果。

基于人體形狀的識(shí)別方法不僅可以識(shí)別運(yùn)動(dòng)行人，也可以識(shí)別靜態(tài)行人。該類方法的主要困難是光照變化、衣服變化、姿態(tài)變化和遮擋情況下的行人識(shí)別間題。

據(jù)悉，研究者Gavrila使用模板來(lái)匹配行人，然后調(diào)整這些配區(qū)域,最后使用徑向基函數(shù)對(duì)這些區(qū)域進(jìn)行分類。有研究者也使用了基于輪廓信息的四配方法。首先，基于拉普拉斯濾波來(lái)檢測(cè)邊沿，進(jìn)面得到二值邊沿圖。然后，利用距離變換將邊沿圖轉(zhuǎn)換為DT圖。最后，使用DT圖跟模板進(jìn)行匹配，小于特定閾值的被看作是真正的行人區(qū)域。為了減少計(jì)算量，有的研究者使用主動(dòng)搜索法完成后續(xù)的圖像差分搜索計(jì)算過(guò)程。有的研究者還指出之前的方法所提取的運(yùn)動(dòng)信息主要是攝像頭的運(yùn)動(dòng)而非行人的運(yùn)動(dòng)，所以他們主要在靜態(tài)圖上完成行人識(shí)別過(guò)程，利用的是行人腿部的信息。有的研究者使用 Adaboost訓(xùn)練算法將一組分類準(zhǔn)準(zhǔn)確率略高于50%的弱分類器整合成一個(gè)準(zhǔn)確率接近100%的強(qiáng)分類器。有研究者提出單幀分類算法，將獲取的圖像分成許多子區(qū)域。然后在每個(gè)子區(qū)域上分別進(jìn)行分類操作，得到局部的判別結(jié)果，最后使用特征向量分類器整合這些局部結(jié)果。研究者Bertozzi等人在基于人體形狀的方法中引入蟻群優(yōu)化算法，得到行人存在的潛在區(qū)域。

許多單步法也使用了人體形狀信息。研究者Papagcorgiou等人使用小波模板定義了物體的形狀。小波模板包含了大量對(duì)應(yīng)于不同小波子集不同尺度上的規(guī)則區(qū)域。不同區(qū)域間的關(guān)系可以用小波系數(shù)來(lái)表示和加以限制。雖然不同區(qū)域的強(qiáng)度會(huì)有較大變化，但其關(guān)系卻變化不大。 Elein等研究人使用基于小波的特征提取算法和模板匹配方式來(lái)檢測(cè)行人。他們對(duì)訓(xùn)練圖像分塊后使用Haar小波變換提取相關(guān)特征，得到特征模板，然后將測(cè)試圖像的特征向量跟模板進(jìn)行匹配，得到檢測(cè)結(jié)果。

3.行人跟蹤

行人跟蹤能夠有效評(píng)估行人的運(yùn)動(dòng)過(guò)程，同時(shí)預(yù)測(cè)可能的碰撞情況，從而成為現(xiàn)階段的一個(gè)研究熱點(diǎn)。跟蹤過(guò)程中會(huì)綜合使用位置、速度、形狀和圖像序列中的其他特征。卡爾曼濾波、 Condensation算法和動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)也被用到該任務(wù)中。

借助行人的線性形狀模型，研究者Philomin等人使用 Condensation器來(lái)完成目標(biāo)的跟蹤任務(wù)，最終使用準(zhǔn)蒙特卡洛方法將其轉(zhuǎn)化為高維問(wèn)題， Gavrila等人使用特定的（α-β）跟蹤器來(lái)估計(jì)物體的狀態(tài)參數(shù)。跟蹤器本身是一個(gè)卡爾曼濾波器，其速度固定，帶有穩(wěn)態(tài)增益。由于檢測(cè)過(guò)程已經(jīng)成功解決了物體的形變問(wèn)題，跟蹤器只需要完成定位任務(wù)。研究者Bertozzi等人使用卡爾曼濾波器來(lái)估計(jì)行人位置，計(jì)算行人運(yùn)動(dòng)，進(jìn)而實(shí)現(xiàn)行人跟蹤。

使用紅外攝像頭的行人檢測(cè)

盡管大量研究人員使用視覺(jué)信息進(jìn)行行人檢測(cè)，但該類方法在實(shí)際應(yīng)用中仍然存在許多困難。例如室外場(chǎng)景的復(fù)雜多變，行人外形因?yàn)榉?、姿態(tài)和運(yùn)動(dòng)面變化多端。由于車輛處于運(yùn)動(dòng)狀態(tài)，背景場(chǎng)景的變化也不可避免。

為解決這些問(wèn)題,近期的一些研究在智能車輛系統(tǒng)中使用了熱電堆和紅外傳感器。由于行人比周圍背景的溫度高，有研究人員使用熱電堆傳感器來(lái)探測(cè)視野中的物體。基于同樣的原理理，有研究者使用紅外傳感器進(jìn)行行人檢測(cè)?？梢詮倪@些二推熱圖像中分析形態(tài)學(xué)特征和熱特征，進(jìn)面找到行人。

熱電堆和紅外傳感器的優(yōu)點(diǎn)是檢測(cè)過(guò)程簡(jiǎn)便易行。檢測(cè)率高于傳傳統(tǒng)的基于視覺(jué)的方法。下圖形象地說(shuō)明了利用紅外圖像從周圍環(huán)境檢出行人的過(guò)程。此外，基于紅外攝像頭的方法似乎是唯一可靠的夜間行人檢測(cè)方法

立體紅外攝像頭系統(tǒng)的預(yù)處理過(guò)程

a)最初的輸人圖 b)注意力焦點(diǎn)區(qū)域

熱電堆和紅外傳感器的另一個(gè)優(yōu)點(diǎn)是不需要照亮周圍環(huán)境，就可以被動(dòng)地完成行人檢測(cè)任務(wù)。因此，它們對(duì)環(huán)境不產(chǎn)生額外的干找,是一種環(huán)境友好型的傳感器。紅外攝像頭的唯一缺點(diǎn)是其成本較高，這限制了它的應(yīng)用范圍。今后，如何使用低成本的車載紅外攝像頭完成行人檢測(cè)將成為一個(gè)熱點(diǎn)問(wèn)題。