通過建立牌照與卷積算子形態(tài)學實現(xiàn)汽車牌照的提取方法

基于圖像理解的汽車牌照自動識別系統(tǒng)是智能交通系統(tǒng)一個重要分支，有著非常廣泛的應(yīng)用前景，而把汽車牌照從復(fù)雜的汽車圖像中分割出來是汽車牌照自動識別系統(tǒng)必須解決的關(guān)鍵問題。在過去的十幾年中，各國的科研人員提出了不少提取汽車牌照的方法。Choi和Kim提出利用Hough變換尋找垂直邊緣提取汽車牌照的方法，此方法由于許多汽車前部散熱器產(chǎn)生的垂直邊緣和某些牌照邊框的扭曲或某些汽車牌照沒有邊框而魯棒性較差。S.K.Kim和H.J.Kim提出的基于遺傳算法分割提取汽車牌照的方法，最大缺點是耗時長，難以進行實時處理。S.H.Park提出的一種基于神經(jīng)網(wǎng)絡(luò)提取汽車牌照的方法，使用二個時延神經(jīng)網(wǎng)絡(luò)在水平和垂直方向?qū)斎雸D像進行濾波，得到牌照的候選區(qū)域，然后利用牌照的長寬比、面積、面積與周長比來區(qū)分真正的牌照區(qū)域與類牌照區(qū)域。此方法要求圖像中的牌照尺寸基本不變，一旦圖像中的牌照尺寸發(fā)生了較大的變化，必須對神經(jīng)網(wǎng)絡(luò)重新進行訓練。T.R.Crimmins提出了一種數(shù)字形態(tài)學方法，此方法用不同尺寸的每個可能字符作為結(jié)構(gòu)元素，采用擊中擊不中方法先提取輸入圖像中的字符，再根據(jù)牌照字符的語法得到汽車牌照，這種方法計算量非常大且易受噪聲影響。C.H.Poon提出了一種灰值形態(tài)學方法，它通過檢測字符中的直線段和字符間的空間來提取牌照，這種方法耗時較多，且沒有利用版照的尺寸信息。C.M.Hwang提出了空間頻率方法，它利用牌照區(qū)域內(nèi)空間頻率變化大的特性，對圖像進行一階差分。差分圖在牌照區(qū)域內(nèi)形成多個峰，然后利用峰的幅度、寬度和密度區(qū)分真正的牌照區(qū)域與類牌照區(qū)域。這種方法具耗時少、抗噪能力強的優(yōu)點。本文提出的灰值形態(tài)學方法僅利用了牌照區(qū)域內(nèi)空間頻率變化大的特性而且利用了牌照區(qū)域字符筆劃具有高曲的特性，因而比單純的空間頻率方法更加有效。通過建立牌照與卷積算子形態(tài)學結(jié)構(gòu)元素尺寸的相互關(guān)系。本文提出的方法對不同尺寸牌照具有很好的魯棒性。

1、 數(shù)字形態(tài)學

數(shù)字形態(tài)學是一種重要的數(shù)字圖像處理方法和理論。在數(shù)字形態(tài)學中，兩種最基本的變換或運算是腐蝕和膨脹，其它形態(tài)學變換都可通過它們來定義。下面列出了一些灰值形態(tài)學變換的定義。

圖像f（x，y）平移（a，b）定義為：

f（a，b）（x，y）=f（x-a，y-b）

圖像f（x，y）相對于原點的反射為：

f^（x，y）=f（-x，-y）

二幅圖像f（x，y）和g（x，y）的最小記為（f∧g）（x，y）。

當（x，y）位于圖像f的定義域D（f）和圖像g的定義域D（g）的交集D（f）∩D（g）內(nèi)時：

（f∧g）（x，y）=min{f（x，y），g（x，y）}

否則：

（f∧g）（x，y）=0

二幅圖像f（x，y）和g（x，y）的最大記為（f∨g）（x，y）。

當（x，y）位于圖像f的定義域D（f）和圖像g的定義域D（g）的交集D（f）∩D（g）內(nèi)時：

（f∨g）（x，y）=max{f（x，y），g（x，y）}

當（x，y）∈D（f）且（x，y）∈D（g）時

（f∨g）（x，y）=f（x，y）

當（x，y）∈D（g）且（x，y）∈D（f）時

（f∨g）（x，y）=g（x，y）

f（x，y）被g（x，y）膨脹定義為：

（f⊙g）（x，y）=max{f（x-a，y-b）+g（a，b）}

（a，b）∈D（g）

f（x，y）被g（x，y）腐蝕定義為：

（f⊙g）（x，y）=max{f（x-a，y-b）-g（a，b）}

（a，b）∈D（g）

開運算定義：

fog=（f⊙g）⊙g

閉運算定義：

f·g=（f⊙g）⊙g

Top-Hat變換定義：

Hat（f，g）=f-fog

與Top-Hat變換相對的是波谷檢測器（Valley變換），其定義為：

Valley（f，g）=（f·g）-f

2、 牌照提取算法

在牌照提取算法中，需要用到卷積、模板卷積和卷積投影等概念。下面對它們進行定義。

圖1中牌照區(qū)域的長為173象素、高為36象素。從左到右、從上到下的8條曲線依次為牌照區(qū)域灰度圖第10～17條水平方向的灰度值。通過觀察發(fā)現(xiàn)，在牌照區(qū)域的水平方向不令空間頻率變化大，而且具有許多陡峭的峰（欲）和高曲率點。而灰值形態(tài)學的梯度變換可以對圖像進行高通濾波，灰值形態(tài)學的Top-Hat變換和Valley變換可以撮高曲率點、波峰和波谷。

進行形態(tài)學變換，需要考慮二個因素：結(jié)構(gòu)元素和變換類型。變換類型準備采用灰值形態(tài)學的梯度變換、Top-Hat變換和Valley變換。結(jié)果元素采用n×1的維水平結(jié)構(gòu)，以提取水平方向上的高頻分量、波峰和波谷。結(jié)構(gòu)元素的大小n對Top-Hat變換和Valley變換的結(jié)果結(jié)構(gòu)元素的大小n對Top-Hat變換和Valley變換的結(jié)果有著很大的影響，因此問題的關(guān)鍵是怎樣確定n。

分析圖1中水平方向的灰度曲線，發(fā)現(xiàn)在穿過字符的水平線上，灰度曲線波峰的寬度與字符垂直筆劃的寬度存在著某種線性關(guān)系。根據(jù)中國汽車牌照的一般規(guī)范，牌照上字符的垂直筆劃寬度與牌照的寬度也存在著某種線性關(guān)系。結(jié)構(gòu)元素的尺寸n與灰度曲線波峰的寬度又可建立一種線性關(guān)系。因此可建立n與牌照寬度w的一種近似線性的關(guān)系：

由上式可知，當牌照的寬度w變化25個象素時，結(jié)構(gòu)元素的大小n才變化1個單位，也就是說n對w不是很敏感。

牌照區(qū)域提取算法包括以下幾步：

（1）縮小圖像：對輸入的灰值汽車圖像進行隔行隔列抽樣，得到一幅大小為四分之一原因的新圖像。接下列抽樣，得到一幅大小為四分之一原圖的新圖像。接下來的處理均在新圖像上進行，這樣可以大大減少處理時間，提高算法的效率。根據(jù)形態(tài)學的尺度變換兼容性原理，對圖像縮?。ǚ糯螅┖笤龠M行形態(tài)學變換，只要對結(jié)構(gòu)元素做相應(yīng)的變換，結(jié)果不變。

（2）水平分割：對汽車圖像進行水平分割，得到幾個可能含牌照的水平區(qū)域。

（3）垂直分割：對第（2）步所得到的每一個水平區(qū)域進行垂直分割，得到一些牌照的候選區(qū)域。

（4）牌照區(qū)域甄別：分析各個候選區(qū)域得出真正的牌照區(qū)域。

2.1 水平分割

分別對汽車圖像進行灰值形態(tài)學的梯度變換、Top-Hat變換和Valley變換，如圖2。一般來說，在大多數(shù)汽車車牌照自動識別系統(tǒng)應(yīng)用中，CCD攝取的汽車圖像中牌照的大致寬度和高度是已知的。如果牌照的寬度為w∈（a，b），則取水平模板m×1，其中m=（a+b）/2。用模板分別對圖像的梯度圖、Top-Hat變換圖和Valley變換圖進行水平模板卷積。對每幀變換圖取每一行模板水平卷積的最大值，得到1個一維數(shù)組，3幅變換圖共得到3個一維數(shù)組g1，ti和vi，其中i大于等于1，而小于等于圖像的高度，其曲線如圖2的b、c、d。觀察圖2可以發(fā)現(xiàn)，由于受車體上其它字符和車前燈等因素的影響，僅僅依靠梯度圖較難對牌照進行水平定位，而結(jié)合Top-Hat變換圖和Valley變換圖，能更好地對牌照進行水平定位。據(jù)此，構(gòu)成了1個一維數(shù)組pi。

pi=gi×ti×vi

其曲線如圖3。取圖3中最高峰的位置作為牌照的水平中線，為了確保不會出錯，把次高峰也作為牌照的另一備選位置。了高峰和次高峰的位置，分割出2個寬為汽車圖像寬度，高為牌照的最大可能高度b的區(qū)域，如圖4中的a和b。

2.2 垂直分割

對圖4中的a和b二個區(qū)域分別進行灰值形態(tài)學的梯度變換、Top-Hat變換和Valley變換，并在垂直方向?qū)ψ儞Q圖進行卷積得到3個一維數(shù)組gi、ti和vi，其中i大于等于1，而小于等于圖像的寬度w，其曲線如圖5和圖6。qi=gi×ti×vi的曲線如圖7。利用下面的公式分別對圖4中的a和b進行垂直分割。

{（m，n）|qi》kT，i=m.。.n，n-m+1∈（a，b）}

其中：T=Max（qi），k為一經(jīng)驗值，（a，b）為牌照的寬度范圍。

i=l.。.w

分割結(jié)果如圖8所示。

2.3 牌照區(qū)域甄別

分別標注牌照二候選區(qū)的水平峰值（或谷值）點，如圖9（a）中的白點，標注的峰值點要求峰高與峰寬的比大于一經(jīng)驗閥值；分別把牌照二候選區(qū)二值化，如圖9（b）；然后把候選區(qū)峰值（或谷值）點圖與二值化圖作與運算得到有效峰點（或谷點）圖，如圖9（c）。在有效峰點（或谷點圖中統(tǒng)計有效行數(shù)。如果一行內(nèi)有效峰點（或谷點）數(shù)大于T1而小于T2，為有效行，則認為有效行數(shù)多者為真正的牌照區(qū)域。其中T1和T2為經(jīng)驗值。

從復(fù)雜的汽車圖像中如何把牌照區(qū)域分離出來，是汽車牌照自動識別系統(tǒng)必須解決的問題。本文提出了一種利用灰度形態(tài)變換快速提取汽車牌照區(qū)域的信號。針對牌照區(qū)域內(nèi)空間頻率變化大和牌照區(qū)域內(nèi)字符筆劃具有高曲率的特性，利用灰值形態(tài)學的梯度變換、Top-Hat變換和Valley變換，對輸入的圖像進行濾波，接著根據(jù)牌照的大致尺寸得到幾個牌照的候選區(qū)域，最后分析候選區(qū)域內(nèi)水平方向的波峰的高寬比和波峰數(shù)據(jù)得到真正的牌照區(qū)域。實驗表明本文提出的方法定位準確率高，抗噪能力強，且耗時較少，能夠滿足實時性要求。

責任編輯：gt