基于ISP的圖像紫邊問題分析

紫邊

紫邊顧名思義，就是在攝影成像時，在對比度強烈，以及大光圈時經(jīng)常會產(chǎn)生的紫色邊緣的Artifact，其實除了紫色也會存在藍色和綠色的情況。目前大部分人用光學像差來解釋這個問題，其實這只是一方面。實際上除了鏡頭，紫邊和Sensor、兩者的匹配以及算法都有關(guān)系。 通?？梢赃x取比較高檔的經(jīng)過光學優(yōu)化的鏡頭以及更好的Sensor來消除紫邊。這些方法不管用的情況下還可以用PS，Lightroom等后期軟件來后處理消除紫邊。 不過在ISP里面，其實有CAC和根據(jù)圖像分析Depurple兩種算法模塊來處理這種問題。其中，CAC常用于像差校正。根據(jù)圖像分析Depurple實現(xiàn)較難，通常只在比較新的ISP中存在。

成因 1.鏡頭色差

色差是由透鏡的光學特性造成的。可見光的每個特定區(qū)域都有不同的波長，波長越長，折射率越高。R、G和B光的波長分別為650nm、510nm和475nm。它們的折射率與波長有關(guān)，因此色差發(fā)生在橫向或縱向。因此，R、G、B三個通道在不同位置都呈現(xiàn)出模糊焦點。特別是近邊緣出現(xiàn)紫色邊緣，其亮度差異較大。 橫向色差，看到的大多數(shù)紫邊是由于鏡頭的橫向色差造成的——同樣的色差會在圖像的角落出現(xiàn)黃色、紅色或藍色條紋。不同波長的光可以通過鏡頭并在稍微不同的位置重新聚焦在圖像傳感器上。

橫向色差是指光的波長在傳感器上沒有完全對齊，導致照片的銳利、高對比度部分，尤其是角落處，呈現(xiàn)出經(jīng)典的紅/藍色條紋外觀。即使在具有非常好的色差校正的鏡頭上，同樣的效果也會導致紫邊。這是因為導致紫邊的情況——即黑暗物體（如樹枝）與非常明亮的物體對比——極大地夸大了鏡頭的像差。即使是經(jīng)過良好校正的鏡頭也會在這些情況下顯示出一些紫色光暈，通常是在整個圖像中，而不僅僅是在角落。

縱向色差，獲得紫邊的另一種方法是使用具有強縱向色差的鏡頭（離焦區(qū)域中的又名綠色和紫色條紋）。對象前面的物體帶有紫色條紋，而背景帶有綠色。因此，如果照片中的對比度非常高，并且稍微位于焦點前面，那么大多數(shù)鏡頭都會出現(xiàn)紫邊。例如，在天體攝影中，如果你聚焦得太遠，在恒星周圍出現(xiàn)紫邊是很常見的。

此外，由于設(shè)計軟件里對應(yīng)短波長的權(quán)重一般較低，而紫邊場景一般亮度對比度較高，導致短波長部分的色差被放大了。并且傳感器B 通道是一個連續(xù)的頻譜，和設(shè)計軟件里離散的波長設(shè)置有一定出入。所以模擬紫邊最好以傳感器的頻譜為準，平常3-5離散波長的計算結(jié)果不一定準確。其次紫邊的的本質(zhì)是RGB 通道各自PSF之間能量分布的差別，不同的曝光條件和飽和度條件下紫邊會有所不同。

2.Blooming

CCD圖像傳感器的原理和結(jié)構(gòu)使其有較好光照靈敏度高、噪音低、圖象質(zhì)量較高的優(yōu)點，一般CCD工業(yè)相機的動態(tài)范圍在60dB左右。但在圖像中有高亮度的點或區(qū)域時，CCD圖像傳感器存在讓圖像質(zhì)量嚴重劣化的“Blooming”和“Smear”效應(yīng)。

當成像視場中存在亮度較高的點光源或亮區(qū)域時，CCD在亮點光源附件區(qū)域有Blooming或稱為“開花”（也叫光暈或高光溢出）的效應(yīng)。 它是CCD傳感器像素在受到強光照射時，亮點區(qū)域像元獲得的光照過強，像元光電二極管在強光下產(chǎn)生的光電子數(shù)超過CCD電荷存儲區(qū)可以存儲的最大電子數(shù)而溢出，溢出的電子將沿行或列方向進入相鄰像素，“污染”相鄰圖像區(qū)域 （使相鄰區(qū)域也飽和），圖像出現(xiàn)Blooming “開花”（光暈）現(xiàn)象，Blooming會導致相機圖像清晰度明顯下降，嚴重影響成像的質(zhì)量。

不同程度的“Blooming”會使圖像出現(xiàn)不同程度的光暈圖像，光暈圖像無法真實反映要觀測區(qū)域的細節(jié)信息，會丟失許多有用的信息。焊接實時檢測的圖像獲取系統(tǒng)中，如果沒有特殊的抗干擾措施，焊接等離子體的強光會在CCD工業(yè)相機上產(chǎn)生嚴重的光暈，使焊接熔池中心及邊緣部分的圖像信息全部損失。

3.Sensor和鏡頭的匹配

由于鏡頭和Sensor的適配等各種因素導致高角度入射光不僅激發(fā)了正確位置的PhotoDiode，也激發(fā)了其周圍PD，最終形成彩色光暈，如下圖所示。

4.ISP算法的Arttifact

去馬賽克算法也會造成紫邊。由于Sensor的顏色陣列通常被稱為拜耳模式，每個照片點都有選擇地接收到一個R、G和B顏色的信號，其余兩個顏色需要被插值插出來。然而，由于三種顏色之間的不一致性，插值會產(chǎn)生偽影。這種偽影是由于顏色不連續(xù)周圍的色調(diào)突然變化而出現(xiàn)的，稱為偽色。

消除

去紫邊的算法在ISP分為CAC（Chromatic Aberration Correction）和基于圖像分析的方法紫邊Depurple。

1.CAC

CAC用來消除鏡頭引起的像差，類似Distortion Correction。分為標定和校正兩步。通常使用拍攝圈點圖算出每個圓的圓心和3個通道的偏移量，校正的時候再根據(jù)偏移量插值回正確的位置。

這個標定其實就是算法推廣的最大困難。另外就是由于CAC標定的是像素的平移動偏差，所以只能對于像差引起紫邊比較有效。

2.Depurple

主要分為檢測和校正2步。 檢測3個條件： 1.NSRs，近飽和區(qū)域3通道平均值大于230（8bit）； 2.CRs，顏色特性復(fù)合紫色區(qū)域（B-G>25，R-B<25）； 3.顏色梯度，圖片經(jīng)過非均勻量化后的梯度圖，紫邊一般位于一側(cè)是亮度一側(cè)是較暗的位置。 ? ? 校正3種方式： 1.使用附近的顏色插值插一個過渡色（計算復(fù)雜但是自然）； 2.降飽和度（變灰）； 3.將R和B的值設(shè)置為G。 ?

? 誤判 在紫邊糾正的算法中如何防止誤判是很關(guān)鍵的，從下圖可以看出由于融合了梯度信息，導致紫色衣服這樣的的負樣本沒有被誤傷。

? 總結(jié) 目前來看，在實際的Camera生產(chǎn)過程中，如果通過鏡頭及鏡頭和Sensor的匹配改善紫邊的硬件修改成本會比較高。所以通過一個好的ISP去紫邊算法改進這個問題會是一個大的趨勢。

審核編輯：黃飛

?