探究自動駕駛傳感器之車載攝像色彩感應(yīng)及校正

前面有提到了，攝像頭出來的信號一定要經(jīng)過ISP處理，那ISP要怎么處理這些信號，有哪些處理，這些其實(shí)都是涉及到色彩相關(guān)的內(nèi)容，首先我們進(jìn)行色彩相關(guān)內(nèi)容的科普，然后再講解ISP怎么處理這些信號。

camera sensor效果的調(diào)整，涉及到眾多的參數(shù)，如果對基本的光學(xué)原理及sensor軟/硬件對圖像處理的原理能有深入的理解和把握的話，對我們的工作將會起到事半功倍的效果。否則，缺乏了理論的指導(dǎo)，只能是憑感覺和經(jīng)驗(yàn)去碰，往往無法準(zhǔn)確的把握問題的關(guān)鍵，不能掌握sensor調(diào)試的核心技術(shù)，無法根本的解決問題。

色彩原理

人眼對色彩的識別，是基于人眼對光線存在三種不同的感應(yīng)單元，不同的感應(yīng)單元對不同波段的光有不同的響應(yīng)曲線的原理，通過大腦的合成得到色彩的感知。一般來說，我們可以通俗的用RGB三基色的概念來理解顏色的分解和合成。

理論上，如果人眼和sensor對光譜的色光的響應(yīng)，在光譜上的體現(xiàn)如下的話，基本上對三色光的響應(yīng)，相互之間不會發(fā)生影響，沒有所謂的交叉效應(yīng)。

但是，實(shí)際情況并沒有如此理想，下圖表示了人眼的三色感應(yīng)系統(tǒng)對光譜的響應(yīng)情況?？梢奟GB的響應(yīng)并不是完全獨(dú)立的。

下圖則表示了某Kodak相機(jī)光譜的響應(yīng)?？梢娖渑c人眼的響應(yīng)曲線有較大的區(qū)別。

sensor的色彩感應(yīng)的校正

既然我們已經(jīng)看到sensor對光譜的響應(yīng)，在RGB各分量上與人眼對光譜的響應(yīng)通常是有偏差的，當(dāng)然就需要對其進(jìn)行校正。不光是在交叉效應(yīng)上，同樣對色彩各分量的響應(yīng)強(qiáng)度也需要校正。通常的做法是通過一個色彩校正矩陣對顏色進(jìn)行一次校正。

該色彩校正的運(yùn)算通常是由sensor模塊集成或后端的ISP完成，軟件通過修改相關(guān)寄存器得到正確的校正結(jié)果。值得注意的一點(diǎn)是，由于RGB -》 YUV的轉(zhuǎn)換也是通過一個3*3的變換矩陣來實(shí)現(xiàn)的，所以有時候這兩個矩陣在ISP處理的過程中會合并在一起，通過一次矩陣運(yùn)算操作完成色彩的校正和顏色空間的轉(zhuǎn)換。

顏色空間及變化

實(shí)際上顏色的描述是非常復(fù)雜的，比如RGB三基色加光系統(tǒng)就不能涵蓋所有可能的顏色，出于各種色彩表達(dá)，以及色彩變換和軟硬件應(yīng)用的需求，存在各種各樣的顏色模型及色彩空間的表達(dá)方式。這些顏色模型，根據(jù)不同的劃分標(biāo)準(zhǔn)，可以按不同的原則劃分為不同的類別。

匹配任意可見光所需的三原色光比例曲線

對于sensor來說，我們經(jīng)常接觸到的色彩空間的概念，主要是RGB ， YUV這兩種（實(shí)際上，這兩種體系包含了許多種不同的顏色表達(dá)方式和模型，如sRGB， Adobe RGB， YUV422， YUV420 …）， RGB如前所述就是按三基色加光系統(tǒng)的原理來描述顏色，而YUV則是按照 亮度，色差的原理來描述顏色。

不比其它顏色空間的轉(zhuǎn)換有一個標(biāo)準(zhǔn)的轉(zhuǎn)換公式，因?yàn)閅UV在很大程度上是與硬件相關(guān)的，所以RGB與YUV的轉(zhuǎn)換公式通常會多個版本，略有不同。

常見的公式如下：

Y=0.30R+0.59G+0.11B

U=0.493（B － Y） = － 0.15R － 0.29G +0.44B

V=0.877（R － Y） = 0.62R － 0.52G － 0.10B

但是這樣獲得的YUV值存在著負(fù)值以及取值范圍上下限之差不為255等等問題，不利于計(jì)算機(jī)處理，所以根據(jù)不同的理解和需求，通常在軟件處理中會用到各種不同的變形的公式，這里就不列舉了。

體現(xiàn)在Sensor上，我們也會發(fā)現(xiàn)有些Sensor可以設(shè)置YUV的輸出取值范圍。原因就在于此。

從公式中，我們關(guān)鍵要理解的一點(diǎn)是，UV 信號實(shí)際上就是藍(lán)色差信號和紅色差信號，進(jìn)而言之，實(shí)際上一定程度上間接的代表了藍(lán)色和紅色的強(qiáng)度，理解這一點(diǎn)對于我們理解各種顏色變換處理的過程會有很大的幫助。

編輯：jq