圖像傳感器是什么？圖像傳感器常見(jiàn)參數(shù)解讀

來(lái)源：機(jī)器之瞳

概述

典型圖像傳感器的核心是CCD單元（Charge-coupled Device，電荷耦合器件）或標(biāo)準(zhǔn)CMOS單元（Complementary Meta-oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體）。CCD和CMOS傳感器具有類(lèi)似的特性，它們被廣泛應(yīng)用于商業(yè)攝像機(jī)上。不過(guò)，現(xiàn)代多數(shù)傳感器均使用CMOS單元，這主要是出于制造方面的考慮。傳感器和光學(xué)器件常常整合在一起用于制造晶片級(jí)攝像機(jī)，這種攝像機(jī)被用在類(lèi)似于生物學(xué)或顯微鏡學(xué)等領(lǐng)域，整合了光學(xué)器件和顏色過(guò)濾器的圖像傳感器的常用排列如下圖所示。圖像傳感器是為滿(mǎn)足不同應(yīng)用的特殊目標(biāo)而設(shè)計(jì)的，它提供了不同級(jí)別的靈敏度和質(zhì)量。

感光材料

硅制圖像傳感器應(yīng)用最廣，當(dāng)然也會(huì)使用其他材料，比如在工業(yè)和軍事應(yīng)用中會(huì)用鎵（Ga）來(lái)覆蓋比硅更長(zhǎng)的紅外波長(zhǎng)。不同的攝像機(jī)，其圖像傳感器的分辨率會(huì)有所不同。從單像素光電晶體管攝像機(jī)，到普通攝像機(jī)上的二維長(zhǎng)方形陣列，都有可能用到。普通成像傳感器采用CCD、CMOS、BSI和Foveon方法進(jìn)行制造。硅制圖像傳感器具有一個(gè)非線性的光譜響應(yīng)曲線，這會(huì)很好地感知光譜的近紅外部分，但對(duì)藍(lán)色、紫色和近紫外部分就感知的不好，幾種硅光電二極管的典型光譜響應(yīng)如下圖所示

可以注意到，光電二極管在900納米附近的近紅外范圍內(nèi)具有高的敏感度，而在橫跨400～700nm的可見(jiàn)光范圍內(nèi)具有非線性的敏感度。由于標(biāo)準(zhǔn)的硅響應(yīng)的緣故，從攝像機(jī)中去掉IR濾光片可以增加近紅外的靈敏度。當(dāng)讀入原始數(shù)據(jù)，并將該數(shù)據(jù)離散化成數(shù)字像素時(shí)，會(huì)導(dǎo)致硅光譜響應(yīng)。傳感器制造商在這個(gè)區(qū)域做了設(shè)計(jì)補(bǔ)償。所以，根據(jù)應(yīng)用標(biāo)定攝像機(jī)系統(tǒng)并設(shè)計(jì)傳感器處理方法時(shí)，應(yīng)該考慮傳感器的顏色響應(yīng)。

光電二極管

圖像傳感器的關(guān)鍵在于光電二極管的大小。使用小光電二極管的傳感器元件所捕獲的光子數(shù)量沒(méi)有使用大的光電二極管多。如果光電二極管尺寸小于可捕獲的可見(jiàn)光波長(zhǎng)（如長(zhǎng)度為400納米的藍(lán)光），那么為了校正圖像顏色，在傳感器設(shè)計(jì)中必須克服各種問(wèn)題。傳感器廠商花費(fèi)大量精力來(lái)設(shè)計(jì)優(yōu)化元件大小，以確保所有的顏色能同等成像，基本顏色的波長(zhǎng)分配如下圖所示。

注意，基本顏色區(qū)域相互重疊，對(duì)所有的顏色而言，綠色是一個(gè)很好的單色替代品

結(jié)構(gòu)

下圖顯示了多光譜傳感器的不同結(jié)構(gòu)設(shè)計(jì)，包括堆疊（Foveo，左圖）和馬賽克（右圖）方法。在馬賽克方法中，不同的濾波器（濾光片）被裝在每個(gè)光電二極管上。堆疊方法依賴(lài)于不同顏色（波長(zhǎng)）滲透到半導(dǎo)體材料的深度，從而對(duì)各自的顏色進(jìn)行成像，每個(gè)光電二極管可適用于所有顏色。

反向照明（Back-side Illuminated，BSI）傳感器結(jié)構(gòu)具有更大的感光區(qū)域，使每個(gè)元件光電二極管能夠聚集更多的光子，因而在晶粒上重新布置了傳感器接線。

傳感器濾波器的布置也影響到顏色響應(yīng)。例如，下圖顯示了基本顏色（R、G、B）傳感器以及白色傳感器的不同排列，其中白色傳感器（W）有一個(gè)非彩色的濾波器。傳感器的濾波器排列考慮到了一定范圍的像素處理，如在傳感器對(duì)一個(gè)像素信息的處理過(guò)程中，會(huì)組合在鄰近元件的不同配置中所選取的像素，這些像素信息會(huì)優(yōu)化顏色響應(yīng)或空間顏色分辨率。

動(dòng)態(tài)范圍

圖像傳感器的每個(gè)顏色單元能一般能夠提供至少8個(gè)比特位，通常是12～14個(gè)比特位。光電二極管需要花費(fèi)空間和時(shí)間來(lái)聚集光子，所以較小的光電二極管必須經(jīng)過(guò)精心設(shè)計(jì)，以避免產(chǎn)生一些問(wèn)題

噪聲

噪聲可能來(lái)自于所用的光學(xué)元件、顏色濾波器、光電二極管、增益和A/D轉(zhuǎn)換器、后期處理過(guò)程或者壓縮方法等。傳感器的讀出噪聲也會(huì)影響到實(shí)際的分辨率，因?yàn)槊總€(gè)像素單元從傳感器中讀出再傳到A/D轉(zhuǎn)換器中，從而組成數(shù)字形式的行和列，以便用于像素轉(zhuǎn)換。越好的傳感器會(huì)產(chǎn)生越少的噪聲，同時(shí)會(huì)得到更高效的比特分辨率。

圖像處理

通常在每個(gè)成像系統(tǒng)中都有一個(gè)專(zhuān)用的圖像處理器，包括一個(gè)快速HW傳感器接口、優(yōu)化的超長(zhǎng)指令集（Very Long Instruction Word，VLIW）、單指令多數(shù)據(jù)流（Single Instruction Multiple Data，SIMD）指令以及具有固定功能的硬件模塊，這些功能是為了解決大規(guī)模并行像素處理所造成的工作負(fù)載。通常，傳感器處理過(guò)程透明且自動(dòng)化，并由成像系統(tǒng)的生產(chǎn)廠商設(shè)置，來(lái)自傳感器的所有圖像均以同樣的方式處理。也存在用于提供原始數(shù)據(jù)的其他方式，這些數(shù)據(jù)允許針對(duì)應(yīng)用來(lái)定制傳感器處理過(guò)程，就像數(shù)字?jǐn)z影一樣。

去馬賽克

馬賽克的一個(gè)主要挑戰(zhàn)之一是像素插值，其作用是將鄰近單元的顏色通道組合成單個(gè)像素。在給定傳感器元件排列的幾何形狀以及單元排列的縱橫比的條件下，這是一個(gè)重要的問(wèn)題。一個(gè)與之相關(guān)的問(wèn)題是顏色單元的加權(quán)問(wèn)題，如在每個(gè)RGB像素中每種顏色應(yīng)該占多少比例。

因?yàn)樵隈R賽克傳感器中，空間元件分辨率大于最終組合的RGB像素分辨率，某些應(yīng)用需要原始傳感器數(shù)據(jù)，以便盡可能利用所有的精度和分辨率，或者有些處理要么需要增強(qiáng)有效的像素分辨率，要么需要更好地實(shí)現(xiàn)空間精確的顏色處理和去馬賽克處理。

壞點(diǎn)校正

像LCD顯示器一樣，傳感器也可能會(huì)有壞像素。通過(guò)在攝像機(jī)模塊或驅(qū)動(dòng)程序中提供需要校正的壞像素坐標(biāo)，供應(yīng)商可以在工廠校正傳感器，并為已知的缺陷提供一個(gè)傳感器缺陷圖。

在某些情況下，自適應(yīng)的缺陷校正方法會(huì)用在傳感器上，以便監(jiān)控鄰近像素點(diǎn)來(lái)發(fā)現(xiàn)缺陷，然后校正一定范圍內(nèi)的缺陷類(lèi)型，比如單像素缺陷、列或行缺陷以及類(lèi)似2×2或3×3的塊狀缺陷。為了實(shí)時(shí)尋找瑕疵，攝像機(jī)驅(qū)動(dòng)也可提供自適應(yīng)的缺陷分析，在攝像機(jī)的啟動(dòng)菜單中可能會(huì)提供一個(gè)特殊的補(bǔ)償控制。

顏色校正

有必要進(jìn)行顏色校正以便平衡總的顏色精確度和白平衡。硅傳感器上對(duì)紅色和綠色這兩種顏色通常很敏感，但是對(duì)藍(lán)色卻不敏感，因此，理解和標(biāo)定傳感器是得到最精確顏色的基本工作。

陰影校正

大多數(shù)圖像傳感器的處理器包含了用于光暈校正的幾何處理器，這在圖像的邊緣表現(xiàn)為光照更暗。校正基于幾何扭曲函數(shù)，可考慮可編程的光照功能來(lái)增加朝向邊緣的光照，這需要在出廠前進(jìn)行標(biāo)定，以便與光學(xué)的光暈?zāi)Ｊ较嗥ヅ洹?/p>

畸變校正

鏡頭可能會(huì)有幾何相差或朝邊緣發(fā)生扭曲，產(chǎn)生徑向失真的圖像。為了解決鏡頭畸變，大多數(shù)成像系統(tǒng)具有專(zhuān)用的傳感器處理器，它有一個(gè)硬件加速的數(shù)字扭曲元件，類(lèi)似于GPU上的紋理采樣器。在工廠就會(huì)針對(duì)光學(xué)器件的幾何校正進(jìn)行校準(zhǔn)并編程

審核編輯：湯梓紅