機(jī)器視覺(jué)基本概念學(xué)習(xí)筆記6

4、圖像采集卡

圖像采集卡被作為視頻信號(hào)從相機(jī)到電腦之間傳輸?shù)臉蛄?。采集卡有多種總線(xiàn)形式，比如最常見(jiàn)的PCI總線(xiàn)和更大帶寬的它的升級(jí)版本PCI-X總線(xiàn)，也有基于AGP、ISA、PC104Plus、CompactPCI以及VME總線(xiàn)的圖像采集卡。

目前大部分相機(jī)仍是以模擬信號(hào)輸出，圖像采集卡則將各種模擬視頻信號(hào)經(jīng)A/D轉(zhuǎn)換成數(shù)字信號(hào)送入計(jì)算機(jī)，供計(jì)算機(jī)作處理、存儲(chǔ)、傳輸?shù)戎?，一般以可插入?jì)算機(jī)，或脫離計(jì)算機(jī)獨(dú)立使用的板卡形式出現(xiàn)。

針對(duì)機(jī)器視覺(jué)應(yīng)用的圖像采集卡有多種種類(lèi)、規(guī)格。但盡管其設(shè)計(jì)和特性不同，大多數(shù)采集卡的基本原理相同。在此,將基于PCI總線(xiàn)的模擬圖像采集卡為例加以說(shuō)明。

近年來(lái)，數(shù)字視頻產(chǎn)品取得了顯著發(fā)展。數(shù)字視頻產(chǎn)品通常需要對(duì)動(dòng)態(tài)圖像進(jìn)行實(shí)時(shí)采集和處理，因此產(chǎn)品性能受圖像采集卡的性能影響很大。由于早期圖像采集卡以幀存為核心，處理圖像時(shí)需讀寫(xiě)幀存，對(duì)于動(dòng)態(tài)畫(huà)面還需“凍結(jié)”圖像，同時(shí)由于數(shù)據(jù)傳輸速率的限制，因此圖像處理速度緩慢。

90年代初，INTEL公司提出了PCI(Peripheral Component Interconnect)局部總線(xiàn)規(guī)范。PCI總線(xiàn)數(shù)據(jù)傳寬度為32/64位，允許系統(tǒng)設(shè)備直接或間接連接其上，設(shè)備間可通過(guò)局部總線(xiàn)完成數(shù)據(jù)的快速傳送，從而較好地解決了數(shù)據(jù)傳輸?shù)钠款i問(wèn)題。

由于PCI總線(xiàn)的高速度，使A/D轉(zhuǎn)換以后的數(shù)字視頻信號(hào)只需經(jīng)過(guò)一個(gè)簡(jiǎn)單的緩存器即可直接存到計(jì)算機(jī)內(nèi)存，供計(jì)算機(jī)進(jìn)行圖像處理也可將采集到內(nèi)存的圖像信號(hào)傳送到計(jì)算機(jī)顯示卡顯示;甚至可將A/D輸出的數(shù)字視頻信號(hào)經(jīng)PCI總線(xiàn)直接送到顯示卡，在計(jì)算機(jī)終端上實(shí)時(shí)顯示活動(dòng)圖像。

基于PCI總線(xiàn)的圖像采集系統(tǒng)框圖如圖所示。圖中的緩存(數(shù)據(jù)鎖存器)代替了幀存儲(chǔ)器，這個(gè)緩存是一片容量小、控制簡(jiǎn)單的先進(jìn)先出(FIFO)存儲(chǔ)器，起到圖像卡向PCI總線(xiàn)傳送視頻數(shù)據(jù)時(shí)的速度匹配作用。將圖像卡插在計(jì)算機(jī)的PCI插槽中，與計(jì)算機(jī)內(nèi)存、CPU、顯示卡等之間形成調(diào)整數(shù)據(jù)傳送。

圖像采集卡的基本結(jié)構(gòu)

上圖顯示了圖像采集卡的基本結(jié)構(gòu)。首先，同步分離器將同步脈沖從輸入的視頻信號(hào)中分離。水平同步表明新的一行的開(kāi)始，垂直同步表明新的一場(chǎng)或一幀的開(kāi)始。通常在視頻信號(hào)與采集卡相連接后，在采集卡工作穩(wěn)定之前還需要獲取三幀圖像的時(shí)間，當(dāng)需要在一個(gè)視頻源與另一個(gè)視頻源之間切換時(shí)，這就可能產(chǎn)生麻煩。

為了避免這么長(zhǎng)時(shí)間的初始化，視頻源必須由外部同步，從而所有相機(jī)的水平同步與垂直同步都是同步的，這就是鎖相機(jī)制。幸好一些采集卡都帶有用于產(chǎn)生同步信號(hào)來(lái)鎖相的同步發(fā)生器。但是，必須知道這些同步信號(hào)是TTL電平而不是視頻標(biāo)準(zhǔn)脈沖電平。因此，視頻源必須能夠與TTL同步輸入?yún)f(xié)同工作。還須注意，使用采集卡的同步發(fā)生器并不表示同步分離是由同步發(fā)生器直接控制的。而且，同步分離器與同步發(fā)生器是相互獨(dú)立工作的，并且不是直接與視頻源相連的。

一旦達(dá)到行和幀穩(wěn)定的同步，獲取圖像的下一個(gè)步驟就與像素的產(chǎn)生本身相關(guān)。根據(jù)視頻標(biāo)準(zhǔn)，抽樣/保持單元需要對(duì)CCIR相機(jī)采用767像素/行，對(duì)于EIA相機(jī)采用647像素/行的抽樣來(lái)數(shù)字化輸入。在上面相機(jī)的介紹中討論過(guò)這就導(dǎo)致對(duì)于CCIR相機(jī)需要14.75MHz的像素時(shí)鐘頻率，而對(duì)于EIA相機(jī)需要12.3MHz的像素時(shí)鐘頻率。實(shí)際中，采集卡的參數(shù)可能與標(biāo)準(zhǔn)值會(huì)有些不同，但不會(huì)有太大差別。另外，只有在采集卡使用相機(jī)的像素時(shí)鐘的情況下才能夠精確的將CCD芯片的像素映射到采集卡緩存或計(jì)算機(jī)內(nèi)存區(qū)。

數(shù)字化的像素存儲(chǔ)在圖像緩存或FIFO緩存中。圖像緩存存儲(chǔ)至少一副完整幀，當(dāng)總線(xiàn)帶寬太小而不能無(wú)失真的傳輸數(shù)字視頻數(shù)據(jù)流的時(shí)候就會(huì)使用它。較先進(jìn)的總線(xiàn)系統(tǒng)，比如PCI總線(xiàn)，對(duì)于標(biāo)準(zhǔn)視頻流僅僅需要幾個(gè)K字節(jié)的FIFO來(lái)緩沖無(wú)規(guī)律的數(shù)據(jù)流。

因此，有可能在計(jì)算機(jī)主存中直接獲取數(shù)字視頻數(shù)據(jù)流，也可以將其直接傳送給顯卡供實(shí)時(shí)觀察。 PCI總線(xiàn)可支持BUS Master設(shè)備以132Mbps突發(fā)速率傳輸數(shù)據(jù)。而其平均持續(xù)數(shù)據(jù)傳輸率一般在50～90Mbps。

來(lái)自相機(jī)的數(shù)據(jù)總是以一個(gè)固定的速率傳輸?shù)?。如果PCI總線(xiàn)可以維持大于視頻數(shù)據(jù)率的平均持續(xù)數(shù)據(jù)傳輸率，問(wèn)題看起來(lái)就解決了。然而實(shí)際上并不是這么簡(jiǎn)單，PCI總線(xiàn)設(shè)備只能以突發(fā)的方式向總線(xiàn)傳輸數(shù)據(jù)。

圖像采集卡必須將每一突發(fā)之間的連續(xù)的圖像數(shù)據(jù)保存起來(lái)。解決的方法就是采用On-board Memory。有些廠家出于經(jīng)濟(jì)方面的考慮去除了Memory而采用數(shù)據(jù)緩存隊(duì)列(FIFO)，F(xiàn)IFO的大小一般以足以保存一行圖像數(shù)據(jù)為限。然而，當(dāng)圖像數(shù)據(jù)的速率大于PCI的持續(xù)數(shù)據(jù)傳輸率時(shí)FIFO就不起作用了。

圖像采集卡的基本技術(shù)參數(shù)主要有以下幾方面：

A．圖像傳輸格式

圖像采集卡需要支持系統(tǒng)中攝像機(jī)所采用的輸出信號(hào)格式。大多數(shù)攝像機(jī)采用RS422或EIA644（LVDS）作為輸出信號(hào)格式。在數(shù)字相機(jī)中，IEEE1394，USB2.0和CameraLink幾種圖像傳輸形式則得到了廣泛應(yīng)用。

B．圖像格式（像素格式）

黑白圖像：通常情況下，圖像灰度等級(jí)可分為256級(jí)，即以8位表示。在對(duì)圖像灰度有更精確要求時(shí)，可用10位，12位等來(lái)表示；彩色圖像：彩色圖像可由RGB（YUV）3種色彩組合而成，根據(jù)其亮度級(jí)別的不同有8－8－8，10－10－10等格式。

C．傳輸通道數(shù)

當(dāng)攝像機(jī)以較高速率拍攝高分辨率圖像時(shí)，會(huì)產(chǎn)生很高的輸出速率，這一般需要多路信號(hào)同時(shí)輸出，圖像采集卡應(yīng)能支持多路輸入。一般情況下，有1路，2路，4路，8路輸入等。

D．分辨率支持

采集卡能支持的最大點(diǎn)陣反映了其分辨率的性能。一般采集卡能支持768576點(diǎn)陣，而性能優(yōu)異的采集卡其支持的最大點(diǎn)陣可達(dá)64K64K。單行最大點(diǎn)數(shù)和單幀最大行數(shù)也可反映采集卡的分辨率性能。

E．采樣頻率

采樣頻率反映了采集卡處理圖像的速度和能力。在進(jìn)行高度圖像采集時(shí)，需要注意采集卡的采樣頻率是否滿(mǎn)足要求。目前高檔的采集卡其采樣頻率可達(dá)65MHZ。

F．傳輸速率

主流圖像采集卡與主板間都采用PCI接口，其理論傳輸速度為132MB/S。

多媒體VS.機(jī)器視覺(jué)

乍一看，用于多媒體的圖像采集卡與用于機(jī)器視覺(jué)的圖像采集卡有些相似：它們都是獲取圖像并將圖像轉(zhuǎn)化為計(jì)算機(jī)能夠處理的數(shù)字化圖像。而實(shí)際上，他們是有著很大的區(qū)別。多媒體圖像采集卡獲取圖像是為了視頻及音頻編輯的，它們產(chǎn)生的大量數(shù)據(jù)流必須被有效的顯示、存儲(chǔ)、傳輸。視頻傳送不需要大量數(shù)據(jù)，典型的方法就是低分辨率圖像及壓縮技術(shù)的應(yīng)用，而結(jié)果圖像質(zhì)量就會(huì)變差。

另一方面，用于機(jī)器視覺(jué)的圖像必須盡可能精確的表示實(shí)際的物體，畢竟一個(gè)應(yīng)用很可能需要告訴用戶(hù)精確的信息，比如測(cè)量某高度值應(yīng)該為5.20mm。從驅(qū)動(dòng)軟件的角度看，多媒體圖像采集卡是多采用現(xiàn)存的標(biāo)準(zhǔn)接口比如MCI或TWAIN；而機(jī)器視覺(jué)領(lǐng)域的圖像采集卡，簡(jiǎn)單的采集卡可以通過(guò)寄存器或者按照一個(gè)更加先進(jìn)的概念來(lái)獲得，隨之有驅(qū)動(dòng)庫(kù)，它包含采集卡寄存器結(jié)構(gòu)并且提供對(duì)硬件資源的直接存取。

但是，這沒(méi)有標(biāo)準(zhǔn)，每一個(gè)制造商都有他自己的方法。這就反映了機(jī)器視覺(jué)硬件標(biāo)準(zhǔn)對(duì)于一些特性比如觸發(fā)機(jī)制的缺乏（在前面1.2 相機(jī)一節(jié)有相關(guān)的介紹）。驅(qū)動(dòng)程序與應(yīng)用程序之間的接口是普遍標(biāo)準(zhǔn)化的，相比之下，機(jī)器視覺(jué)應(yīng)用程序就有很大不同，有很多是針對(duì)應(yīng)用定制的，也有很多通用的開(kāi)發(fā)包。

與圖像采集卡相關(guān)的技術(shù)

（1）直接存儲(chǔ)器訪問(wèn)（DMA）

DMA( Direct Memory Access)是一種總線(xiàn)控制方式，它可取代CPU對(duì)總線(xiàn)的控制，在數(shù)據(jù)傳輸時(shí)根據(jù)數(shù)據(jù)源和目的的邏輯地址和物理地址映射關(guān)系，完成對(duì)數(shù)據(jù)的存取，這樣可以大大減輕數(shù)據(jù)傳輸時(shí)CPU的負(fù)擔(dān)。

（2）分散/聚集表（Scatter/Gather Table）

分散/聚集表實(shí)際上就是一張供DMA傳輸時(shí)邏輯地址與物理地址的動(dòng)態(tài)映射表。根據(jù)不同的板卡設(shè)計(jì)，這張表可直接位于采集卡的某個(gè)buffer模塊內(nèi)，稱(chēng)為硬件式的分散/聚集，它在PCI傳輸時(shí)的最高速度可達(dá)120M/s;此表也可位于主機(jī)的某段內(nèi)存中，稱(chēng)為軟件式的分散/聚集，傳輸?shù)淖罡咚俣纫话銥?0bps。大部會(huì)PC系列采集卡都屬于硬件式的分散/聚集。

（3）查尋表（LUT）

對(duì)于圖像采集卡來(lái)說(shuō)，LUT(Look-Up Table)實(shí)際上就是一張像素灰度值的映射表，它將實(shí)際采樣到的像素灰度值經(jīng)過(guò)一定的變換如閾值、反轉(zhuǎn)、二值化、對(duì)比度調(diào)整、線(xiàn)性變換等，變成了另外一個(gè)與之對(duì)應(yīng)的灰度值，這樣可以起到突出圖像的有用信息，增強(qiáng)圖像的光對(duì)比度的作用。很多PC系列卡具有8/10/12/16甚到32位的LUT，具體在LUT里進(jìn)行什么樣的變換是由軟件來(lái)定義的。

（4） PLL、XTAL和VScan

PLL、XTAL和VScan為模擬采集卡的三種不同工作模式。PLL(Phase Lock Loop)模式:相機(jī)向采集卡提供A/D轉(zhuǎn)換的時(shí)鐘信號(hào)，此時(shí)鐘信號(hào)來(lái)自于相機(jī)輸出的Video信號(hào)，HS和VS同步信號(hào)可以有三種來(lái)源:composite video，composite sync， separate sync； XTAL模式:圖像采集卡給相機(jī)提供時(shí)鐘信號(hào)以及HD/VD信號(hào)，并用提供的時(shí)鐘信號(hào)作為A/D轉(zhuǎn)換的時(shí)鐘，但同步信號(hào)仍可用相機(jī)輸出的HS/VS； VScan模式:由相機(jī)向分別卡提供Pixel Clock信號(hào)、HS和VS信號(hào)。

（5）子采樣（Decimation）

Decimation實(shí)際上是對(duì)原始圖像進(jìn)行子采樣，如每隔2、4、8、16行(列)取一行(列)組成新的圖像。Decimation可以大大減小原始圖像的數(shù)據(jù)量，同時(shí)也降低了分辨率，有點(diǎn)類(lèi)似于相機(jī)的Binning。

（6）可編程子窗生成（PWG）

PWG (Programmable Window Generator)指在獲取的相機(jī)原始圖像上開(kāi)一個(gè)感興趣的窗口，每次只存儲(chǔ)和顯示該窗口的內(nèi)容，這樣也可以在一定程度上減少數(shù)據(jù)量，但不會(huì)降低分辨率。一般采集卡都有專(zhuān)門(mén)的寄存器存放有關(guān)窗口大小、起始點(diǎn)和終了點(diǎn)坐標(biāo)的有關(guān)數(shù)據(jù)，這些數(shù)據(jù)都可通過(guò)軟件設(shè)置。

（7）數(shù)據(jù)重組（Resequencing）

Resequencing可以認(rèn)為是一種對(duì)多通道或不同數(shù)據(jù)掃描方式的相機(jī)所輸出數(shù)據(jù)的重組能力，即將來(lái)自CCD靶面不同區(qū)域或像素點(diǎn)的數(shù)據(jù)重新組合成一幅完整的圖像。

（8）非破壞性覆蓋（Non-destructive overlay）

overlay是指在視頻數(shù)據(jù)顯示窗口上覆蓋的圖形(如彈出式菜單，對(duì)話(huà)框等)或字符等非視頻數(shù)據(jù)。“非破壞性覆蓋”是相對(duì)于“破壞性覆蓋”來(lái)說(shuō)的，“破壞性覆蓋”指顯示窗口中的視頻信息和覆蓋信息被存放于顯存中的同一段存儲(chǔ)空間內(nèi)，而“非破壞性覆蓋”指視頻信息與覆蓋信息分別存放于顯存中兩段不同的存儲(chǔ)空間中，顯示窗口中所顯示的信息是這兩段地址空間中所存數(shù)據(jù)的迭加。如果采用“破壞性覆蓋”，顯存中的覆蓋信息是靠CPU來(lái)刷新的，這樣既占CPU時(shí)間,又會(huì)在實(shí)時(shí)顯示時(shí)由于不同步而帶來(lái)閃爍，如果采用“非破壞性覆蓋”則可消除這些不利因素。