機器視覺基礎知識Fundamentals of Machine Vision（視覺系統(tǒng)的構成）

視覺系統(tǒng)的構成

從機器視覺的定義可以推測出，一個攝像機和一個處理器結合在一起形成一個視覺系統(tǒng)。然而，這只是部分完整的描述。確實，視覺系統(tǒng)需要攝像機和處理器，但還有更多的組成部分，如圖8所示。

攝像機需要鏡頭來形成光學圖像。鏡頭必須提供合適的工作距離（鏡頭到場景的距離），正確的放大倍率，使場景填滿攝像機的視野，并具備分辨細節(jié)的能力。還需要光源，以確保攝像機獲得足夠的合適照明，以創(chuàng)建可用且可靠的圖像。 攝像機和處理器之間需要有一個接口。還需要軟件來執(zhí)行所需的應用程序分析。最后，處理器必須支持與其他連接設備所需的輸入和輸出。

視覺系統(tǒng)的類型

通常攝像機和處理器是分開的。這使得攝像機可以更小，而處理器則具備所有所需的計算能力和輸入輸出功能。它還允許一個處理器為兩個或多個攝像機提供服務。這種類型的視覺系統(tǒng)的常見形式是使用個人計算機作為處理器（見圖9）?；趥€人計算機的視覺系統(tǒng)提供了最大的靈活性。有許多攝像機接口可供選擇，許多不同的軟件包可供選擇，并且輸入輸出配置具備顯著的靈活性。然而，這種靈活性增加了應用程序的工程化難度。為了使此配置與更苛刻的環(huán)境兼容，有可靠的工控計算機可供選擇。

類似的配置是用專有處理器替換個人計算機（見圖10）。這種處理器帶有專有軟件。它可以使用標準或專有攝像機接口，并通常在輸入輸出方面具有靈活性。這種配置通常是為工廠環(huán)境設計的。與基于個人計算機的視覺系統(tǒng)相比，應用程序的工程化難度較低。

還有一種趨勢是將攝像機和處理器合并為一個緊湊的設備，稱為智能相機或智能傳感器（見圖11）。這對于單個攝像機應用和物聯(lián)網(wǎng)設備已經(jīng)變得非常有效。由于緊湊的尺寸，處理和輸入輸出受到限制。雖然智能相機有時配備了內(nèi)置照明，但通常還需要其他光源。在大多數(shù)智能相機中，軟件已內(nèi)置，使得這些是應用最簡便的視覺系統(tǒng)。有一些產(chǎn)品專為OEM設計，他們可以承擔更多的工程化工作，這些產(chǎn)品不提供預裝軟件。

這是一類是應用特定的機器視覺（ASMV）系統(tǒng)。圖12顯示了一個示例。這是一個為特定應用設計的視覺系統(tǒng)。除了安裝和產(chǎn)品特定配置外，幾乎不需要任何工程化工作就可以直接使用。ASMV的更高成本可以抵消幾乎不需要應用工程化的優(yōu)點。此外，相對于僅為一次安裝設計的其他視覺系統(tǒng)，更全面的現(xiàn)場支持也是可用的。

最后一類是嵌入式視覺系統(tǒng)。對于什么是嵌入式視覺系統(tǒng)，目前并沒有完全一致的定義。實際上，我們可以認為它是一個設計用于集成到最終產(chǎn)品中的視覺系統(tǒng)，并且攝像機和處理器緊密耦合，如圖13所示。主要是為了OEM將其集成到產(chǎn)品中。

攝像機

讓我們更詳細地了解一下攝像機。圖14展示了攝像機的組成部分。

圖像傳感器是攝像機的主要組件，賦予攝像機大部分重要的特性。

電子元件控制圖像傳感器的時序，調(diào)節(jié)圖像傳感器的增益等功能，并提供攝像機獨有的其他特性。

鏡頭支架用于安裝鏡頭，將光學圖像投射到圖像傳感器上。

接口將攝像機連接到處理器。

圖像傳感器

圖像傳感器如圖15所示，由一組傳感元件組成，放大圖中顯示了這些元件，并帶有電路，用于從元件中讀取信號并將其轉換為數(shù)字信號。

當暴露在光線下時，傳感元件將入射光子轉換為電荷（見圖16）。

在曝光過程中，這些光生電子在傳感元件中積累。當傳感元件讀出時，其電壓與光生電子的數(shù)量成正比。讀出后，傳感元件被重置，清除所有光生電子，使其準備好進行下一次曝光。 你可以正確推斷傳感元件實際上是一個光子計數(shù)器。這幾乎正確，除了它是一個不完美的光子計數(shù)器。它并不能計算每個光子。它計算的光子百分比稱為其量子效率，簡稱QE。量子效率隨著光的波長而變化，如圖17所示。

彩色成像

制造彩色相機的圖像傳感器有兩種主要方法。第一種方法是使用三個單獨的圖像傳感器和光學部件，將紅、綠和藍三個顏色分量分離為單獨的方向，使得每個傳感器只感測其中一種顏色（見圖19）。每個像素有三個值，分別來自這三個圖像傳感器。

另一種方法是在每個單獨的感測元件上放置紅、綠和藍色濾光片。這些濾光片的常見模式是Bayer模式（見圖18）。每個像素仍然有三個值：一個通過其顏色濾光片直接感測的值，另外兩個顏色值是通過相鄰像素進行插值得到的。

高動態(tài)范圍

相機中的噪點水平通常限制了每個像素的數(shù)據(jù)為8或10位。這相當于256或1,024個灰度級別。對于許多應用來說，這完全足夠。然而，有些應用需要能夠感知圖像中既在高光（明亮）區(qū)域，也在陰影（暗）區(qū)域中的細節(jié)。 解決這一挑戰(zhàn)的方法是高動態(tài)范圍（HDR）成像。這涉及拍攝兩張（或更多）曝光時間不同的照片。較短曝光時間的像素的高位將保留高光的細節(jié)，而較長曝光時間的像素的低位將保留陰影中的細節(jié)。通過將每次曝光得到的位組合，生成一個新的像素值，從而獲得更高的動態(tài)范圍，如圖20所示。

鏡頭安裝

機器視覺相機上使用了許多不同的鏡頭安裝方式，但最常見的是C安裝。鏡頭安裝方式的特點在于其螺紋（除非是卡口式安裝）和其法蘭焦距。法蘭焦距是從鏡頭安裝座到圖像傳感器的距離。 對于C安裝，螺紋是1英寸×24牙/英寸。法蘭焦距為17.52毫米（0.69英寸）。另一種常見的鏡頭安裝方式是CS安裝。它與C安裝具有相同的螺紋，但其法蘭焦距為12.52毫米。 鏡頭必須安裝到相機上。通常，兩者具有相同的安裝方式。然而，有時在鏡頭和相機具有不同安裝方式時會使用適配器。

相機接口

有許多種相機接口。以下六種是機器視覺中常用的接口：

Camera Link

GigE Vision

USB3 Vision

CoaXPress

Camera Link HS

MIPI

這些標準大多有不同的選項，有些選項還非常多。因此，詳細介紹每個接口超出了本文的范圍。這些接口在以下重要特性上有所不同：

帶寬/速度 - 圖像數(shù)據(jù)從相機傳輸?shù)教幚砥鞯乃俣扔卸嗫臁?/p>

延遲 - 圖像數(shù)據(jù)啟動后到完成之間的時間。延遲的變化通常是最重要的因素。

數(shù)據(jù)可靠性 - 如果數(shù)據(jù)在傳輸過程中損壞，接口是否能夠檢測到并進行糾正？

電纜長度 - 可以使用多長的電纜，仍然具有足夠的帶寬和數(shù)據(jù)可靠性。

電纜/連接器 - 使用何種類型的電纜和連接器。許多標準提供了不同的電纜和連接器選項。大多數(shù)接口標準還支持使用光纖電纜。

幀抓取卡（圖像采集卡） - 接口是否需要使用一種特殊的適配器卡，稱為幀抓取卡。

電源 - 相機的電源是否可以通過與數(shù)據(jù)共用的同一電纜供應。

另一個重要的接口標準是GenICam。GenICam不是物理標準，與電纜、數(shù)據(jù)傳輸速率等無關。它是關于相機向所連接的處理器提供相機特性信息的標準。根據(jù)GenICam，相機包含一個可以被處理器讀取的XML文件。該文件詳細描述了相機及其所有設置。處理器中的軟件可以查詢此文件，了解與相機進行接口和控制所需的所有信息。即使來自同一制造商的不同相機在控制方式上也可能不同。GenICam使視覺系統(tǒng)開發(fā)人員無需關心連接的是哪種相機，從而可以編程開發(fā)應用程序。

鏡頭

鏡頭是視覺系統(tǒng)的關鍵組件。它與相機的圖像傳感器一起決定了工作距離和包含場景的視場。鏡頭及其光圈還決定了有多少光能傳遞到圖像傳感器上，景深或對焦范圍以及投射到圖像傳感器上的光學圖像中的細節(jié)分辨率。 大多數(shù)經(jīng)驗豐富的機器視覺工程師已經(jīng)學會如何為大多數(shù)應用選擇鏡頭。對于剛接觸機器視覺或者對于非常復雜的應用，可能需要尋求經(jīng)驗豐富的光學工程師的幫助。 有三種基本類型的鏡頭：普通或內(nèi)心鏡頭（圖22），微距鏡頭（圖23）和遠心鏡頭（圖25）。大多數(shù)應用可以通過使用內(nèi)心鏡頭來解決。這些鏡頭可以在一定范圍的工作距離內(nèi)調(diào)焦，延伸至無限遠，并且通常具有可調(diào)光圈。

由于內(nèi)心鏡頭不能實現(xiàn)高放大倍數(shù)的近距離對焦，所以微距鏡頭被設計來滿足這個需求。放大倍數(shù)是圖像尺寸與成像場景尺寸之間的比例。微距鏡頭通常適用于0.05倍至10倍的放大倍數(shù)范圍。如果需要更高的放大倍數(shù)，顯微鏡通常是更好的選擇。 遠心鏡頭是機器視覺中常用的特殊鏡頭。與內(nèi)心鏡頭不同，遠心鏡頭在其景深范圍內(nèi)，其放大倍數(shù)基本保持不變。這意味著測量結果幾乎不受工件高度的輕微變化影響，并且沒有透視畸變。 雖然變焦鏡頭在機器視覺中似乎是理想的選擇，因為可以根據(jù)需要設置所需的視場大小，但實際上它們只被稀少地使用。由于有一個額外的調(diào)整，很難確保鏡頭設置到正確的放大倍數(shù)，并且可能會影響校準。此外，變焦鏡頭往往比內(nèi)聚焦鏡頭更大、更重，而且價格更高。

照明

對于必須可靠工作的機器視覺系統(tǒng)來說，良好的照明是至關重要的。這就是為什么工業(yè)機器視覺系統(tǒng)總是采用專門設計的照明，并盡量減少環(huán)境光的影響。 一些較新的發(fā)展，如自動駕駛車輛，幾乎完全使用環(huán)境光。 對于專門設計的照明，有幾種不同的照明技術。第一種是前照明（見圖24）或背照明（見圖26）。在前照明中，光源位于與相機相同的場景一側。在背照明中，光源位于與相機相反的場景一側。

照明中的另一個區(qū)分方式是明場和暗場（見圖27）。明場照明是指預期能夠反射（通過鏡子）或直接傳入相機視野的任何光線。

暗場照明是指放置光源的方式，以使其不會傳遞或反射（通過鏡子）到相機的視野中。 如圖28所示，照明技術的另一個區(qū)分方式是光線的指向性或擴散性。定向光照亮場景上的每一點都使用單一光線，或者更常見的是使用一組光線，這些光線在非常狹窄的角度范圍內(nèi)傳播。

擴散照明使用來自廣泛角度范圍的光束照亮場景上的每一點。 定向照明傾向于產(chǎn)生明顯的陰影，并使圖像中的紋理凸顯出來。擴散照明會產(chǎn)生淡淡的陰影或不會有陰影，并消除使圖像中的紋理顯現(xiàn)的明暗效果。 照明設計的最后一個特征是顏色或所使用的光譜。大多數(shù)機器視覺系統(tǒng)在可見光范圍內(nèi)工作。對于單色成像，光源通常是紅色、綠色或藍色等窄帶波長。對于彩色成像，需要白光。越來越多的應用使用紅外波長。由于人類無法在這個光譜區(qū)域內(nèi)看到，需要一些實驗來了解其工作情況。紫外線光也常被使用，通常用于使零件發(fā)出熒光。 這意味著視覺系統(tǒng)工程師有各種各樣的光源可供選擇，涵蓋了各種尺寸、各種顏色，并提供了各種照明特性。要了解如何選擇合適的光源需要學習和經(jīng)驗。初入機器視覺領域的人在選擇光源時最好與有經(jīng)驗的人合作。