機(jī)器視覺(jué)的圖像處理技術(shù)面臨的挑戰(zhàn)

機(jī)器視覺(jué)（Machine Vision）是人工智能領(lǐng)域中發(fā)展迅速的一個(gè)重要分支，目前正處于不斷突破、走向成熟的階段。

一般認(rèn)為機(jī)器視覺(jué)“是通過(guò)光學(xué)裝置和非接觸傳感器自動(dòng)地接受和處理一個(gè)真實(shí)場(chǎng)景的圖像，通過(guò)分析圖像獲得所需信息或用于控制機(jī)器運(yùn)動(dòng)的裝置”，即可以理解為是通過(guò)工業(yè)相機(jī)等圖像傳感器采集圖像信息，通過(guò)分析處理轉(zhuǎn)化的圖像信息繼而控制后續(xù)的自動(dòng)化設(shè)備的流程動(dòng)作。

可以看出智能圖像處理技術(shù)在機(jī)器視覺(jué)中占有舉足輕重的位置。

那么機(jī)器視覺(jué)與圖像處理技術(shù)之間的關(guān)系和聯(lián)系是什么呢？圖像處理技術(shù)在機(jī)器視覺(jué)中有哪些應(yīng)用呢？

01

圖像處理技術(shù)的應(yīng)用

機(jī)器視覺(jué)的圖像處理系統(tǒng)對(duì)現(xiàn)場(chǎng)的數(shù)字圖像信號(hào)按照具體的應(yīng)用要求進(jìn)行運(yùn)算和分析，根據(jù)獲得的處理結(jié)果來(lái)控制現(xiàn)場(chǎng)設(shè)備的動(dòng)作，其常見(jiàn)應(yīng)用如下：

（1）圖像采集

圖像采集就是從工作現(xiàn)場(chǎng)獲取場(chǎng)景圖像的過(guò)程，是機(jī)器視覺(jué)的第一步，采集工具大多為CCD或CMOS照相機(jī)或攝像機(jī)。

照相機(jī)采集的是單幅的圖像，攝像機(jī)可以采集連續(xù)的現(xiàn)場(chǎng)圖像。就一幅圖像而言，它實(shí)際上是三維場(chǎng)景在二維圖像平面上的投影，圖像中某一點(diǎn)的彩色（亮度和色度）是場(chǎng)景中對(duì)應(yīng)點(diǎn)彩色的反映。這就是我們可以用采集圖像來(lái)替代真實(shí)場(chǎng)景的根本依據(jù)所在。

如果相機(jī)是模擬信號(hào)輸出，需要將模擬圖像信號(hào)數(shù)字化后送給計(jì)算機(jī)（包括嵌入式系統(tǒng)）處理。現(xiàn)在大部分相機(jī)都可直接輸出數(shù)字圖像信號(hào)，可以免除模數(shù)轉(zhuǎn)換這一步驟。不僅如此，現(xiàn)在相機(jī)的數(shù)字輸出接口也是標(biāo)準(zhǔn)化的，如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等，可以直接送入計(jì)算機(jī)進(jìn)行處理，以免除在圖像輸出和計(jì)算機(jī)之間加接一塊圖像采集卡的麻煩。后續(xù)的圖像處理工作往往是由計(jì)算機(jī)或嵌入式系統(tǒng)以軟件的方式進(jìn)行。

（2）圖像預(yù)處理

對(duì)于采集到的數(shù)字化的現(xiàn)場(chǎng)圖像，由于受到設(shè)備和環(huán)境因素的影響，往往會(huì)受到不同程度的干擾，如噪聲、幾何形變、彩色失調(diào)等，都會(huì)妨礙接下來(lái)的處理環(huán)節(jié)。為此，必須對(duì)采集圖像進(jìn)行預(yù)處理。常見(jiàn)的預(yù)處理包括噪聲消除、幾何校正、直方圖均衡等處理。

通常使用時(shí)域或頻域?yàn)V波的方法來(lái)去除圖像中的噪聲；采用幾何變換的辦法來(lái)校正圖像的幾何失真；采用直方圖均衡、同態(tài)濾波等方法來(lái)減輕圖像的彩色偏離。

總之，通過(guò)這一系列的圖像預(yù)處理技術(shù)，對(duì)采集圖像進(jìn)行“加工”，為體機(jī)器視覺(jué)應(yīng)用提供“更好”、“更有用”的圖像。

（3）圖像分割

圖像分割就是按照應(yīng)用要求，把圖像分成各具特征的區(qū)域，從中提取出感興趣目標(biāo)。在圖像中常見(jiàn)的特征有灰度、彩色、紋理、邊緣、角點(diǎn)等。例如，對(duì)汽車裝配流水線圖像進(jìn)行分割，分成背景區(qū)域和工件區(qū)域，提供給后續(xù)處理單元對(duì)工件安裝部分的處理。

圖像分割多年來(lái)一直是圖像處理中的難題，至今已有種類繁多的分割算法，但是效果往往并不理想。近來(lái)，人們利用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法進(jìn)行圖像分割，其性能勝過(guò)傳統(tǒng)算法。

（4）目標(biāo)識(shí)別和分類

在制造或安防等行業(yè)，機(jī)器視覺(jué)都離不開(kāi)對(duì)輸入圖像的目標(biāo)進(jìn)行識(shí)別和分類處理，以便在此基礎(chǔ)上完成后續(xù)的判斷和操作。識(shí)別和分類技術(shù)有很多相同的地方，常常在目標(biāo)識(shí)別完成后，目標(biāo)的類別也就明確了。近來(lái)的圖像識(shí)別技術(shù)正在跨越傳統(tǒng)方法，形成以神經(jīng)網(wǎng)絡(luò)為主流的智能化圖像識(shí)別方法，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、回歸神經(jīng)網(wǎng)絡(luò)（RNN）等一類性能優(yōu)越的方法。

（5）目標(biāo)定位和測(cè)量

在智能制造中，最常見(jiàn)的工作就是對(duì)目標(biāo)工件進(jìn)行安裝，但是在安裝前往往需要先對(duì)目標(biāo)進(jìn)行定位，安裝后還需對(duì)目標(biāo)進(jìn)行測(cè)量。安裝和測(cè)量都需要保持較高的精度和速度，如毫米級(jí)精度（甚至更?。撩爰?jí)速度。

這種高精度、高速度的定位和測(cè)量，倚靠通常的機(jī)械或人工的方法是難以辦到的。在機(jī)器視覺(jué)中，采用圖像處理的辦法，對(duì)安裝現(xiàn)場(chǎng)圖像進(jìn)行處理，按照目標(biāo)和圖像之間的復(fù)雜映射關(guān)系進(jìn)行處理，從而快速精準(zhǔn)地完成定位和測(cè)量任務(wù)。

（6）目標(biāo)檢測(cè)和跟蹤

圖像處理中的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤，就是實(shí)時(shí)檢測(cè)攝像機(jī)捕獲的場(chǎng)景圖像中是否有運(yùn)動(dòng)目標(biāo)，并預(yù)測(cè)它下一步的運(yùn)動(dòng)方向和趨勢(shì)，即跟蹤。并及時(shí)將這些運(yùn)動(dòng)數(shù)據(jù)提交給后續(xù)的分析和控制處理，形成相應(yīng)的控制動(dòng)作。圖像采集一般使用單個(gè)攝像機(jī)，如果需要也可以使用兩個(gè)攝像機(jī)，模仿人的雙目視覺(jué)而獲得場(chǎng)景的立體信息，這樣更加有利于目標(biāo)檢測(cè)和跟蹤處理。

02

面臨的挑戰(zhàn)

在機(jī)器視覺(jué)的圖像處理技術(shù)的發(fā)展中，還存在不少技術(shù)瓶頸，如：

某種處理方法往往在研究和開(kāi)發(fā)中表現(xiàn)良好，但在復(fù)雜多變的應(yīng)用環(huán)境中，卻不時(shí)地出現(xiàn)問(wèn)題。例如人臉識(shí)別系統(tǒng)，在目標(biāo)配合時(shí)識(shí)別率可高達(dá)95%以上，但在實(shí)際監(jiān)控環(huán)境下，識(shí)別率就會(huì)大大下降。

機(jī)器視覺(jué)系統(tǒng)要求圖像識(shí)別和測(cè)量的準(zhǔn)確性接近100%，任何微小的誤差都有可能帶來(lái)不可預(yù)測(cè)的后果。例如目標(biāo)定位的誤差會(huì)使裝配出來(lái)的設(shè)備不符合要求。

視覺(jué)檢測(cè)設(shè)備的實(shí)時(shí)檢測(cè)效率快，圖像采集數(shù)據(jù)量大，如果圖像的采集速度、處理速度較慢，再加上新近引入的深度學(xué)習(xí)類算法，加大了系統(tǒng)實(shí)時(shí)處理的難度，跟不上機(jī)器運(yùn)行和控制的節(jié)奏，所以提高圖像處理速度非常重要。

03

提高圖像處理速度的主要方法

目前提高圖像處理速度主要有兩種方法。

一是改進(jìn)和優(yōu)化圖像處理算法。該算法應(yīng)簡(jiǎn)單、快速，并考慮到實(shí)際效果；二是改進(jìn)和優(yōu)化實(shí)現(xiàn)算法的手段。

那么，機(jī)器視覺(jué)檢測(cè)設(shè)備可以通過(guò)哪些方式來(lái)提高檢測(cè)速度？

1、專用集成電路（ASIC）ASIC是針對(duì)于某一固定算法或應(yīng)用而專門(mén)設(shè)計(jì)的硬件芯片，有很強(qiáng)的實(shí)時(shí)性。但在實(shí)際應(yīng)用中存在開(kāi)發(fā)周期相對(duì)較長(zhǎng)、成本高、適應(yīng)性和靈活性差等缺點(diǎn)。2、現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）FPGA由多個(gè)可編程的基本邏輯單元組成的一個(gè)2維矩陣，邏輯單元之間以及邏輯單元與I/O單元之間通過(guò)可編程連線進(jìn)行連接。FPGA能在設(shè)計(jì)上具有很強(qiáng)的靈活性，集成度、工作速度也在不斷提高，可實(shí)現(xiàn)的功能也越來(lái)越強(qiáng);同時(shí)其開(kāi)發(fā)周期短，系統(tǒng)易于維護(hù)和擴(kuò)展，能夠大大地提高圖像數(shù)據(jù)的處理速度。3、通用計(jì)算機(jī)網(wǎng)絡(luò)并行處理這種處理結(jié)構(gòu)采用“多客戶機(jī)+服務(wù)器”的方式，一個(gè)圖像傳感器對(duì)應(yīng)一臺(tái)客戶機(jī)，服務(wù)器實(shí)現(xiàn)信息的合成，圖像處理的大部分工作由軟件來(lái)完成。該結(jié)構(gòu)雖然比較龐大，但升級(jí)維護(hù)方便、實(shí)時(shí)性較好。4、數(shù)字信號(hào)處理器（DSP）DSP是一種獨(dú)特的微處理器，是以數(shù)字信號(hào)來(lái)處理大量信息的器件。其工作原理是將接收到的模擬信號(hào)轉(zhuǎn)換為“0”或“1”的數(shù)字信號(hào)，再對(duì)數(shù)字信號(hào)進(jìn)行修改、刪除和強(qiáng)化，并在其他系統(tǒng)芯片中把數(shù)字?jǐn)?shù)據(jù)解譯回模擬數(shù)據(jù)或?qū)嶋H環(huán)境格式，其實(shí)時(shí)運(yùn)行速度遠(yuǎn)遠(yuǎn)超過(guò)通用微處理器。但是，DSP的體系仍是串行指令執(zhí)行系統(tǒng)，而且只是對(duì)某些固定的運(yùn)算進(jìn)行硬件優(yōu)化，故不能滿足眾多的算法要求。

實(shí)時(shí)圖像處理系統(tǒng)中，底層的信號(hào)數(shù)據(jù)量大，對(duì)處理速度的要求高，但運(yùn)算結(jié)構(gòu)相對(duì)比較簡(jiǎn)單，適合采用FPGA以硬件方式來(lái)實(shí)現(xiàn);高層處理算法的特點(diǎn)是處理的數(shù)據(jù)量相對(duì)較少，但算法和控制結(jié)構(gòu)復(fù)雜，可使用DSP來(lái)實(shí)現(xiàn)。所以，可以把二者的優(yōu)點(diǎn)結(jié)合在一起以兼顧實(shí)時(shí)性和靈活性?！　?/p>