采用機(jī)器視覺技術(shù)實(shí)現(xiàn)的鋼板表面缺陷檢測(cè)系統(tǒng)

一、研究的背景與問題

鋼板表面缺陷檢測(cè)技術(shù)始于20世紀(jì)50年代，從人工檢測(cè)到現(xiàn)在的機(jī)器視覺檢測(cè)，共經(jīng)歷60多年的發(fā)展，按時(shí)間的先后順序大致可以分為非自動(dòng)化檢測(cè)、自動(dòng)化檢測(cè)和機(jī)器視覺檢測(cè)共三個(gè)階段。

非自動(dòng)化檢測(cè)階段，主要依靠人工目視法和頻閃檢測(cè)法。這兩種方法的檢測(cè)率較低、實(shí)時(shí)性較差，遠(yuǎn)不能滿足生產(chǎn)線高速的生產(chǎn)節(jié)奏，而且缺乏科學(xué)性和規(guī)范性，致使傳統(tǒng)的非自動(dòng)化檢測(cè)方法無法適應(yīng)現(xiàn)代化工業(yè)生產(chǎn)的需要。

自動(dòng)化檢測(cè)階段，主要采用渦流檢測(cè)法、紅外檢測(cè)法和漏磁檢測(cè)法等。這些方法受自身檢測(cè)原理的限制，不能檢出所有類型的缺陷，在很多場(chǎng)合不能直接使用。

機(jī)器視覺檢測(cè)階段，采用機(jī)器視覺代替人工視覺進(jìn)行檢測(cè)。該檢測(cè)技術(shù)具有受環(huán)境電磁場(chǎng)影響小、工作距離大、測(cè)量精度高和易于實(shí)現(xiàn)智能化等優(yōu)點(diǎn)，已經(jīng)成為板帶材表面質(zhì)量監(jiān)控的重要先進(jìn)手段與技術(shù)，更適合于自動(dòng)化生產(chǎn)線上的在線檢測(cè)。

中厚板鋼板是鋼鐵工業(yè)的重要產(chǎn)品之一，主要用于航空航天、橋梁建造、汽車制造以及國(guó)防裝備等領(lǐng)域。在軋制過程中，與冷軋薄板相比，中厚板需要采用熱軋工藝，軋制溫度更高、環(huán)境也更加惡劣，國(guó)內(nèi)外尚無成功的熱軋鋼板表面在線無損檢測(cè)的成功案例，其主要原因是面臨以下難題：

1、熱軋環(huán)境下鋼板表面容易產(chǎn)生霧化效果，并且光線傳播容易變形，利用攝像頭進(jìn)行采集的時(shí)候容易發(fā)生光線偏移，造成圖像變形或者影響圖像的整體質(zhì)量，增加圖像中的噪聲。

2、受環(huán)境、光照、生產(chǎn)工藝和噪聲等多重因素影響，檢測(cè)系統(tǒng)的信噪比一般較低，微弱信號(hào)難以檢出或不能與噪聲有效區(qū)分。如何構(gòu)建穩(wěn)定、可靠、精準(zhǔn)的檢測(cè)系統(tǒng)，以適應(yīng)光照變化、噪聲以及其他外界不良環(huán)境的干擾，是要解決的問題之一。

3、由于檢測(cè)對(duì)象多樣、表面缺陷種類繁多、形態(tài)多樣、背景復(fù)雜，對(duì)于眾多缺陷類型產(chǎn)生的機(jī)理以及其外在表現(xiàn)形式之間的關(guān)系尚不明確，致使對(duì)缺陷的描述不充分，缺陷的特征提取有效性不高，缺陷目標(biāo)分割困難；同時(shí)，很難找到“標(biāo)準(zhǔn)”圖像作為參照，這給缺陷的檢測(cè)和分類帶來困難，造成識(shí)別率尚有待提高。

4、從機(jī)器視覺表面檢測(cè)的準(zhǔn)確性方面來看，盡管一系列優(yōu)秀的算法不斷出現(xiàn)，但在實(shí)際應(yīng)用中準(zhǔn)確率仍然與滿足實(shí)際應(yīng)用的需求尚有一定差距，如何解決準(zhǔn)確識(shí)別與模糊特征之間、實(shí)時(shí)性與準(zhǔn)確性之間的矛盾仍然是目前的難點(diǎn)。

二、解決問題的思路與技術(shù)方案

為了改進(jìn)現(xiàn)場(chǎng)人工檢測(cè)方法存在的漏檢率高、鋼板質(zhì)量依賴于質(zhì)檢員經(jīng)驗(yàn)等問題，在南鋼中厚板廠建立一套基于機(jī)器視覺技術(shù)的鋼板表面缺陷檢測(cè)系統(tǒng)，該系統(tǒng)包含三大模塊：（1）用于高速采集上下表面圖片的光學(xué)設(shè)備，同時(shí)包含對(duì)灰塵鐵屑等的自動(dòng)清掃裝置；（2）機(jī)器視覺算法后臺(tái)：利用深度卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取圖像中各目標(biāo)區(qū)域的特征，然后對(duì)各目標(biāo)區(qū)域進(jìn)行分類驗(yàn)證，以檢測(cè)該區(qū)域是否包含某類缺陷的特征；（3）系統(tǒng)管理及展示平臺(tái)：鋼板實(shí)時(shí)檢測(cè)情況展示并對(duì)記錄的缺陷圖片以及對(duì)應(yīng)鋼板位置進(jìn)行管理。

1、上下表檢圖片采集系統(tǒng)

本項(xiàng)目拍攝系統(tǒng)方案為在現(xiàn)有中厚板產(chǎn)線輥道的上下兩端分別布置一套照明和成像系統(tǒng)，以同時(shí)檢測(cè)輥道上鋼板上下兩個(gè)表面的缺陷。同時(shí)，要求拍攝成像系統(tǒng)能拍攝完整、清晰的視頻和照片，并保持穩(wěn)定可靠運(yùn)行，有效應(yīng)對(duì)現(xiàn)場(chǎng)不同自然光照條件、四季不同環(huán)境溫度。此外，系統(tǒng)要可自動(dòng)應(yīng)對(duì)氧化鐵皮掉落、玻璃防結(jié)霧、揚(yáng)塵等所有影響拍攝的環(huán)境因素干擾。

為實(shí)現(xiàn)上述目標(biāo)，本項(xiàng)目的拍攝系統(tǒng)設(shè)計(jì)如下圖1所示，包括上表檢系統(tǒng)和下表檢系統(tǒng)。

圖1上表檢和下表檢圖像采集方案示意圖

（1）上表檢圖像采集系統(tǒng)。上表檢照明和成像系統(tǒng)如圖3-2所示，放置在上相機(jī)箱體內(nèi)，箱體采用密閉結(jié)構(gòu)，前端面鑲嵌玻璃，方便光源照明和相機(jī)成像，上相機(jī)箱體放置在上表檢室內(nèi)。上表檢室是密閉的，如圖3-3所示，其前端是隔熱玻璃和吹掃結(jié)構(gòu)，保持玻璃面的干凈。上表檢室內(nèi)還放置有空調(diào)系統(tǒng)，用于降低上表檢室內(nèi)的溫度，提高照明和成像系統(tǒng)的穩(wěn)定性。

圖2上表檢成像系統(tǒng)示意圖

圖3上表檢室外觀示意圖

（2）下表檢圖像采集系統(tǒng)。下表檢照明和成像系統(tǒng)如圖3-4所示，放置在下相機(jī)箱體內(nèi)，箱體采用密閉結(jié)構(gòu)，前端面鑲嵌玻璃，玻璃的外表面安裝吹掃結(jié)構(gòu)，可保持玻璃面的干凈，下相機(jī)箱體放置在下表檢室內(nèi)。如圖3-5所示，下表檢室也是密閉的，其前端是隔熱玻璃，隔熱玻璃傾斜一定的角度安裝，玻璃上部布置有吹掃管，下部安裝吸塵裝置和收集裝置，一吹一吸的氣簾可將掉落在隔熱玻璃表面的氧化鐵皮及灰塵等及時(shí)收集到布?jí)m袋中，由此保證鋼板下表面表檢系統(tǒng)的有效性。下表檢室內(nèi)還放置有空調(diào)系統(tǒng)，用于降低下表檢室內(nèi)的溫度，提高照明和成像系統(tǒng)的穩(wěn)定性。

圖4下表檢成像系統(tǒng)示意圖（鋼板從左向右運(yùn)動(dòng)）

圖5下表檢室外觀示意圖

（3）玻璃防結(jié)霧設(shè)計(jì)。由于上、下表檢系統(tǒng)均采用密閉結(jié)構(gòu)，因此，相機(jī)在透過墻面拍攝輥道上的鋼板圖像時(shí)，需要開設(shè)透光口，并采用玻璃對(duì)透光口進(jìn)行密封，由于上表檢室、下表檢室與外部有溫度差，則造成了密封玻璃容易起霧，影響系統(tǒng)的正常使用。

本項(xiàng)目采用吹風(fēng)的方式除霧，當(dāng)風(fēng)吹到玻璃表面，玻璃表面小水珠流動(dòng)性加快，不容易液化到玻璃表面，且吹風(fēng)可以加速玻璃表面液體的蒸發(fā)，因此玻璃表面不容易起霧，考慮到熱軋板表檢裝置所處的環(huán)境，本項(xiàng)目將在上、下表檢室觀察玻璃靠近熱軋板的一側(cè)安裝風(fēng)簾裝置，通過不斷的吹風(fēng)來避免結(jié)霧現(xiàn)象的產(chǎn)生。

（4）基于“線陣CCD+自適應(yīng)LED光源”的拍攝系統(tǒng)。鋼板表面的靠近邊緣的部分，由于其漫反射的強(qiáng)度和漫反射角度相關(guān)，因而造成光強(qiáng)損失，導(dǎo)致帶材邊緣圖像的灰度值減弱。本項(xiàng)目首次在熱軋鋼板表面檢測(cè)中采用“線陣CCD+自適應(yīng)LED光源”的圖像采集方案，將高亮度的藍(lán)色光照射到熱軋鋼板表面，并通過線陣CCD攝像機(jī)采集熱軋鋼板表面圖像，解決了遠(yuǎn)距離均勻照明的問題，提高了圖像的對(duì)比度。同時(shí)，通過對(duì)CCD進(jìn)行PRNU（圖像不均一響應(yīng)）標(biāo)定和軟件增益補(bǔ)償，實(shí)現(xiàn)光強(qiáng)平衡，使得整體成像灰度更加均勻，以便于后續(xù)的圖像處理。

（5）拍攝系統(tǒng)防塵設(shè)計(jì)。熱軋鋼板廠區(qū)環(huán)境十分惡劣，既有高溫輻射，又有粉塵彌漫，上表檢室、下表檢室透光口處的密封玻璃極容易被粉塵遮擋，影響圖像的正常拍攝，尤其是位于輥道下方的下表檢系統(tǒng)，落灰現(xiàn)象十分嚴(yán)重。因此，本項(xiàng)目中，考慮上表檢、下表檢受粉塵的不同影響，分別設(shè)計(jì)了上表檢和下表檢的防塵系統(tǒng)。

①上表檢防塵方案?？紤]到廠房?jī)?nèi)有灰塵，將上表面的照明和成像系統(tǒng)密封在箱體內(nèi)，如圖3-6～3-8所示，作用面鑲嵌玻璃，不阻礙光源的照明和相機(jī)的成像。同時(shí)在玻璃的外側(cè)設(shè)計(jì)清灰刷，通過無桿氣缸帶動(dòng)清灰刷在玻璃上左右運(yùn)動(dòng)，刮除玻璃表面上粘附的灰塵。清灰的時(shí)間間隔可以根據(jù)產(chǎn)線的具體情況來靈活設(shè)置。若現(xiàn)場(chǎng)灰塵吸附玻璃表面，考慮加清潔劑或高壓氣槍的方式進(jìn)一步清理。

圖6上表面除塵裝置

圖7上表面除塵裝置

圖8無桿氣缸除塵擦

②下表檢防塵方案。對(duì)于下表檢系統(tǒng)的防塵，綜合設(shè)計(jì)了三個(gè)措施來解決該問題：

A、在表檢系統(tǒng)的前一個(gè)滾輪間隙處安裝鋼絲滾刷，將即將剝離的環(huán)氧鐵皮刮下，同時(shí)考慮加強(qiáng)機(jī)械設(shè)計(jì)來保證鋼絲滾刷與鋼板的接觸良好。

B、下表檢室的側(cè)面安裝隔熱玻璃來作為下表檢系統(tǒng)的照明和成像窗口，隔熱玻璃的角度盡量大，以降低鐵皮堆積的可能性，同時(shí)在隔熱玻璃的上部布置有一個(gè)氣簾裝置，通過不停的吹風(fēng)，可將掉落在隔熱玻璃表面的氧化鐵皮及灰塵等及時(shí)吹掉，也可以給隔熱玻璃降溫。

C、在隔熱玻璃的外表面安裝清灰刷裝置，可將氣簾未吹走的鐵皮、灰塵等刮掉。

（6）基于幀同步技術(shù)的拍攝系統(tǒng)自動(dòng)啟閉設(shè)計(jì)。鋼板在輥道上輸送過程中，為實(shí)現(xiàn)鋼板來時(shí)點(diǎn)亮光源、相機(jī)輸出圖像；鋼板走時(shí)關(guān)閉光源、相機(jī)不輸出圖像的智能控制功能，從而降低功耗、節(jié)能環(huán)保，本項(xiàng)目系統(tǒng)采用了鋼板位置自反饋設(shè)計(jì)。

熱軋板在運(yùn)行過程中速度不是一成不變的，會(huì)發(fā)生一定的變動(dòng)，如果從始至終都用一個(gè)行頻來采集熱軋板的圖像，將會(huì)導(dǎo)致所采集到的熱軋板圖像存在一定程度的失真。為此本項(xiàng)目將采用編碼器來實(shí)時(shí)獲取熱軋板的運(yùn)行速度，并反饋控制相機(jī)的掃描行頻，來確保采集到的圖像不失真。

拍攝啟動(dòng)自反饋：由于熱軋板較大較重，不易滑動(dòng)，因此可以認(rèn)為圓輥表面的線速度與熱軋板的線速度是一致的，使用時(shí)將接觸式碼盤編碼器固定在輥軸上，可以實(shí)時(shí)監(jiān)測(cè)圓輥的角速度，進(jìn)而計(jì)算出圓輥表面的線速度，從而得到熱軋板的運(yùn)行速度。編碼器的信號(hào)實(shí)時(shí)控制圖像采集相機(jī)的掃描行頻，實(shí)現(xiàn)采集系統(tǒng)和鋼板運(yùn)行速度的自適應(yīng)。

拍攝關(guān)閉自反饋：通過架設(shè)在鋼板輥道上的紅外傳感器，進(jìn)行延遲關(guān)閉。

2、機(jī)器視覺算法后臺(tái)

應(yīng)用深度學(xué)習(xí)中的深層卷積神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)統(tǒng)計(jì)技術(shù)對(duì)缺陷進(jìn)行檢測(cè)識(shí)別。針對(duì)熱軋鋼板表面狀況復(fù)雜的特點(diǎn)，采用形態(tài)濾波與神經(jīng)網(wǎng)絡(luò)等方法開發(fā)了熱軋鋼板表面缺陷的檢測(cè)與識(shí)別算法，解決了水、氧化鐵皮與光照不均現(xiàn)象引起的“誤識(shí)”問題，大幅提高鋼板表面缺陷識(shí)別檢出率和檢測(cè)準(zhǔn)確率，達(dá)到國(guó)際先進(jìn)指標(biāo)。

3、系統(tǒng)管理及展示平臺(tái)

對(duì)接現(xiàn)場(chǎng)MES系統(tǒng)，向用戶展示拼接后的鋼板表面的圖片以及缺陷情況，同時(shí)，展示系統(tǒng)與現(xiàn)場(chǎng)板號(hào)跟蹤系統(tǒng)對(duì)接，根據(jù)每塊鋼板的鋼板號(hào)對(duì)其缺陷情況進(jìn)行記錄，最終向用戶反饋對(duì)應(yīng)板號(hào)的鋼板缺陷情況，并進(jìn)行現(xiàn)場(chǎng)缺陷報(bào)警警示。缺陷展示頁面如圖3-9所示：

圖9缺陷展示頁面示意圖

三、主要?jiǎng)?chuàng)新性成果

1、可實(shí)現(xiàn)熱軋鋼板上下表面在線缺陷檢測(cè)的方案設(shè)計(jì)

系統(tǒng)安裝在軋鋼輥道上，工位在定尺剪后、標(biāo)印機(jī)前方，實(shí)現(xiàn)熱軋鋼板表面缺陷的實(shí)時(shí)在線檢測(cè)。同時(shí)，在輥道上下兩端分別布置一套照明和成像系統(tǒng)，可同時(shí)檢測(cè)鋼板上下兩個(gè)表面的缺陷。

2、可實(shí)現(xiàn)實(shí)時(shí)精確反饋的yolov4優(yōu)化算法

對(duì)Yolov4神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，替換主干網(wǎng)絡(luò)，降低其參數(shù)量；對(duì)Yolov4神經(jīng)網(wǎng)絡(luò)的SPP池化層結(jié)構(gòu)進(jìn)行優(yōu)化，豐富缺陷特征，降低計(jì)算量，提高運(yùn)算速度和準(zhǔn)確率，最終實(shí)現(xiàn)檢出率可達(dá)98%及以上，并使人工智能算法的識(shí)別速度與現(xiàn)場(chǎng)生產(chǎn)節(jié)奏保持一致。

3、基于“線陣CCD+自適應(yīng)LED光源”的拍攝系統(tǒng)

由于不同鋼板的表面粗糙度、材質(zhì)略有不同，對(duì)光線的反射程度會(huì)有變化，導(dǎo)致不同鋼板圖片的亮度差異大。項(xiàng)目采用高亮度的藍(lán)色光照射到熱軋鋼板表面，并通過線陣CCD攝像機(jī)采集熱軋鋼板表面圖像，解決了遠(yuǎn)距離均勻照明的問題，提高了圖像的對(duì)比度。同時(shí)表檢系統(tǒng)會(huì)根據(jù)拍攝狀況隨時(shí)調(diào)整LED光強(qiáng)，以達(dá)到最佳拍攝效果。

4、拍攝系統(tǒng)防塵設(shè)計(jì)

由于生產(chǎn)現(xiàn)場(chǎng)伴有高溫粉塵等惡劣條件，對(duì)相機(jī)采集圖像影響嚴(yán)重，因此需要針對(duì)上、下表檢的不同情況，分別設(shè)計(jì)防塵清灰結(jié)構(gòu)。本項(xiàng)目重點(diǎn)針對(duì)位于輥道下方的下表檢設(shè)計(jì)了防塵清灰結(jié)構(gòu)，一方面，通過自動(dòng)運(yùn)動(dòng)的吸塵管道，對(duì)透光玻璃的表面進(jìn)行自動(dòng)清掃，另一方面，增加有角度傾斜玻璃罩，灰塵鐵屑滑落后輸送到特定位置清理，并根據(jù)現(xiàn)有溫度狀況進(jìn)行冷卻處理。

5、基于幀同步技術(shù)的拍攝系統(tǒng)自動(dòng)啟閉設(shè)計(jì)

為保障拍攝系統(tǒng)能夠快速響應(yīng)，其信號(hào)源使用自觸發(fā)功能實(shí)現(xiàn)“受控可變頻率輸出”。使用以太網(wǎng)觸發(fā)相機(jī)拍攝，外部觸發(fā)模式下可以優(yōu)化丟幀、亂拍、圖片大小不同等情況。最終實(shí)現(xiàn)鋼板來：點(diǎn)亮光源、相機(jī)輸出圖像；鋼板走：關(guān)閉光源、相機(jī)不輸出圖像的智能控制功能，降低功耗、節(jié)能環(huán)保。

6、防扎板輥道設(shè)計(jì)采用八字板+小輥的結(jié)構(gòu)設(shè)計(jì)，解決鋼板通過表檢處時(shí)，容易產(chǎn)生的扎板問題，適合在南鋼的場(chǎng)景下使用，減小鋼板摩擦，利于鋼板順利通過下表檢觀察口。

四、應(yīng)用情況與效果

本項(xiàng)目已于2020年底，在南鋼中厚板卷廠成功實(shí)施，南鋼中厚板卷廠現(xiàn)有條件：鋼板寬度約為3300mm，長(zhǎng)度不長(zhǎng)于24m；板材厚為4mm-60mm；板材運(yùn)行速度約為2m/s；鋼板的溫度約為200℃，外觀多為黑褐色。在此條件下，可以實(shí)現(xiàn)檢出率可達(dá)98%及以上，準(zhǔn)確率可達(dá)90%及以上，并使人工智能算法的識(shí)別速度與現(xiàn)場(chǎng)生產(chǎn)節(jié)奏保持一致，達(dá)到國(guó)際先進(jìn)水平。

檢出率和準(zhǔn)確率的計(jì)算公式如下：

檢出率=算法模型檢出的真實(shí)的缺陷個(gè)數(shù)/人工檢出的真實(shí)的缺陷個(gè)數(shù)；

準(zhǔn)確率=算法模型分類正確的缺陷個(gè)數(shù)/算法模型檢出的真實(shí)的缺陷個(gè)數(shù)。

本項(xiàng)目成功上線后平均每條生產(chǎn)線可節(jié)省人工3名/年，節(jié)約檢測(cè)成本數(shù)百萬元，同時(shí)可降低產(chǎn)品的質(zhì)量異議。項(xiàng)目已成功申報(bào)發(fā)明專利1項(xiàng)，軟著1項(xiàng)。此外，本項(xiàng)目產(chǎn)品也成功榮獲江蘇省優(yōu)秀人工智能產(chǎn)品、江蘇省人工智能學(xué)會(huì)技術(shù)創(chuàng)新獎(jiǎng)。

審核編輯：郭婷