紋理分析以及結(jié)合深度學(xué)習(xí)來提升紋理分類效果

來源：AI公園，作者：Trapti Kalra

編譯：ronghuaiyang

導(dǎo)讀

紋理分析的介紹，各種紋理分析方法，并結(jié)合深度學(xué)習(xí)提升紋理分類。

人工智能的一個(gè)獨(dú)特應(yīng)用領(lǐng)域是幫助驗(yàn)證和評(píng)估材料和產(chǎn)品的質(zhì)量。在IBM，我們開發(fā)了創(chuàng)新技術(shù)，利用本地移動(dòng)設(shè)備，專業(yè)的微型傳感器技術(shù)，和AI，提供實(shí)時(shí)、解決方案，利用智能手機(jī)技術(shù)，來代替易于出錯(cuò)的視覺檢查設(shè)備和實(shí)驗(yàn)室里昂貴的設(shè)備。

在開發(fā)質(zhì)量和可靠性檢查的人工智能能力的同時(shí)，產(chǎn)品和材料的圖像需要是高清晰度的或者是微觀尺度的，因此，設(shè)計(jì)能夠同時(shí)代表采樣圖像的局部和全局獨(dú)特性的特征變得極為重要。利用來自紋理分析方法的特征來豐富基于深度CNN的模型是一種非常有效的方法來實(shí)現(xiàn)更好的訓(xùn)練模型。

為了更好地理解紋理分析方法在深度學(xué)習(xí)中的應(yīng)用，我們先來了解一下什么是紋理分析。

什么是紋理？

紋理是粗糙度、對(duì)比度、方向性、線條相似性、規(guī)則性和粗糙度的度量，有助于我們理解圖像中顏色或強(qiáng)度的空間排列。紋理是圖像強(qiáng)度中局部變化的重復(fù)模式(圖1)。

圖1，紋理圖像示例 (a)原始圖像，(b)紋理重復(fù)模式

紋理由紋理原語或紋理元素組成，有時(shí)被稱為元紋理。元紋理用于從圖像中找到對(duì)象的色調(diào)和紋理。圖像的色調(diào)取決于元紋理的像素強(qiáng)度屬性，而紋理處理元紋理之間的空間連接。

例如，如果元紋理之間的色調(diào)差異很大，而元紋理的尺寸很小，它就像一個(gè)精細(xì)的紋理，如果一個(gè)元紋理包含很多像素，那么它就像一個(gè)粗糙的紋理。

我們需要了解不同類型的紋理才能正確地分析它們。在開始任何與紋理相關(guān)的項(xiàng)目之前，最好知道你將處理什么樣的紋理。

不同類型的紋理

紋理的分類是困難的，因?yàn)樗囊恍傩?，如?guī)律性、隨機(jī)性、均勻性和變形沒有得到適當(dāng)?shù)亩x，以及紋理類型是廣泛的和復(fù)雜的。

通常，紋理像粗糙，凹凸，干燥，光澤，沙質(zhì)，硬，尖銳等，屬于粗糙類別，而紋理像細(xì)，光滑，濕，皺，絲滑，軟，暗等，屬于光滑類別。

廣義上，紋理分為兩類，即觸覺和視覺紋理。

觸覺指的是一個(gè)表面的直接有形的感覺，即觸覺紋理就像一個(gè)真實(shí)的對(duì)象。當(dāng)一個(gè)物體被觸摸時(shí)，我們可以感覺到它的質(zhì)地。手感可以是光滑、柔軟、堅(jiān)硬、黏滑、粗糙、粘滑、絲滑等。自然紋理的例子有木頭、巖石、玻璃、金屬、樹葉等，如圖2所示。

圖2，自然紋理的例子

視覺紋理被定義為紋理產(chǎn)生給人類觀察者的視覺印象，也就是說，它不是真正的紋理，但它是人從圖像中檢查紋理的方法。照片中的物體可能看起來很粗糙，但是，照片的感覺總是平坦和光滑的。

根據(jù)視覺紋理的隨機(jī)性程度，可以進(jìn)一步將視覺紋理分為規(guī)則紋理和隨機(jī)紋理。

將簡單可識(shí)別的小尺寸的部分平貼到固體周期模式中，形成“規(guī)則紋理”(圖3)，而隨機(jī)模式中較難識(shí)別部分組成“隨機(jī)紋理”(圖4)。

圖3，規(guī)則紋理的例子

圖4，隨機(jī)紋理的例子

那么，現(xiàn)在最大的問題是，紋理分析在提高計(jì)算機(jī)視覺任務(wù)中深度學(xué)習(xí)的有效性方面的意義是什么?

紋理分析用在哪里？

如今，紋理分析是許多任務(wù)的重要組成部分，從醫(yī)學(xué)影像到遙感，也被用于大型圖像數(shù)據(jù)庫的內(nèi)容查詢。

在工業(yè)檢測(cè)中，當(dāng)現(xiàn)有的技術(shù)無法解決的時(shí)候，紋理分析是一個(gè)強(qiáng)大的工具。讓我們以木材制造為例，在這種情況下，不使用紋理分析很難檢測(cè)裂紋。

紋理檢測(cè)還用于對(duì)地毯進(jìn)行分級(jí)中，根據(jù)地毯因磨損引起的外觀變化。紋理分析用于皮革檢查，通過評(píng)估顏色、厚度和灰度變化。有缺陷的碎片通常會(huì)在皮革上留下疤痕或褶皺。

紋理分析的應(yīng)用范圍包括紋理分類，如遙感(圖5)，紋理分割，如生物醫(yī)學(xué)成像(圖6)。它還被用于圖像合成和模式識(shí)別任務(wù)，如從照片中識(shí)別繪畫。

當(dāng)圖像中的物體是通過紋理屬性而不是強(qiáng)度進(jìn)行分類，或者閾值技術(shù)無法對(duì)其進(jìn)行正確分類時(shí)，紋理分析就發(fā)揮了重要作用。

圖5，利用紋理分析的遙感圖像。由遙感領(lǐng)域的專家對(duì)這些紋理模式進(jìn)行聚類識(shí)別和標(biāo)記

下圖(圖6)顯示了二流腔靜脈的超聲圖像(圖的下三分之一處為鈍區(qū))。肝臟的分割，被白色斑點(diǎn)包圍的區(qū)域，顯示出與周圍組織相比獨(dú)特的紋理。

圖6，利用紋理分析的醫(yī)學(xué)圖像

如今，紋理分析也被用于食品制造行業(yè)，以了解食品的質(zhì)量。硬糖、耐嚼的巧克力曲奇、脆餅干、粘稠的太妃糖、脆芹菜、嫩牛排等食物都含有多種紋理。紋理分析在這一領(lǐng)域有很大的應(yīng)用，例如食物的口感特性可以通過紋理分析很容易地測(cè)量出來。

它也被用于一項(xiàng)名為“流變學(xué)”的研究，這是一門研究物質(zhì)變形和流動(dòng)的科學(xué)，換句話說，是研究物體受到外力作用時(shí)的反應(yīng)。

除了所有這些，紋理分析可以用來測(cè)量/評(píng)估許多產(chǎn)品的質(zhì)量，如粘合劑，藥品，皮膚/頭發(fā)護(hù)理產(chǎn)品，聚合物等。

到目前為止，我們已經(jīng)了解了紋理分析可以應(yīng)用在哪里，在下一節(jié)讓我們看看如何根據(jù)紋理對(duì)圖像進(jìn)行分類。

紋理分析如何應(yīng)用到分類問題中以及為何它如此重要？

到目前為止，我們已經(jīng)了解了不同類型的紋理，并看到了現(xiàn)實(shí)生活中紋理分析很有用的例子。讓我們了解如何在分類問題中使用它，分類器的主要目標(biāo)是通過為每個(gè)圖像提供描述符來對(duì)紋理圖像進(jìn)行分類。換句話說,

分配一個(gè)未知的樣本到一個(gè)預(yù)定義的紋理類被稱為紋理分類

在進(jìn)行紋理分類時(shí)，考慮了圖像的圖案和紋理內(nèi)容?；诩y理的分類是基于紋理特征(如粗糙度、不規(guī)則性、均勻性、平滑度等)進(jìn)行的。任何圖像數(shù)據(jù)集中的每個(gè)類都很可能具有不同的紋理，這使得它成為一個(gè)獨(dú)特的屬性，有助于模型更準(zhǔn)確地對(duì)圖像進(jìn)行分類。

提取紋理的不同技術(shù)和方法

有多種方法用于從圖像中提取紋理。在本文中，我們將討論最常用和最重要的紋理提取方法。

GLCM (Grey Level Co-occurrence Matrix，灰度共生矩陣)是一種常用的、基本的紋理分析統(tǒng)計(jì)方法。GLCM特征基于二階統(tǒng)計(jì)量，用于從均勻性、同質(zhì)性等角度了解像素間的平均相關(guān)程度。

LBP是一種結(jié)合了結(jié)構(gòu)和統(tǒng)計(jì)方法的方法，使紋理分析更有效?，F(xiàn)實(shí)中LBP的一個(gè)重要特征是它對(duì)不同光照條件引起的單調(diào)的灰度變化的容忍度。它的簡單計(jì)算允許在實(shí)時(shí)場(chǎng)景中使用。

小波是一種基于變換的方法，可以捕捉局部的頻率和空間信息。GLCM和LBP關(guān)注的是紋理的空間排列，但紋理的關(guān)鍵要素是尺度，根據(jù)一項(xiàng)心理-視覺研究，我們的大腦處理圖像的方式是多尺度的。我們的大腦會(huì)進(jìn)行不同的空間頻率分析來識(shí)別紋理?；谶@一思想，小波分析關(guān)注的是頻率和空間信息。

分形是圖像自相似性和粗糙度的重要度量。它能夠表征其他紋理分析方法所不能表征的紋理。有各種各樣的技術(shù)來測(cè)量圖像的平滑度、均勻度、平均值和標(biāo)準(zhǔn)差，但分形方法主要關(guān)注圖像紋理的“粗糙度”，并相應(yīng)地對(duì)紋理進(jìn)行分類。

圖像梯度是一種檢測(cè)圖像邊緣的完美技術(shù)，因?yàn)樗兊酶菀鬃R(shí)別紋理時(shí)，邊緣高亮。紋理邊界用于自然邊界的有效劃分，一旦這些邊界被正確識(shí)別，基于這些邊界的紋理區(qū)分就很簡單了。

這五種方法對(duì)不同的紋理數(shù)據(jù)集都取得了滿意的結(jié)果。每種技術(shù)都強(qiáng)調(diào)紋理的獨(dú)特屬性。在下面的部分中，我們將研究這些技術(shù)的特征構(gòu)造方法。

灰度共生矩陣 (GLCM):

GLCM提供了關(guān)于圖像像素之間如何相互關(guān)聯(lián)的信息，這種關(guān)系幫助我們根據(jù)從GLCM中提取的多個(gè)特征對(duì)紋理進(jìn)行分類。矩陣給出了具有相似強(qiáng)度的像素的位置信息?？赡艿膹?qiáng)度值集合是二維數(shù)組的行和列標(biāo)簽(P)

GLCM的P[i,j]首先通過指定一個(gè)位移向量= (dx, dy)，并在位移向量的角度上統(tǒng)計(jì)由分隔的所有像素對(duì)，并進(jìn)行初始化，灰度級(jí)別為j和i(其中j是列，i是行)。

一般來說，GLCM表示為P[i,j] = n??，其中n??是圖像中位于距離處的像素值(i,j)的出現(xiàn)次數(shù)。共生矩陣P的維數(shù)為n*n，其中n是圖像中的灰度級(jí)數(shù)。

GLCM是根據(jù)位移矢量中提到的距離和角度計(jì)算的。對(duì)于一個(gè)像素x，我們可以計(jì)算8個(gè)不同方向的GLCM值，如圖7所示。

圖7，像素x的最近鄰像素

為了更好地理解下面的例子(圖8)，一個(gè)4x4的圖像是由4個(gè)灰度級(jí)組成的。這里，在圖8中，0°角下，i=2，j=3，d=1的GLCM值為4。圖8中頂部的矩陣表明，在我們的圖像中有4個(gè)實(shí)例，灰度級(jí)別3的像素與灰度級(jí)別2的像素水平分離(即0°)。

圖8，共生矩陣的例子，4個(gè)灰度級(jí)別的4x4的圖像

該矩陣可以進(jìn)一步用于數(shù)值計(jì)算全局紋理特征，如相關(guān)性、能量、熵、同質(zhì)性、對(duì)比度、顯著性和陰影。為了進(jìn)一步了解這些特征是如何從GLCM中提取的，請(qǐng)查看這篇論文：http://www.ijsrp.org/research-paper-0513/ijsrp-p1750.pdf，其中詳細(xì)討論了GLCM。

Local Binary Pattern (LBP)：

GLCM側(cè)重于從整體圖像獲取信息，而LBP側(cè)重于局部特征而非全局特征。因?yàn)榧y理是模式的重復(fù)，所以LBP嘗試根據(jù)這些模式對(duì)紋理進(jìn)行分類。紋理的局部表示是通過比較一個(gè)像素與其鄰域的所有像素來計(jì)算的。

在構(gòu)造LBP之前，我們需要將圖像轉(zhuǎn)換為灰度。對(duì)于灰度中的每個(gè)像素，我們?cè)?a target="_blank">中心像素周圍選擇一個(gè)大小為r的鄰域。通過將相鄰像素標(biāo)記為0和1來確定中心像素的LBP值，只要像素的強(qiáng)度等于或大于中心像素，它就標(biāo)記為1，否則標(biāo)記為0(如圖9所示，其固定的鄰域?yàn)? x 3)。

圖9，構(gòu)建LBP的第一步

在下一步計(jì)算LBP中，我們從任何相鄰的像素開始，順時(shí)針或逆時(shí)針方向工作，這個(gè)順序必須對(duì)數(shù)據(jù)集中所有圖片的所有像素保持相同。這個(gè)輸出保存在一個(gè)8位數(shù)組中，它被轉(zhuǎn)換成小數(shù)，如圖10所示。以8個(gè)周圍像素為例，LBP碼的潛在組合為2 - 256種。

圖10，中心像素的8位二進(jìn)制鄰域，并將其轉(zhuǎn)換為十進(jìn)制表示

一旦我們對(duì)圖像的所有像素重復(fù)上述方法，我們就得到了LBP圖像。僅供參考，參見圖11原始圖像(左)的LBP表示示例(右)。

圖11，原始圖（左）LBP轉(zhuǎn)換后的圖（右）

在使用LBP之后，將提取紋理，以便捕獲紋理的極細(xì)粒度細(xì)節(jié)，并且對(duì)紋理進(jìn)行分類要簡單得多。

小波

在此之前，紋理分析的基本問題是缺乏滿意的工具來描述不同尺寸的紋理。多分辨率分析的進(jìn)步，如Gabor和小波變換方法有助于解決這一缺陷。小波變換作用于圖像的頻域。你可能想知道圖像的頻域是什么？

一幅圖像有兩個(gè)域，一個(gè)是空間域，另一個(gè)是頻率域。用像素矩陣表示的圖像稱為空間域，而頻域表示像素值在空間域中變化的速率。

頻率指的是圖像中顏色成分的變化速率，頻率高的地方顏色變化快，頻率低的地方顏色變化慢。

高頻分量對(duì)應(yīng)圖像邊緣，低頻分量對(duì)應(yīng)平滑區(qū)域。小波分析用于將圖像中的信息分成兩個(gè)離散的部分-近似和細(xì)節(jié)。

一旦將小波變換應(yīng)用于圖像，它將產(chǎn)生四個(gè)象限(如圖12所示)的圖像。每個(gè)象限代表以下內(nèi)容：

LL (low - low)：左上象限沿圖像的行和列使用低通濾波器濾波。這個(gè)子塊擁有原始圖像的一半分辨率。

HL(高-低)/LH(低-高)：右上和左下象限沿行和列使用高通濾波器和低通濾波器交替過濾。HL子塊顯示圖像的水平邊緣，而LH子塊顯示原始圖像的垂直邊緣。

HH (high - high)：右下象限使用高通濾波器沿圖像的行和列進(jìn)行濾波。該子塊沿著對(duì)角線方向描述了原始圖像的邊緣。

然后再對(duì)一半分辨率的圖像做小波變換，這是遞歸地完成的，這樣原始圖像的鄰近像素越來越不相關(guān)。

圖12

參考圖13了解小波變換的不同層次。

圖13，經(jīng)過幾級(jí)小波變換，得到了多分辨率圖

上述圖像分解后的表示方法被稱為多尺度表示和多分辨率方案。經(jīng)過小波變換(小波圖像分解)后的輸出很容易解釋。圖像的每個(gè)子部分都提供了方向和特定尺度的信息，這些信息很容易分離出來。小波變換后的子圖像保留了空間信息。

分形

利用分形維數(shù)可以識(shí)別圖像的紋理粗糙度、平滑度、固體度和面積等特征。

在歐幾里得n空間中，如果閉集X是N?不同的不相交副本的并集，N?的每個(gè)元素按比例r縮小都與X相同，則X被稱為自相似。我們可以用下面的表達(dá)式為X寫出分形維數(shù)D：

盒計(jì)數(shù)法計(jì)算分形維數(shù)的算法如下:

目的:分形維數(shù)(FD)的計(jì)算。

輸入：二維圖像I

輸出：FD

1.Reada2-DinputimageI
2.[P,Q]=SIZE[I]
3.IfP>Qthenr=p
Elser=q
4.ComputefractaldimensionusingEquation1
5.Stop

采用盒計(jì)數(shù)算法計(jì)算所有圖像的分形維數(shù)。圖14中l(wèi)ena、bird和rice的圖像是為了說明問題。下表1中列出了分形維數(shù)得到的結(jié)果。

圖14，原圖：(a) Lena (b) bird (c ) rice；40% 損壞的圖：(d) Lena (e) bird (f)rice

表1，使用盒計(jì)數(shù)法得到的分形維數(shù)

在不同的噪聲水平下，計(jì)算了被破壞的Lena, bird和rice圖像的分形維數(shù)。其結(jié)果見表2

表2，Lena, bird和rice的損壞圖像的分形維數(shù)

由表2可知，圖像的分形維數(shù)與粗糙度成正比增加。圖像的粗糙度與噪聲密度成正比，在這種情況下，由于椒鹽噪聲的增加，粗糙度增加了。

由以上結(jié)果可知，分形維數(shù)是比較圖像粗糙度的一種合適的度量。

由于粗糙度在紋理分析中起著重要的作用，分形是一種很好的基于粗糙度的紋理分類方法。

圖像梯度

圖像梯度是許多計(jì)算機(jī)視覺任務(wù)的基本組成部分之一，也是紋理分類的一項(xiàng)重要技術(shù)。圖像梯度的主要應(yīng)用是在邊緣檢測(cè)中。當(dāng)紋理在不合適的光照下被捕獲時(shí)，邊緣檢測(cè)對(duì)于尋找紋理的邊界是很有用的。

由于圖像梯度是圖像強(qiáng)度的方向變化，為了計(jì)算圖像的梯度，我們需要大小和方向，即梯度大小：圖像強(qiáng)度變化的強(qiáng)度的度量，和梯度方向：圖像強(qiáng)度變化的方向的度量。

為了測(cè)量大小，我們計(jì)算垂直變化(G?)和水平變化(G?)，

現(xiàn)在梯度大小(G)和梯度方向(θ)可以用Sobel方法是一種用于尋找圖像梯度的技術(shù)。在這種技術(shù)中，所有圖像的垂直和水平核都是預(yù)先定義的，它們被用來計(jì)算圖像梯度(結(jié)果顯示在圖15中)。

圖15，左：原始lena圖像，右：Sobel實(shí)現(xiàn)的圖像梯度

現(xiàn)在這個(gè)圖像梯度已經(jīng)突出了所有的邊緣，以類似的方式，圖像梯度識(shí)別所有圖像的邊緣，這將確保不同的紋理區(qū)域?qū)⒈挥行Х指睢?/p>

在深度學(xué)習(xí)中使用這些技術(shù)

到目前為止，我們已經(jīng)了解了各種紋理提取特征。讓我們看看如何將這些技術(shù)與深度學(xué)習(xí)相結(jié)合，這樣我們?cè)絹碓浇咏褂眉y理分類解決現(xiàn)實(shí)生活中的用例。

紋理分類可以使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)實(shí)現(xiàn)。一個(gè)基本的CNN如圖16所示。CNN具有非凡的感知模式的能力，很可能是最精通的深度學(xué)習(xí)方法。唯一的缺點(diǎn)是，找到不同超參數(shù)的理想值仍然是一個(gè)主要的挑戰(zhàn)。

圖16，基本CNN模型

由于紋理分類是一項(xiàng)復(fù)雜的任務(wù)，基本的CNN模型可能不適用于高度基于紋理的數(shù)據(jù)集。因此，如圖17所示，我們?cè)谧鰧?shí)驗(yàn)時(shí)使用了一個(gè)稍微高級(jí)的架構(gòu)。該架構(gòu)是2-D卷積層、池化(最大、最小或平均)和批歸一化層的組合，使模型能夠有效地訓(xùn)練。我們利用2D卷積層，以便更好地進(jìn)行特征提取。根據(jù)數(shù)據(jù)集的復(fù)雜性，我們可以有更多的層。

圖17，一個(gè)輸入的紋理分類的CNN模型

我們還嘗試了另一種方法，如圖18所示，我們將輸入圖像與紋理(轉(zhuǎn)換)圖像結(jié)合起來，并使用共享權(quán)重機(jī)制將它們傳遞到卷積層。通過使用這種方法，更容易從變換后的圖像中提取特征，因?yàn)樗鼈冇蓄A(yù)先計(jì)算的特征值，并給網(wǎng)絡(luò)關(guān)于圖像代表什么的想法。無論是一個(gè)GLCM矩陣，或一個(gè)LBP矩陣，或一個(gè)圖像梯度矩陣，或兩個(gè)轉(zhuǎn)換后的輸入的組合，或三者的組合都可以作為輸入的一部分與原始圖像一起傳遞。

圖18，3個(gè)輸入的CNN紋理分類模型

在圖18中，原始圖像的一個(gè)輸入后面跟著一個(gè)lambda層，用于第二個(gè)輸入和轉(zhuǎn)換后的圖像的第三個(gè)輸入。在它們旁邊是卷積層，輸入大小為128×128，輸出大小為126×126。卷積層的輸出被送入三個(gè)Max-Pooling層，一個(gè)Max-Pooling層用于每個(gè)輸出大小為63×63的輸入。遵循相同的過程，直到使用Add層來連接所有三個(gè)輸出，并產(chǎn)生30×30大小的輸出。Flatten層用于115200個(gè)輸出，然后是輸出為512的dense層，隨后是批歸一化和Dropout層，以相同的順序添加了兩次。最后，添加一個(gè)有11個(gè)輸出神經(jīng)元的dense層。

我們?cè)诨诩y理的KTH數(shù)據(jù)集，包含11個(gè)材質(zhì)的圖像上進(jìn)行了紋理分類任務(wù)的實(shí)驗(yàn)。

表3，不同的方法的對(duì)比

圖19，對(duì)表3的可視化圖

從表3和圖19中，我們可以看到，當(dāng)更相關(guān)(紋理豐富)的信息作為輸入傳遞給深度學(xué)習(xí)模型時(shí)，準(zhǔn)確率顯著提高。這些技術(shù)包括兩個(gè)以上的特征作為輸入，如GLCM矩陣、LBP矩陣、小波和分形維數(shù)，以及原始輸入圖像。

這主要是因?yàn)槟Ｐ鸵矎募y理特征中學(xué)習(xí)，證明了監(jiān)督預(yù)訓(xùn)練和幾個(gè)轉(zhuǎn)換后的特征矩陣的直接相關(guān)性，可以提高精度。

一般來說，信息轉(zhuǎn)換后的輸入代表相關(guān)特征，從而導(dǎo)致更好的準(zhǔn)確性。然而，在這種關(guān)系中也有一些例外——例如，當(dāng)原始輸入與GLCM結(jié)合時(shí)，在特定情況下，精度會(huì)下降一小部分(圖19)。

在本博客中，我們?cè)敿?xì)解釋了紋理特征的主要類型及其分析，并演示了提供更多信息數(shù)據(jù)(以紋理特征的形式)的方法可以有助于提高CNN模型的性能。我們將在接下來的文章中進(jìn)一步探討這個(gè)概念。

英文原文：https://medium.com/@trapti.kalra_ibm/texture-analysis-with-deep-learning-for-improved-computer-vision-aa627c8bb133