細(xì)粒度圖像分析技術(shù)詳解

　　“有別于我們熟悉的圖像識(shí)別，“細(xì)粒度圖像分析”所屬類別和粒度更為精細(xì)，本文將向讀者全面介紹這一領(lǐng)域的相關(guān)技術(shù)。 ”

　　有別于通用圖像分析任務(wù)，細(xì)粒度圖像分析的所屬類別和粒度更為精細(xì)，它不僅能在更細(xì)分的類別下對(duì)物體進(jìn)行識(shí)別，就連相似度極高的同一物種也能區(qū)別開來(lái)。本文將分別圍繞“細(xì)粒度圖像分類”和“細(xì)粒度圖像檢索”兩大經(jīng)典圖像問(wèn)題來(lái)展開，從而使讀者對(duì)細(xì)粒度圖像分析領(lǐng)域有全面的理解。

　　大家應(yīng)該都會(huì)有這樣的經(jīng)歷：逛街時(shí)看到路人的萌犬可愛(ài)至極，可僅知是“犬”殊不知其具體品種；初春踏青，見(jiàn)那姹紫嫣紅叢中笑，卻桃杏李傻傻分不清……實(shí)際上，類似的問(wèn)題在實(shí)際生活中屢見(jiàn)不鮮。如此問(wèn)題為何難？究其原因，是普通人未受過(guò)針對(duì)此類任務(wù)的專門訓(xùn)練。倘若踏青時(shí)有位資深植物學(xué)家相隨，不要說(shuō)桃杏李花，就連差別甚微的青青河邊草想必都能分得清白。為了讓普通人也能輕松達(dá)到“專家水平”，人工智能的研究者們希望借助計(jì)算機(jī)視覺(jué)技術(shù)（Computer Vision，CV）來(lái)解決這一問(wèn)題。如上所述的這類任務(wù)在CV研究中有個(gè)專門的研究方向，即“細(xì)粒度圖像分析”（Fine-Grained Image Analysis）。

　　細(xì)粒度圖像分析任務(wù)相對(duì)通用圖像（General/Generic Images）任務(wù)的區(qū)別和難點(diǎn)在于其圖像所屬類別的粒度更為精細(xì)。以圖1為例，通用圖像分類其任務(wù)訴求是將“袋鼠”和“狗”這兩個(gè)物體大類（藍(lán)色框和紅色框中物體）分開，可見(jiàn)無(wú)論從樣貌、形態(tài)等方面，二者還是很容易被區(qū)分的；而細(xì)粒度圖像的分類任務(wù)則要求對(duì)“狗”該類類別下細(xì)粒度的子類，即分別為“哈士奇”和“愛(ài)斯基摩犬”的圖像分辨開來(lái)。正因同類別物種的不同子類往往僅在耳朵形狀、毛色等細(xì)微處存在差異，可謂“差之毫厘，謬以千里”。不止對(duì)計(jì)算機(jī)，對(duì)普通人來(lái)說(shuō)，細(xì)粒度圖像任務(wù)的難度和挑戰(zhàn)無(wú)疑也更為巨大。

　　圖1 通用圖像分析

　　在此，本文針對(duì)近年來(lái)深度學(xué)習(xí)方面的細(xì)粒度圖像分析任務(wù)，分別從“細(xì)粒度圖像分類”（Fine-Grained Image Classification）和“細(xì)粒度圖像檢索”（Fine-Grained Image Retrieval）兩大經(jīng)典圖像問(wèn)題進(jìn)行進(jìn)展綜述，以期讀者可以對(duì)細(xì)粒度圖像分析領(lǐng)域提綱挈領(lǐng)地窺得全貌。

　　細(xì)粒度圖像分類

　　誠(chéng)如剛才提到，細(xì)粒度物體的差異僅體現(xiàn)在細(xì)微之處。如何有效地對(duì)前景對(duì)象進(jìn)行檢測(cè)，并從中發(fā)現(xiàn)重要的局部區(qū)域信息，成為了細(xì)粒度圖像分類算法要解決的關(guān)鍵問(wèn)題。對(duì)細(xì)粒度分類模型，可以按照其使用的監(jiān)督信息的強(qiáng)弱，分為“基于強(qiáng)監(jiān)督信息的分類模型”和“基于弱監(jiān)督信息的分類模型”兩大類。

　　基于強(qiáng)監(jiān)督信息的細(xì)粒度圖像分類模型

　　所謂“強(qiáng)監(jiān)督細(xì)粒度圖像分類模型”是指：在模型訓(xùn)練時(shí)，為了獲得更好的分類精度，除了圖像的類別標(biāo)簽外，還使用了物體標(biāo)注框（Object Bounding Box）和部位標(biāo)注點(diǎn)（Part Annotation）等額外的人工標(biāo)注信息，如圖2所示。

　　圖2 物體標(biāo)注框和部位標(biāo)注點(diǎn)