悉尼大學(xué)最新綜述：深度學(xué)習(xí)圖像摳圖

圖像摳圖是一個(gè)計(jì)算機(jī)視覺領(lǐng)域內(nèi)的基礎(chǔ)任務(wù)，旨在獲取任意圖像中的精細(xì)前景。對于需要精細(xì)細(xì)節(jié)的前景類別尤為關(guān)鍵，例如人像，動物，或者植物。圖像摳圖在很多的下游任務(wù)中充當(dāng)著不可或缺的角色，包括電商網(wǎng)站的廣告宣傳，日常生活娛樂中的圖像編輯，視頻會議中的替換背景，或者虛擬現(xiàn)實(shí)，游戲等一些元宇宙應(yīng)用。傳統(tǒng)的研究方法因局限于底層色彩結(jié)構(gòu)，且對人類輔助輸入信息非常敏感，從而在復(fù)雜背景中無法得到優(yōu)秀的摳圖結(jié)果。近年來，基于深度學(xué)習(xí)的解決方案涌現(xiàn)，利用神經(jīng)網(wǎng)絡(luò)優(yōu)秀的特征提取能力取得了非常優(yōu)秀的摳圖結(jié)果，隨之誕生的還有多種新方向，諸如全自動摳圖，人機(jī)交互式摳圖，語言引導(dǎo)摳圖等等。

本綜述首次系統(tǒng)性的概述了深度學(xué)習(xí)驅(qū)動下的圖像摳圖研究進(jìn)展，涵蓋了自深度學(xué)習(xí)時(shí)代以來（8年時(shí)間跨度）各類圖像摳圖算法及應(yīng)用的研究進(jìn)展。我們將主流的算法劃分為兩類，即基于人工輔助信息的摳圖和全自動圖像摳圖研究。在每個(gè)類別中，我們對相關(guān)的任務(wù)設(shè)定，網(wǎng)絡(luò)模型，突出貢獻(xiàn)，優(yōu)勢和局限性都進(jìn)行了充分的論述。另外，本文還整合了包括合成圖像和真實(shí)圖像在內(nèi)的諸多圖像摳圖數(shù)據(jù)集，并在典型的數(shù)據(jù)集上對具有代表性的諸多方法進(jìn)行了系統(tǒng)的實(shí)驗(yàn)和主客觀結(jié)果評估。最后，我們介紹了整個(gè)基于深度學(xué)習(xí)的圖像摳圖領(lǐng)域的相關(guān)應(yīng)用，討論了目前存在的挑戰(zhàn)以及未來可能的研究方向。

本綜述總結(jié)的方法細(xì)節(jié)，數(shù)據(jù)集，實(shí)驗(yàn)與評估的結(jié)果都已在線公開并會保持更新，詳情請見鏈接 https://github.com/jizhiziLi/matting-survey.

一、圖像摳圖介紹

作為一個(gè)自從電影制作產(chǎn)業(yè)初期就出現(xiàn)的問題，圖像摳圖已經(jīng)被學(xué)者們用傳統(tǒng)方法研究了幾十年，主流的方法有兩種，基于色彩采樣和相似度矩陣。然而，傳統(tǒng)方法局限于底層色彩特征，且對人類輔助輸入信息非常敏感，從而在復(fù)雜背景中無法得到優(yōu)秀的摳圖結(jié)果。

自深度學(xué)習(xí)出現(xiàn)之后，研究者設(shè)計(jì)出了多種多樣的基于卷積神經(jīng)網(wǎng)絡(luò)的解決方案。和傳統(tǒng)方法一樣，早期的深度學(xué)習(xí)方法依然需要依賴一定量的人工輔助信息，例如三分圖（trimap），涂抹（scribble），背景圖像等等，粗糙的初始分割等等。近年來，更多靈活多樣的人工輔助信息被探索，例如用戶點(diǎn)擊和語言引導(dǎo)。在下圖中，我們展現(xiàn)了一些常見的人工輔助信息的樣例。

圖1. 圖像摳圖輸入，預(yù)測結(jié)果和一些人工輔助信息的展示，例如三分圖，背景，粗糙分割，用戶點(diǎn)擊，用戶涂抹等等。該圖中的語言輸入可以為：圖像中間的可愛的微笑的小狗。

同時(shí)，為了使得圖像摳圖能被快速應(yīng)用于工業(yè)場景，全自動摳圖也在近年內(nèi)被提出。這些方法可以直接從圖像中預(yù)測出最終的結(jié)果，不需要任何額外的人工輔助信息。但是，因?yàn)槭苡?xùn)練數(shù)據(jù)集的數(shù)據(jù)分布的影響，它們傾向于得到圖中全部顯著性的前景。為了促進(jìn)深度學(xué)習(xí)方法的研究，近年來被研究者構(gòu)建了大量的相關(guān)數(shù)據(jù)集，包括合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集。本文對相關(guān)的研究算法和訓(xùn)練與測試數(shù)據(jù)集做了詳盡的介紹。同時(shí)，我們總結(jié)了深度學(xué)習(xí)時(shí)代相關(guān)算法的時(shí)間軸，列圖如下，可以看出近年來該領(lǐng)域的研究熱度不斷增加。

圖2. 基于深度學(xué)習(xí)的圖像摳圖方法時(shí)間軸

圖3. 基于深度學(xué)習(xí)的圖像摳圖方法總結(jié)表，包括出版刊物，輸入模態(tài)，是否自動化，摳圖目標(biāo)，網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集等。

二、具體研究進(jìn)展及討論

鑒于圖像摳圖任務(wù)是一個(gè)未知參數(shù)很多的病態(tài)問題，使用用戶輔助信息作為輸入是非常常見的解決方法。從傳統(tǒng)時(shí)代開始，一張定義了指定前景，背景，和未知區(qū)域的三分圖（trimap）就被廣泛使用，隨之一起出現(xiàn)的是指定前景背景的用戶涂抹圖像（scribble）。到了深度學(xué)習(xí)時(shí)代，多種多樣的下游任務(wù)催生出了更多類型的用戶輔助信息，諸如背景圖，粗糙的二元分割圖，用戶交互式點(diǎn)擊，語言引導(dǎo)等等。這些方法的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)大致可分為三類，如圖4所示：1）單階段網(wǎng)絡(luò)；2）單階段網(wǎng)絡(luò)，附加邊緣模塊用以提取輔助信息中更多的圖像特征；3）雙分支或多分支網(wǎng)絡(luò)，用以分別處理圖像和輔助信息，并一起經(jīng)過融合網(wǎng)絡(luò)以得到最終輸出。這些方法每一項(xiàng)都彌補(bǔ)了前序方法的不足，對輔助信息進(jìn)行了更輸入的挖掘和信息提煉，以得到更優(yōu)秀的摳圖結(jié)果。然而，此類方法依然存在兩個(gè)問題。首先他們依然依賴于不同程度的人力，使得在實(shí)用場景的自動化應(yīng)用有些困難。第二點(diǎn)是這些方法很多依然對輔助信息非常敏感，比如三分圖的未知區(qū)域大小，用戶交互點(diǎn)擊的密度等等。因此研發(fā)更魯棒的方法既是一個(gè)挑戰(zhàn)也是一個(gè)非常有前景的研究方向。更多詳情可見文章第三章。

圖4. 基于深度學(xué)習(xí)和輔助信息的圖像摳圖方法框架分類圖。（a） 單階段網(wǎng)絡(luò)。（b） 帶有邊緣模塊的單階段網(wǎng)絡(luò)。（3） 雙分支或者多分支網(wǎng)絡(luò)。

為了克服基于輔助信息的圖像摳圖方法的局限性，近年來，全自動摳圖也成為了研究熱點(diǎn)。這些方法旨在不經(jīng)過任何人工參與的情況下，直接預(yù)測出圖中的細(xì)致前景。根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)也可以大體分為三類，如圖5所示：1）單階段網(wǎng)絡(luò)并利用旁支的全局模塊引導(dǎo)圖像高層的語意信息；2）兩階段網(wǎng)絡(luò)來首先預(yù)測輔助信息，再設(shè)計(jì)基于輔助信息的第二階段網(wǎng)絡(luò)；3）用共享的編碼網(wǎng)絡(luò)獲取不同層次的圖像信息，通過多分支的解碼網(wǎng)絡(luò)分別預(yù)測高層語意和低層細(xì)節(jié)，并通過硬融合得到最終的結(jié)果。這一類方法由于沒有任何額外信息的引導(dǎo)，非常容易受到訓(xùn)練數(shù)據(jù)集的影響。因此大部分方法局限于某些特定的摳圖目標(biāo)，比如人像，動物，透明物體等等。近年來，也有方法探索通過將通用物體分為三類，即顯著性閉合前景，顯著性透明或細(xì)致前景，以及非顯著前景，并用同一個(gè)網(wǎng)絡(luò)進(jìn)行全種類摳圖。全自動摳圖方法因?yàn)椴恍枰魏稳斯さ母深A(yù)，在工業(yè)界得到了廣泛的實(shí)用。然而，此類研究依然存在一些挑戰(zhàn)，例如如何提高方法的泛化性，尤其在訓(xùn)練數(shù)據(jù)集中未見到的圖像上得到很好的效果，或者如何在保有高質(zhì)量摳圖結(jié)果的同時(shí)提高運(yùn)算效率，減小模型大小。更多詳情可見文章第四章。

圖5. 基于深度學(xué)習(xí)的全自動圖像摳圖方法框架分類圖。（a） 基于全局引導(dǎo)信息的單階段網(wǎng)絡(luò)。（b） 兩階段網(wǎng)絡(luò)。（c） 共享編碼器的雙分支網(wǎng)絡(luò)。

作為深度學(xué)習(xí)方法不可或缺的驅(qū)動力，構(gòu)建大型數(shù)據(jù)集非常關(guān)鍵。因此，本文對于摳圖領(lǐng)域內(nèi)近年來涌現(xiàn)的數(shù)據(jù)集做了統(tǒng)一的介紹和比較，包括早期的合成圖像數(shù)據(jù)集和最近的真實(shí)圖像數(shù)據(jù)集。如圖6所示，我們對現(xiàn)有數(shù)據(jù)集按照輸入模態(tài)，標(biāo)簽類型，摳圖目標(biāo)，平均尺寸，標(biāo)注方法，訓(xùn)練集和測試集的數(shù)目，是否公開，進(jìn)行了歸類整理和對比。詳情可參見文章第五章。

圖6. 圖像摳圖數(shù)據(jù)集比較，包括出版刊物，模態(tài)，標(biāo)簽類型，是否是自然圖像，摳圖目標(biāo)，平均尺寸，標(biāo)注方式，訓(xùn)練數(shù)據(jù)量，測試數(shù)據(jù)量，是否公開等等。

三、評測基準(zhǔn)

在這一節(jié)里，我們詳細(xì)介紹了整個(gè)摳圖領(lǐng)域內(nèi)深度學(xué)習(xí)算法常用的損失函數(shù)，評價(jià)標(biāo)準(zhǔn)，預(yù)處理方式和訓(xùn)練技巧。對于基于輔助信息的方法和全自動方法，我們分別在兩類常用的數(shù)據(jù)集上對具有代表性的算法進(jìn)行了詳盡的比較。包括主觀客觀結(jié)果比較，方法的模型慘數(shù)量，復(fù)雜度，以及處理512x512分辨率的圖像的推理時(shí)間。我們在同種設(shè)定下進(jìn)行了大量的實(shí)驗(yàn)以公正的評測目前的深度學(xué)習(xí)方法與早先的傳統(tǒng)算法。相關(guān)客觀指標(biāo)結(jié)果如圖7所示。為了給讀者一個(gè)對于目前主流方法結(jié)果直觀的感受，我們在圖8展示了一些實(shí)際結(jié)果例子。

圖7. 圖像摳圖算法的客觀指標(biāo)結(jié)果

圖8. 圖像摳圖算法主觀對比圖

四、挑戰(zhàn)與展望

圖像摳圖，作為一個(gè)基礎(chǔ)的圖像底層算法，在諸多的下游任務(wù)中都有非常廣泛的應(yīng)用，包括視覺感知能力例如物體檢測，語義分割，障礙物去除，圖像編輯應(yīng)用例如圖像合成，圖像補(bǔ)全，圖像風(fēng)格轉(zhuǎn)換，視頻處理應(yīng)用例如視頻特效關(guān)聯(lián)，淺景深合成，視頻摳圖，多模態(tài)和3D應(yīng)用例如遙感，3D圖像渲染等等。這些年來，圖像摳圖領(lǐng)域迅速的崛起與發(fā)展也帶來了很多挑戰(zhàn)與新的研究機(jī)會。我們在這里做一個(gè)簡要的討論，更多詳情請見文章第八章。

1、更精確的評價(jià)指標(biāo)

現(xiàn)有的評價(jià)指標(biāo)可以從客觀上表示預(yù)測結(jié)果和標(biāo)簽之間的相似度，然而如何更加精確的反應(yīng)人類對于預(yù)測結(jié)果的主觀評價(jià)是一個(gè)困難的問題。例如SAD可以評價(jià)出全圖或者未知區(qū)域的相似度，但是對于人類主觀關(guān)注的區(qū)域，比如頭發(fā)，耳環(huán)，或者眼鏡框等等卻無法進(jìn)行精確的評估。一個(gè)可能的解決方案是利用基于結(jié)構(gòu)相似性的度量，例如SSIM，來對細(xì)節(jié)信息進(jìn)行更精確的評估。

2、更輕量級的模型設(shè)計(jì)

鑒于圖像摳圖會在實(shí)時(shí)的全自動化工業(yè)領(lǐng)域內(nèi)有廣泛的應(yīng)用，如何設(shè)計(jì)一個(gè)輕量級的模型并保有精確的預(yù)測結(jié)果是一個(gè)長久而充滿潛力的研究方向。一些有效的策略包括降維處理，特征復(fù)用，剪枝操作，或者混合分辨率結(jié)構(gòu)。

3、多模態(tài)摳圖

將圖像摳圖領(lǐng)域與多模態(tài)領(lǐng)域進(jìn)行融合可以進(jìn)一步擴(kuò)展圖像摳圖的適用范圍。已經(jīng)有的研究將摳圖和人類語言輸入進(jìn)行結(jié)合，預(yù)測出符合人類描述的指定前景。更多的輸入模態(tài)可以包括，語音指令，目光注視點(diǎn)，以及3D的可渲染光線神經(jīng)場模型。

4、擴(kuò)散模型

近期，擴(kuò)散模型已經(jīng)在圖像生成領(lǐng)域表現(xiàn)出了優(yōu)秀的潛力。大語言模型和跨模態(tài)預(yù)訓(xùn)練的顯著進(jìn)展為擴(kuò)散模型的多模態(tài)應(yīng)用提供了極速發(fā)展的動力，使得從空白畫板生成并編輯高質(zhì)量的圖像成為了可能性。這也為圖像摳圖領(lǐng)域帶來了一個(gè)開放性的問題：在擴(kuò)散模型的新時(shí)代里，圖像摳圖領(lǐng)域會有怎樣的走向，會是一個(gè)方向的終結(jié)，還是一個(gè)嶄新的開端。

五、總結(jié)

我們提供了一份深度學(xué)習(xí)驅(qū)動的圖像摳圖領(lǐng)域的綜述，涵蓋了該領(lǐng)域詳盡的背景介紹，基于輔助信息的方法概述，全自動化的方法概述，數(shù)據(jù)集的整理和比較，公開的基準(zhǔn)測試以及未來的研究方向。為了展示圖像摳圖領(lǐng)域內(nèi)清晰的發(fā)展脈絡(luò)和未來趨勢，我們對現(xiàn)有方法做了精細(xì)的分類和深入的探討。此外，我們將長期維護(hù)一個(gè)開放的github倉庫來定期更新最新的工作進(jìn)展和數(shù)據(jù)集（https://github.com/jizhiziLi/matting-survey）。我們希望本綜述能夠?yàn)橄嚓P(guān)領(lǐng)域的研究者和從業(yè)人員提供一個(gè)重要的參考，并一起推動這個(gè)領(lǐng)域的發(fā)展。

審核編輯 ：李倩