近年來基于深度學(xué)習(xí)的單圖像超分辨技術(shù)得到飛速發(fā)展,從SRCNN到VDSR,從DRCN到MSRN深度學(xué)習(xí)模型,解決了一個又一個超分辨率領(lǐng)域的難題。但目前的研究結(jié)果也表明,盲目地使用殘差結(jié)構(gòu)和稠密連接將導(dǎo)致模型過分地復(fù)用特征,使得網(wǎng)絡(luò)臃腫膨脹同時難以訓(xùn)練。
為了解決這一問題,來自西安電子科技大學(xué)的研究人員基于殘差網(wǎng)絡(luò)提出了一種簡單高效的信息提煉方法DRN(distilling with residual network)用于單圖像超分辨率技術(shù),利用高效獲取信息的殘差精煉單元(RDB,residual distilling block)及其堆疊的組操作(RDG, residual distilling group),實現(xiàn)了對于信息更好的抽取和提煉,并平衡了模型的大小與性能,達到了非常好的圖像超分辨率效果。
殘差精煉模塊RDB
為了有效地抽取并提煉低分辨率圖像中的信息,研究人員提出了高效的殘差精煉單元RDB來對圖像進行操作。RDB中包含了兩個分支,其中一個分支用于進行基本的殘差操作;另一個分支則用于從輸入中提煉出有效的信息,在融合信息的同時保持了對于重要特征的抽取能力。
圖中顯示的殘差精煉單元的構(gòu)造
其中的塊狀結(jié)構(gòu)為每次操作輸出的張量輸出
上圖顯示了RDB模塊的基本構(gòu)成,其中Di表示輸入,Di+1表示模塊的輸出。在模塊最開始的位置,輸入的Di 通過卷積的作用得到量兩個中間輸出(1*1,3*3,1*1的卷積),其中Dout,i表示這一層級側(cè)殘差輸出,而d則表示第i層和第i+1層之間的信息精煉通道。
隨后輸入Di與殘差輸出Dout,i相加,并與d相接,構(gòu)成的整個RDB模塊將從中抽取有效的信息輔助超分辨率中高頻信息的重建。此外在RDB的最后位置引入了1*1的卷積核用于特征融合。
基于RDB模塊,研究人員將RDB堆疊成組操作,并使得RDB模塊的輸出可以接入下一個RDB模塊的每一層,使特征可以進行連續(xù)的轉(zhuǎn)換。隨后研究人員還在多個堆疊的RDB模塊間加入了一條長程的跳接,用于保存先前階段信息,在有效抽取特征的同時將有助于網(wǎng)絡(luò)融合局部與全局特征,并得到有利于圖像重建的有效特征。
網(wǎng)絡(luò)架構(gòu)
在RDB和RDG的基礎(chǔ)上,研究人員構(gòu)建了基于殘差網(wǎng)絡(luò)的精煉模型,其中主要包含三個組成部分:低層級特征抽取LFE,殘差精煉組的操作RDGs以及最終進行圖像重建的操作。
在這一網(wǎng)絡(luò)架構(gòu)中,除了進行底層信息抽取和圖像重建的模塊外,最重要的就是n個殘差精煉的組操作RDGs,其中每個組操作中包含了K個殘差精煉模塊RDB。整個模型可以表達成下面的式子:
從內(nèi)到外分別表示了特征提取操作,殘差組操作和信息融合以及最后的圖像重建。針對每個組操作中的特征抽取模塊,可以看作是多個RDB模塊操作Fg的融合以及長程跳接的銜接:
整個模型的結(jié)構(gòu)可以理解為多個殘差模塊的操作堆疊成殘差提煉組操作,而多個組操作又結(jié)合在一起實現(xiàn)了更有效的特征抽取和殘差提煉,最終層層疊加與與融合實現(xiàn)了最后的特征輸出。
基于這些特征研究人員利用pixelshuffle的方法進行上采樣和圖像重建,并選擇了MAE作為損失函數(shù)進行訓(xùn)練。
最終研究人員在DIV2K上進行了充分地訓(xùn)練,并在Set5,Set14,Urban100,BSDB100,Manga109等基準數(shù)據(jù)集上進行了測試,分別在2x-3x-4x倍的超方便率尺度上進行了實驗。
結(jié)果表明,與其他先進的方法相比,DRN系列方法在峰值信噪比和結(jié)構(gòu)相似性等方面均取得了較好的提升。
在使用更少參數(shù)的訓(xùn)練下能達到與先前的模型接近甚至更好地結(jié)果:
最后來看一下在數(shù)據(jù)集圖像上取得的顯著效果,可以看到DRN模型可以更好地克服人工恢復(fù)的模糊痕跡,并保留更多的細節(jié)信息。
恢復(fù)出的文字也較為清晰可辨:
此外對于線條的恢復(fù)能力也較強,去除模糊的同時,對于線條細節(jié)的恢復(fù)較好:
-
圖像處理
+關(guān)注
關(guān)注
27文章
1272瀏覽量
56506 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5437瀏覽量
120794
原文標題:拒絕馬賽克!基于殘差抽取的單圖像超分辨率技術(shù)
文章出處:【微信號:thejiangmen,微信公眾號:將門創(chuàng)投】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論