現(xiàn)實(shí)世界超分辨率存在的問題

來自騰訊 ARC Lab 的研究者們提出利用無監(jiān)督的度量學(xué)習(xí)， 來訓(xùn)練現(xiàn)實(shí)場景下可調(diào)節(jié)的圖像超分辨率任務(wù)。

現(xiàn)實(shí)世界超分辨率 （Real-world super-resolution） 是指從包含真實(shí)退化的低分辨率圖像中復(fù)原得到高分辨率的圖像。 可調(diào)節(jié)的現(xiàn)實(shí)世界圖像超分辨率是一個很有挑戰(zhàn)的任務(wù)， 因為降質(zhì) （degradation） 過程復(fù)雜且未知，可調(diào)節(jié)的交互機(jī)制很難通過有監(jiān)督的訓(xùn)練來完成。 對于可調(diào)節(jié)的圖像超分辨率， 之前的工作主要在經(jīng)典退化的仿真數(shù)據(jù)上進(jìn)行研究，也就是說我們已知了退化類型和退化強(qiáng)度。雖然這種設(shè)計在仿真數(shù)據(jù)上有不錯的表現(xiàn)，但在現(xiàn)實(shí)場景下的應(yīng)用仍然存在很多問題：

經(jīng)典的仿真退化很難模擬復(fù)雜的現(xiàn)實(shí)世界退化，訓(xùn)練出的網(wǎng)絡(luò)在現(xiàn)實(shí)世界數(shù)據(jù)上重建效果較差。同時，這種設(shè)定下訓(xùn)練得到的可調(diào)節(jié)交互機(jī)制在現(xiàn)實(shí)世界數(shù)據(jù)上的調(diào)節(jié)效果也會大打折扣。

雖然高階退化可以用來仿真現(xiàn)實(shí)世界的低清圖像，但這種仿真退化下的退化強(qiáng)度是未知的，很難通過有監(jiān)督的訓(xùn)練來構(gòu)建這種可調(diào)節(jié)交互機(jī)制。

最近無監(jiān)督的對比學(xué)習(xí)在底層視覺領(lǐng)域受到越來越多的關(guān)注。這類方法方便了復(fù)雜降質(zhì)特征的提取，這給來自騰訊 ARC Lab 的研究者們提供了一個思路： 是否可以利用對比的方式無監(jiān)督的構(gòu)建現(xiàn)實(shí)場景下圖像超分辨率的可調(diào)節(jié)交互機(jī)制？

這篇工作的核心是利用度量學(xué)習(xí)在高階仿真退化中，通過對比不同樣本退化強(qiáng)度大小的方式無監(jiān)督地構(gòu)建退化強(qiáng)度的度量空間。度量空間中的退化得分不代表真實(shí)的退化強(qiáng)度，但可以反映退化強(qiáng)度的相對大小。本篇文章提出的方法（MM-RealSR）通過度量空間中的退化得分來構(gòu)建現(xiàn)實(shí)場景下圖像超分辨率的可調(diào)節(jié)交互機(jī)制。 本文提出了在復(fù)雜的退化空間中，劃分兩個度量空間，分別是廣義 noise 和廣義 blur。因為這兩種退化因素是真實(shí)場景下最為常見的也是人們最關(guān)注，和最需要調(diào)節(jié)的。MM-RealSR 在現(xiàn)實(shí)場景下可以達(dá)到如下圖 1 的調(diào)節(jié)效果。相比于近幾年其他可調(diào)節(jié)復(fù)原方法， MM-RealSR 不僅實(shí)現(xiàn)了現(xiàn)實(shí)場景下的可調(diào)節(jié)圖像超分辨率， 整體重建結(jié)果也更加自然。

圖 1. MM-RealSR 在真實(shí)場景下的可調(diào)節(jié)超分辨率效果 現(xiàn)有可調(diào)節(jié)復(fù)原方案的回顧與對比 如圖 2 所示，首先來看，現(xiàn)有方案針對的圖像退化設(shè)定是低階的，需要已知退化類型和退化強(qiáng)度的。本文提出的方案面向現(xiàn)實(shí)場景，退化過程是高階的，未知退化類型和退化強(qiáng)度的。

圖 2. 本文提出方案與現(xiàn)有方法的對比 MM-RealSR 結(jié)構(gòu) 本文關(guān)注真實(shí)場景中最常見的兩種退化因子，廣義 noise 和廣義 blur，并對這兩種退化因子做了一般化的定義如圖 3 所示。其中 noise 包含高斯噪聲、泊松噪聲，和 JPEG 壓縮等；blur 包含各向同性、各向異性，以及隨機(jī)尺寸變換等模糊因素。

圖 3. 退化因子的定義 針對這兩種退化因子，本文提出的無監(jiān)督退化估計模塊如圖 4 所示。通過度量學(xué)習(xí)，該模塊將難以量化的現(xiàn)實(shí)世界退化強(qiáng)度映射到兩個獨(dú)立的度量空間之中。通過不同退化強(qiáng)度之間的大小對比，構(gòu)建度量空間中的距離關(guān)系。本文額外通過一個錨點(diǎn)損失函數(shù)限制度量空間的分布。雖然度量空間中的退化得分無法反映真實(shí)的退化強(qiáng)度，但可以體現(xiàn)退化強(qiáng)度的相對大小關(guān)系。本文將無監(jiān)督的退化估計模塊和圖像超分辨率模塊進(jìn)行聯(lián)合訓(xùn)練，來構(gòu)建退化得分和重建結(jié)果之間的可調(diào)節(jié)關(guān)系。

圖 4. 基于度量學(xué)習(xí)的無監(jiān)督退化估計模塊 本文提出的總模型結(jié)構(gòu)如圖 5 所示。由退化估計模塊、狀態(tài)變量生成模塊，以及重建模塊構(gòu)成。其中狀態(tài)變量生成模塊將預(yù)測到的退化得分轉(zhuǎn)化成一組狀態(tài)變量，并將這組狀態(tài)變量以仿射變換的方式注入圖像重建模塊當(dāng)中去，起到調(diào)節(jié)重建結(jié)果的作用。實(shí)驗證明，本文提出的方法兼顧優(yōu)越的重建效果和可調(diào)節(jié)能力。

圖 5. 基于度量學(xué)習(xí)的可調(diào)節(jié)現(xiàn)實(shí)世界圖像超分辨率網(wǎng)絡(luò) 損失函數(shù) 本文通過 L1，Perceptual 和 GAN 復(fù)原損失函數(shù)來保證圖像重建質(zhì)量，通過度量損失函數(shù)（margin ranking losses）來訓(xùn)練噪聲度量空間和模糊度量空間。度量損失函數(shù)的表達(dá)式：

為了控制度量空間中評分的分布，本文還提出了一個錨點(diǎn)損失函數(shù)：

和現(xiàn)有的現(xiàn)實(shí)世界圖像超分辨率工作 Real-ESRGAN 類似，本文采用高階退化的仿真數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。更多的細(xì)節(jié)請參見論文。 實(shí)驗結(jié)果 研究者們在現(xiàn)實(shí)世界的低質(zhì)量數(shù)據(jù)上做了重建效果的測試：

可以看到，本文提出的方法在具備交互能力的基礎(chǔ)上，超分辨率的性能也達(dá)到了 SOTA 的水平，主觀結(jié)果也更加美觀自然。 研究者們在現(xiàn)實(shí)世界數(shù)據(jù)上對無監(jiān)督退化評分器的評分能力進(jìn)行了測試：

可以看到，無監(jiān)督退化評分器可以較好地評估現(xiàn)實(shí)場景下的退化強(qiáng)度。 研究者們在現(xiàn)實(shí)世界數(shù)據(jù)上對網(wǎng)絡(luò)的交互重建能力進(jìn)行了測試：

可以看到，對比現(xiàn)有方法，MM-RealSR 在交互重建能力上有更好的表現(xiàn)。它的交互范圍更大，重建效果更好。 小結(jié) 本文提出了在真實(shí)場景下，可調(diào)節(jié)的維度主要是廣義 noise 和廣義 blur 兩方面。通過無監(jiān)督的度量學(xué)習(xí)，首次實(shí)現(xiàn)了真實(shí)場景下可調(diào)節(jié)的圖像超分辨率。提出的方法在調(diào)節(jié)能力和超分辨率性能上都取得了優(yōu)異的表現(xiàn)。