基于深度學(xué)習(xí)的低光照增強(qiáng)技術(shù)解析

之前在做光照對(duì)于高層視覺(jué)任務(wù)的影響的相關(guān)工作，看了不少基于深度學(xué)習(xí)的低光照增強(qiáng)（low-light enhancement）的文章[3,4,5,7,8,9,10]，于是決定簡(jiǎn)單梳理一下。

光照估計(jì)（illumination estimation）和低光照增強(qiáng)（low-light enhancement）的區(qū)別：光照估計(jì)是一個(gè)專(zhuān)門(mén)的底層視覺(jué)任務(wù)（例如[1,2,6]），它的輸出結(jié)果可以被用到其它任務(wù)中，例如圖像增強(qiáng)、圖像恢復(fù)（處理色差，白平衡）。而低光照增強(qiáng)是針對(duì)照明不足的圖像存在的低亮度、低對(duì)比度、噪聲、偽影等問(wèn)題進(jìn)行處理，提升視覺(jué)質(zhì)量。值得一提的是，低光照增強(qiáng)方法有兩種常見(jiàn)的模式，一種是直接end-to-end訓(xùn)練，另一種則包含了光照估計(jì)。

LLNet: A deep autoencoder approach to natural low-light image enhancement

2017 Pattern Recognition

這篇文章應(yīng)該是比較早的用深度學(xué)習(xí)方法完成低光照增強(qiáng)任務(wù)的文章，它證明了基于合成數(shù)據(jù)訓(xùn)練的堆疊稀疏去噪自編碼器能夠?qū)Φ牡凸庹沼性肼晥D像進(jìn)行增強(qiáng)和去噪。模型訓(xùn)練基于圖像塊（patch），采用sparsity regularized reconstruction loss作為損失函數(shù)。

主要貢獻(xiàn)如下：

（1）我們提出了一種訓(xùn)練數(shù)據(jù)生成方法（即伽馬校正和添加高斯噪聲）來(lái)模擬低光環(huán)境。

（2）探索了兩種類(lèi)型的網(wǎng)絡(luò)結(jié)構(gòu)：(a) LLNet,同時(shí)學(xué)習(xí)對(duì)比度增強(qiáng)和去噪；(b) S-LLNet,使用兩個(gè)模塊分階段執(zhí)行對(duì)比度增強(qiáng)和去噪。

（3）在真實(shí)拍攝到的低光照?qǐng)D像上進(jìn)行了實(shí)驗(yàn)，證明了用合成數(shù)據(jù)訓(xùn)練的模型的有效性。

（4）可視化了網(wǎng)絡(luò)權(quán)值，提供了關(guān)于學(xué)習(xí)到的特征的insights。

MSR-net:Low-light Image Enhancement Using Deep Convolutional Network

2017 arXiv

這篇文章引入了CNN，它提了一個(gè)有趣的觀點(diǎn)，傳統(tǒng)的multi-scale Retinex（MSR）方法可以看作是有著不同高斯卷積核的前饋卷積神經(jīng)網(wǎng)絡(luò)，并進(jìn)行了詳細(xì)論證。

接著，仿照MSR的流程，他們提出了MSR-net，直接學(xué)習(xí)暗圖像到亮圖像的端到端映射。MSR-net包括三個(gè)模塊：多尺度對(duì)數(shù)變換->卷積差分->顏色恢復(fù)，上面的結(jié)構(gòu)圖畫(huà)得非常清楚了。

訓(xùn)練數(shù)據(jù)采用的是用PS調(diào)整過(guò)的高質(zhì)量圖像和對(duì)應(yīng)的合成低光照?qǐng)D像（隨機(jī)減少亮度、對(duì)比度，伽馬校正）。損失函數(shù)為帶正則項(xiàng)的誤差矩陣的F-范數(shù)平方，即誤差平方和。

Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images

2018 TIP

這篇文章其實(shí)主要關(guān)注單圖像對(duì)比度增強(qiáng)（SICE），針對(duì)的是欠曝光和過(guò)曝光情形下的低對(duì)比度問(wèn)題。其主要貢獻(xiàn)如下：

（1）構(gòu)建了一個(gè)多曝光圖像數(shù)據(jù)集，包括了不同曝光度的低對(duì)比度圖像以及對(duì)應(yīng)的高質(zhì)量參考圖像。

（2）提出了一個(gè)兩階段的增強(qiáng)模型，如上圖所示。第一階段先用加權(quán)最小二乘（WLE）濾波方法將原圖像分解為低頻成分和高頻成分，然后對(duì)兩種成分分別進(jìn)行增強(qiáng)；第二階段對(duì)增強(qiáng)后的低頻和高頻成分融合，然后再次增強(qiáng)，輸出結(jié)果。

對(duì)于為什么要設(shè)計(jì)兩階段結(jié)構(gòu)，文章中是這樣解釋的：?jiǎn)坞A段CNN的增強(qiáng)結(jié)果并不令人滿(mǎn)意，且存在色偏現(xiàn)象，這可能是因?yàn)閱坞A段CNN難以平衡圖像的平滑成分與紋理成分的增強(qiáng)效果。

值得一提的是，模型第一階段的Decomposition步驟采用的是傳統(tǒng)方法，而后面介紹的Retinex-Net使用CNN實(shí)現(xiàn)了。

Deep Retinex Decomposition for Low-Light Enhancement

2018 BMVC

這篇文章是我前后讀過(guò)許多遍，比較值得介紹。受Retinex理論的啟發(fā)，它采用了兩階段式的先分解后增強(qiáng)的步驟，完全采用CNN實(shí)現(xiàn)。對(duì)于Decom-Net的訓(xùn)練，引入了反射圖一致性約束（consistency of reflectance）和光照?qǐng)D平滑性約束（smoothness of illumination），非常容易復(fù)現(xiàn)，實(shí)驗(yàn)效果也不錯(cuò)。

主要貢獻(xiàn)如下：

（1）構(gòu)建了paired的低光照/正常光照數(shù)據(jù)集LOL dataset，應(yīng)該也是第一個(gè)在真實(shí)場(chǎng)景下采集的paired dataset.該數(shù)據(jù)集分為兩部分：真實(shí)場(chǎng)景的圖像數(shù)據(jù)是通過(guò)改變相機(jī)感光度和曝光時(shí)間得到的；合成的圖像數(shù)據(jù)是用Adobe Lightroom接口調(diào)節(jié)得到的，并且調(diào)節(jié)后圖像的Y通道直方圖必須盡可能地接近真實(shí)低光照?qǐng)鼍啊?/p>

（2）提出了Retinex-Net，它分為兩個(gè)子網(wǎng)絡(luò)：Decom-Net能夠?qū)D像進(jìn)行解耦，得到光照?qǐng)D和反射圖；Enhance-Net對(duì)前面得到的光照?qǐng)D進(jìn)行增強(qiáng)，增強(qiáng)后的光照?qǐng)D和原來(lái)的反射圖相乘就得到了增強(qiáng)結(jié)果。另外，考慮到噪聲問(wèn)題，采用一種聯(lián)合去噪和增強(qiáng)的策略，去噪方法采用BM3D。

（3）提出一個(gè)structure-aware total variation constraint，就是用反射圖梯度作為權(quán)值對(duì)TV loss進(jìn)行加權(quán)，從而在保證平滑約束的同時(shí)不破壞紋理細(xì)節(jié)和邊界信息。

MBLLEN: Low-light Image/Video Enhancement Using CNNs

2018 BMVC

這篇文章的核心思想是，網(wǎng)絡(luò)中不同層次的特征的提取和融合。此外，該文的另一個(gè)亮點(diǎn)是針對(duì)視頻的低光照增強(qiáng)網(wǎng)絡(luò)，和一幀一幀處理的直接做法不同，它們使用3D卷積對(duì)網(wǎng)絡(luò)進(jìn)行了改進(jìn)，有效提升了性能。

補(bǔ)充說(shuō)明一下，視頻的低光照增強(qiáng)會(huì)存在的一種負(fù)面情況，閃爍（flickering），即幀與幀之間可能存在不符合預(yù)期的亮度跳變。這一問(wèn)題可以用AB(avr)指標(biāo)（即平均亮度方差）來(lái)度量。

網(wǎng)絡(luò)結(jié)構(gòu)：包括特征提取模塊FEM、增強(qiáng)模塊EM和融合模塊FM。FEM是有10層卷積的單流向網(wǎng)絡(luò)，每層的輸出都會(huì)被輸入到各個(gè)EM子模塊中分別提取層次特征。最終這些層次特征被拼接到一起并通過(guò)1x1卷積融合得到最終結(jié)果。為了用于視頻增強(qiáng)，還需要對(duì)網(wǎng)絡(luò)進(jìn)行修改，具體可參考原文。

損失函數(shù)：本文不采用常規(guī)的MSE或者M(jìn)AE損失，而是提了一個(gè)新的損失函數(shù)，包括三個(gè)部分，即結(jié)構(gòu)損失、內(nèi)容損失和區(qū)域損失。結(jié)構(gòu)損失采用SSIM和MS-SSIM度量相結(jié)合的形式；內(nèi)容損失，就是VGG提取的特征應(yīng)該盡可能相似；區(qū)域損失令網(wǎng)絡(luò)更關(guān)注于圖像中低光照的區(qū)域。

Learning to See in the Dark

2018 CVPR

傳統(tǒng)成像系統(tǒng)的pipeline

提出的新成像系統(tǒng)

這篇文章主要關(guān)注于極端低光條件和短時(shí)間曝光條件下的圖像成像系統(tǒng)，它用卷積神經(jīng)網(wǎng)絡(luò)去完成Raw圖像到RGB圖像的處理，實(shí)驗(yàn)效果非常驚艷。

網(wǎng)絡(luò)結(jié)構(gòu)基于全卷積網(wǎng)絡(luò)FCN，直接通過(guò)端到端訓(xùn)練，損失函數(shù)采用L1 loss。此外，文章提出了See-in-the-Dark數(shù)據(jù)集，由短曝光圖像及對(duì)應(yīng)的長(zhǎng)曝光參考圖像組成。

Kindling the Darkness: A Practical Low-light Image Enhancer

2019 arXiv

這篇文章在今年5月份掛到了arXiv上，干貨挺多，據(jù)稱(chēng)是state-of-the-art。它提出了低光照增強(qiáng)任務(wù)存在的三個(gè)難點(diǎn)：

（1） 如何有效的從單張圖像中估計(jì)出光照?qǐng)D成分，并且可以靈活調(diào)整光照l(shuí)evel?

（2） 在提升圖像亮度后，如何移除諸如噪聲和顏色失真之類(lèi)的退化？

（3） 在沒(méi)有g(shù)round-truth的情況下，樣本數(shù)目有限的情況下，如何訓(xùn)練模型？

這篇文章的增強(qiáng)思路還是沿用了Retinex-Net的decomposition->enhance的兩階段方式，網(wǎng)絡(luò)總共分為三個(gè)模塊：Decomposition-Net、Restoration-Net和Adjustment-Net，分別執(zhí)行圖像分解、反射圖恢復(fù)、光照?qǐng)D調(diào)整。一些創(chuàng)新點(diǎn)如下：

（a）對(duì)于Decomposition-Net，其損失函數(shù)除了沿用Retinex-Net的重構(gòu)損失和反射圖一致?lián)p失外，針對(duì)光照?qǐng)D的區(qū)域平滑性和相互一致性，還增加了兩個(gè)新的損失函數(shù)。

（b）對(duì)于Restoration-Net，考慮到了低光照情況下反射圖往往存在著退化效應(yīng)，因此使用了良好光照情況下的反射圖作為參考。反射圖中的退化效應(yīng)的分布很復(fù)雜，高度依賴(lài)于光照分布，因此引入光照?qǐng)D信息。

（c）對(duì)于Adjustment-Net，實(shí)現(xiàn)了一個(gè)能夠連續(xù)調(diào)節(jié)光照強(qiáng)度的機(jī)制（將增強(qiáng)比率作為特征圖和光照?qǐng)D合并后作為輸入）。通過(guò)和伽馬校正進(jìn)行對(duì)比，證明它們的調(diào)節(jié)方法更符合實(shí)際情況。

參考文獻(xiàn)

[1] Shi, W., Loy, C. C., & Tang, X. (2016). Deep Specialized Network for Illuminant Estimation.?ECCV,?9908, 371–387.?doi.org/10.1007/978-3-3

[2] Guo, X., Li, Y., & Ling, H. (2017). LIME: Low-light image enhancement via illumination map estimation.?IEEE Transactions on Image Processing,?26(2), 982–993.?doi.org/10.1109/TIP.201

[3] Lore, K. G., Akintayo, A., & Sarkar, S. (2017). LLNet: A deep autoencoder approach to natural low-light image enhancement.?Pattern Recognition,?61, 650–662.?doi.org/10.1016/j.patco

[4] Shen, L., Yue, Z., Feng, F., Chen, Q., Liu, S., & Ma, J. (2017). MSR-net:Low-light Image Enhancement Using Deep Convolutional Network.?ArXiv. Retrieved from?arxiv.org/abs/1711.0248

[5] Cai, J., Gu, S., & Zhang, L. (2018). Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images.?IEEE Transactions on Image Processing,?1(c), 1–14. Retrieved from?www4.comp.polyu.edu.hk/

[6] Gao, Y., Hu, H. M., Li, B., & Guo, Q. (2018). Naturalness preserved nonuniform illumination estimation for image enhancement based on retinex.?IEEE Transactions on Multimedia,?20(2), 335–344.?doi.org/10.1109/TMM.201

[7] Chen, C., Chen, Q., Xu, J., & Koltun, V. (2018). Learning to See in the Dark.?CVPR, 3291–3300.?doi.org/10.1109/CVPR.20

[8] Lv, F., Lu, F., Wu, J., & Lim, C. (2018). MBLLEN: Low-light Image/Video Enhancement Using CNNs.?BMVC, 1–13.

[9] Wei, C., Wang, W., Yang, W., & Liu, J. (2018). Deep Retinex Decomposition for Low-Light Enhancement.?BMVC, (61772043). Retrieved from?arxiv.org/abs/1808.0456

[10] Zhang, Y., Zhang, J., & Guo, X. (2019). Kindling the Darkness: A Practical Low-light Image Enhancer.?ArXiv, 1–13. Retrieved from?arxiv.org/abs/1905.0416

編輯：黃飛