CLE Diffusion：可控光照增強(qiáng)擴(kuò)散模型

本文介紹了由北交大、UT Austin、A*Star團(tuán)隊(duì)提出的基于擴(kuò)散模型的可控低光增強(qiáng)方法，論文被ACM MM 2023收錄。

CLE Diffusion: Controllable Light Enhancement Diffusion Model 論文：arxiv.org/abs/2308.06725 代碼：github.com/YuyangYin/CLEDiffusion 主頁(yè)：yuyangyin.github.io/CLEDiffusion/ 在CVer微信公眾號(hào)后臺(tái)回復(fù)：CLE，可以下載本論文pdf Introduction

低光圖像增強(qiáng)技術(shù)近年來(lái)受到了廣泛的關(guān)注，目前的方法通常假設(shè)一個(gè)理想的增亮程度，對(duì)圖像整體進(jìn)行均勻的增強(qiáng)，同時(shí)也限制了用戶的可控性。為了解決這個(gè)問(wèn)題，本文提出了可控光照增強(qiáng)擴(kuò)散模型（Controllable Light Enhancement Diffusion Model），可以讓用戶輸入所需的增亮級(jí)別，并利用SAM模型，來(lái)實(shí)現(xiàn)交互友好的區(qū)域可控增亮。如圖演示效果，用戶可以通過(guò)簡(jiǎn)單的點(diǎn)擊來(lái)指定增亮的區(qū)域。

Method

本文提出了新型的可控光照增強(qiáng)框架，主要采用了條件擴(kuò)散模型來(lái)控制任意區(qū)域的任意亮度增強(qiáng)。通過(guò)亮度控制模塊（Brightness Control Module)將亮度信息信息融入Diffusion網(wǎng)絡(luò)中，并且設(shè)計(jì)了和任務(wù)適配的條件控制信息和損失函數(shù)來(lái)增強(qiáng)模型的能力。同時(shí)本文使用了Mask輸入和SAM模型(Segment-Anything Model)來(lái)進(jìn)一步增強(qiáng)可控性，使得用戶可以通過(guò)簡(jiǎn)單的點(diǎn)擊形式實(shí)現(xiàn)任意區(qū)域的增亮。整體的框架如下圖所示：

條件控制擴(kuò)散模型

亮度控制板塊

為了高效的控制亮度信息，本文采用了classifier-free guidance(CFG)方法。CFG采用同時(shí)訓(xùn)練條件擴(kuò)散模型(conditional diffusion model)和無(wú)條件擴(kuò)散模型(unconditional diffusion model)的方式來(lái)實(shí)現(xiàn)。在本任務(wù)中，將亮度值(brightness level)視作class label，由于亮度具有連續(xù)性，我們的class label也是連續(xù)的，可以實(shí)現(xiàn)更精細(xì)的亮度調(diào)節(jié)。對(duì)于條件擴(kuò)散模型，本文通過(guò)計(jì)算normal-light image的平均亮度λ，然后通過(guò)orthogonal matrix將其在編碼成illumintion embedding。然后通過(guò)FiLM layer將其注入到UNet的feature map中。對(duì)于無(wú)條件擴(kuò)散模型，本文將illumintion embedding的值設(shè)置為0。實(shí)驗(yàn)中為了提升采樣速度，采用DDIM采樣的辦法，因此總體的算法流程可以總結(jié)為:

區(qū)域控制增亮

在實(shí)際增亮過(guò)程中，用戶相比于全局增亮圖片其實(shí)更加關(guān)注區(qū)域的亮度控制，本文采用了Mask-CLE Diffusion來(lái)解決這個(gè)問(wèn)題。首先采樣了一批羽化邊緣的隨機(jī)mask，通過(guò)將normal-light image和mask混合得到了一個(gè)新的合成數(shù)據(jù)集。然后將mask信息拼接到擴(kuò)散模型的輸入中，訓(xùn)練得到新的增亮模型。SAM(Segment-Anything Model)可以實(shí)現(xiàn)任意圖片的分割。在SAM的幫助下，Mask-CLE Diffusion提供了更好的用戶交互體驗(yàn)，可以讓用戶通過(guò)點(diǎn)擊的形式獲得指定區(qū)域的mask并進(jìn)行增亮。

輔助損失函數(shù)

Expriment

New Metric

目前的大部分指標(biāo)通常假設(shè)理想的亮度值，但對(duì)于不同亮度的圖片質(zhì)量比較困難。如下圖所示，PSNR和SSIM通常隨著亮度變化呈現(xiàn)V字形的變換，而LPIPS會(huì)呈現(xiàn)倒V型。因此本文希望提出一個(gè)新的指標(biāo)，可以衡量不同亮度下的圖片質(zhì)量。

本文發(fā)現(xiàn)可以用color map來(lái)對(duì)亮度進(jìn)行歸一化，之后通過(guò)Canny邊緣提取算子來(lái)衡量細(xì)節(jié)信息，最后采用LPIPS函數(shù)來(lái)衡量高頻質(zhì)量。新的指標(biāo)可以命名為L(zhǎng)ight-IndependentLPIPS，表示為：

LOL和Mit-Adobe FiveK數(shù)據(jù)集上的表現(xiàn)

評(píng)測(cè)指標(biāo)的比較：

LOL數(shù)據(jù)集上的可視化比較：

Mit-Adobe FiveK數(shù)據(jù)集上的可視化比較：

區(qū)域亮度增強(qiáng)

給定用戶感興趣的區(qū)域，可以實(shí)現(xiàn)任意亮度的增強(qiáng)。對(duì)比于過(guò)往低光增強(qiáng)方法MAXIM(CVPR 2022 Oral)，具有更強(qiáng)的可控性和增亮效果。

全局亮度增強(qiáng)

和其他亮度可控方法的比較

ReCoRo只能實(shí)現(xiàn)在low-light到well-light之間的亮度增強(qiáng)，而CLE Diffusion有更廣的編輯空間。

在VE-LOL數(shù)據(jù)集上的比較

在正常光照數(shù)據(jù)集上的比較

在分割模型上的表現(xiàn)

總結(jié)

CLE Diffusion提出了一種新型的擴(kuò)散模型框架來(lái)實(shí)現(xiàn)可控的光照增強(qiáng)。方法主要將亮度信息編碼，利用條件擴(kuò)散模型來(lái)實(shí)現(xiàn)可控的亮度增強(qiáng)。并且借助SAM模型，讓用戶可以選擇感興趣的區(qū)域進(jìn)行增亮。大量的實(shí)驗(yàn)表明，方法在定量和定性上都有優(yōu)異的表現(xiàn)。