最新提出的portrait relighting算法，只需單張RGB人像模型就可以重建出重新調(diào)整光照后的完美照片

在拍照時候最大的困難之一就是無法控制環(huán)境光的影響。在逆光、測光、暗光的影響下無法拍出滿意的照片。很多時候不禁感嘆，和攝影大師也許就僅僅隔著一盞攝影燈的距離！如何讓手機也能拍出專業(yè)攝影工作室燈效下的人像呢？加州大學(xué)圣迭戈分校和谷歌的研究人員給出了他們的答案。

在最新提出的portrait relighting算法中，只需要單張RGB人像模型就可以重建出重新調(diào)整光照后的完美照片，畫質(zhì)不輸專業(yè)攝影裝備，而你需要的僅僅是一個可以拍照的智能手機，不用打光不用等候，輕輕一拍算法處理后就能拿到期待的光照效果。

上面的圖中最左側(cè)是輸入的照片，右邊三個是模型重建出在不同環(huán)境光照下的效果，照片的光照被完全修改為期待的樣子了。光照是肖像攝影最重要的部分之一，不同光照可以呈現(xiàn)出千差萬別的效果。所以攝影也被稱為光與影的藝術(shù)。專業(yè)的攝影工作室除了昂貴的相機外最引人矚目的就是那一排排炫目的燈光設(shè)備了。

但對于大多數(shù)使用手機的消費者來說并不具備控制環(huán)境光照的條件，用手機自拍的小伙伴們沒有濾鏡、沒有散射片、沒有反光板，手頭最多只有一個相機自帶的閃光燈，而且閃光燈的強度還極其有限。

如何打破硬件設(shè)備的限制為重新為照片進行光照渲染一直是圖形學(xué)、手機廠商的研究熱點。使用后處理的方法改變照片的光照將會給手機攝影、特別是自拍照片的質(zhì)量帶來較大的提升。先前的方法主要基于特定的硬件或者多張圖像的HDR、或者需要已知環(huán)境光照，已知目標對象精確的幾何形貌和反射率的方法來對照片的光照進行調(diào)整。研究人員充分考慮了HDR方法、光度立體視覺、單圖像表面重建、人臉重建和重光照以及最近的深度學(xué)習(xí)方法，提出了一種基于自編碼器的新型架構(gòu)，在無需環(huán)境光照先驗和物體外形及反射率的情況下重建出調(diào)整光照后的圖像。模型主要結(jié)構(gòu)由編碼器-解碼器構(gòu)成，在使用時只需要輸入原圖像并在編碼空間中注入希望的環(huán)境光照，即可生成出期望的光照效果。

同時這一網(wǎng)絡(luò)也可以預(yù)測輸入圖像的環(huán)境光照，并可以在編碼空間（網(wǎng)絡(luò)圖中的瓶頸位置）進行調(diào)整，隨后解碼成期待光照下的圖像。例如下圖中用戶對編碼器恢復(fù)的環(huán)境光進行操作，解碼后得到了新光照條件下的圖像，隨著光源的右移照片中人臉的右側(cè)明顯變亮了。

和傳統(tǒng)方法或先前基于學(xué)習(xí)的方場景推斷、人臉重建法不同的是，這一方法并沒有任何顯式的步驟用于估計物體的幾何外形與反射率。像朗伯體反射和球均勻光照等模型限制方法的表達能力。而這篇文章中提出的方法直接利用單個網(wǎng)絡(luò)通過原始圖像和目標光照恢復(fù)出重光照后的圖像，并將所有需要的幾何與反射等物理模型涵蓋到網(wǎng)絡(luò)內(nèi)部，通過充分的訓(xùn)練模型可以處理絕大多數(shù)的人臉表情和面部細節(jié)，陰暗、散射、高光和陰影都可以有效處理。這一網(wǎng)絡(luò)模型可以由下面的映射公式表示，通過輸入源圖像Is和目標光照，估計出目標圖像It和源光照Ls。

下面是網(wǎng)絡(luò)架構(gòu)的細節(jié)圖，輸入圖通過不斷的卷積進行編碼，并利用加權(quán)平均預(yù)測出了輸入圖像的環(huán)境光。隨后目標光照注入網(wǎng)絡(luò)并與編碼器各層的特征共同解碼最后得到期待光照下的圖像。模型的損失主要來自于目標圖像與輸出圖像，預(yù)測光照與真實環(huán)境光照之間的損失。

為了訓(xùn)練這一網(wǎng)絡(luò)，研究人員們首先建立了(one-light-at-a-time,OLAT)數(shù)據(jù)集，首先構(gòu)建了一個由七個相機304個LED光源組成的圖像收集裝置，其中每個相機相隔中心相機20度，并與拍攝主題相隔1.7m進行拍攝，隨后將這些圖像進行線性加權(quán)并結(jié)合起來得到訓(xùn)練的基準圖像。實驗中共邀請了22個人，每個人3-5個表情，共進行了98次拍攝（每次拍攝304個燈以此亮起）。通過數(shù)據(jù)處理和渲染共得到了226800對肖像數(shù)據(jù)用于訓(xùn)練。

此外，為了在自然環(huán)境光下渲染圖像，研究人員利用了多個HDR數(shù)據(jù)集來得到環(huán)境光圖，主要包括了來自Laval Indoor HDR Dataset，室外Eisklotz, HDRI Haven, HDRI Skies, HDRLabs, HDRMAPS, NoEmotion HDRs, and Openfootage等多個數(shù)據(jù)集的共計3094張不同的環(huán)境光照。下圖中可以看到模型的效果，與先前方法相比，重光照圖像非常自然，不會出現(xiàn)各種奇怪的人工痕跡：

對于自然環(huán)境下的圖像，在估計出的光照圖上調(diào)整后重新渲染得到的效果也相當不錯：

這種方法將有可能為手機照相軟件的后處理提供強大的光照后處理能力，用戶可以為照片像添加濾鏡一樣添加不同的環(huán)境光來實現(xiàn)豐富的照片效果，海灘、焰火、夕陽、雪山…你想要的都可以。也可以通過調(diào)整源圖像的環(huán)境光來修正圖像的光照，重新渲染出最靚的你！