無需使用沒有“噪聲”的清晰圖像，就能夠?qū)崿F(xiàn)完美去水印

沒有什么能阻擋我們對(duì)高清無碼大圖的向往。在ICML2018上，英偉達(dá)和MIT等機(jī)構(gòu)的研究人員展示了一項(xiàng)圖像降燥技術(shù)Noise2Noise，能夠自動(dòng)去除圖片中的水印、模糊等噪音，幾乎能完美復(fù)原，而且渲染時(shí)間是毫秒級(jí)。

去水印技術(shù)又上了個(gè)新臺(tái)階。

由Nvidia、麻省理工學(xué)院和阿爾托大學(xué)開發(fā)的深度學(xué)習(xí)去噪方法，無需使用沒有“噪聲”的清晰圖像，就能夠?qū)崿F(xiàn)完美去水印。

效果如下：

什么是圖片“噪聲”？

如果你在日落之后拍攝過照片，那么你可能對(duì)圖像的“噪聲”很熟悉了。當(dāng)用攝像頭對(duì)焦光線昏暗的場景時(shí)，圖像會(huì)呈現(xiàn)顆粒、異常的彩色或白色斑點(diǎn)。

人們現(xiàn)在可以用軟件在一定程度上去噪或降噪，深度學(xué)習(xí)方法去噪也已經(jīng)有一些解決方案，但存在一個(gè)重要缺陷：需要配對(duì)的清晰圖像和噪聲圖像來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

如何生成清晰的圖像是醫(yī)學(xué)成像檢測（如MRI）和天文圖像中的共同問題，因?yàn)檫@些場景根本沒有足夠的時(shí)間和光線來拍攝清晰圖像。時(shí)間在計(jì)算機(jī)圖形技術(shù)中也是一個(gè)問題。生成清晰的圖像數(shù)據(jù)來訓(xùn)練降噪器的任務(wù)可能需要幾天或幾周的時(shí)間。

Noise2Noise：

該團(tuán)隊(duì)使用了來自ImageNet數(shù)據(jù)集的5萬張圖像來訓(xùn)練其人工智能系統(tǒng)，該系統(tǒng)能夠從圖像中去除噪聲，即使它從未見過沒有噪聲的對(duì)應(yīng)圖像。

這個(gè)名為“噪聲到噪聲”（Noise2Noise）的AI系統(tǒng)是使用深度學(xué)習(xí)創(chuàng)建的，它不是基于配對(duì)的清晰圖像和噪聲圖像來訓(xùn)練網(wǎng)絡(luò)，而是基于配對(duì)的噪聲圖像來訓(xùn)練網(wǎng)絡(luò)，并且只需要噪聲圖像。計(jì)算機(jī)生成的圖像和MRI掃描圖像也被用來訓(xùn)練Noise2Noise。

通過只使用噪聲來訓(xùn)練Noise2Noise，研究人員希望這種方法可以用于已知含有大量噪聲的圖像，比如天體攝影、核磁共振成像（MRI）或大腦掃描圖像。

從左到右：輸入的噪聲圖像、去噪圖像、和原始圖像

來自IXI數(shù)據(jù)集的50名人類受試者的近5000張圖像被用于訓(xùn)練Noise2Noise的MRI圖像去噪能力。在沒有人工噪聲的情況下，結(jié)果可能比原始圖像稍微模糊一些，但仍然很好地還原了清晰度。

MRI圖像去噪

Nvidia的研究人員Jacob Munkberg說：“這是一個(gè)概念證明，我們?cè)谝粋€(gè)公共核磁共振數(shù)據(jù)庫上進(jìn)行訓(xùn)練，但在未來，它可能會(huì)顯示出在實(shí)際應(yīng)用中的希望?！?/p>

Noise2Noise系統(tǒng)通過使用一個(gè)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)這一點(diǎn)，該神經(jīng)網(wǎng)絡(luò)使用有損的圖像來訓(xùn)練。它不需要干凈的圖像，但它需要觀察源圖像兩次。實(shí)驗(yàn)表明，受不同的合成噪聲（加性高斯噪聲、泊松噪聲和binomial噪聲）影響的目標(biāo)圖像仍能與使用干凈樣本恢復(fù)的圖像有“幾乎相同”的質(zhì)量。該系統(tǒng)最令人興奮的是，它可以顯著減少圖像渲染所需的時(shí)間——毫秒級(jí)別。

研究人員在論文中寫道：“我們觀察到，在適當(dāng)?shù)?，常見的情況下，我們可以學(xué)習(xí)僅從損壞的示例重建信號(hào)，而無需觀察干凈的信號(hào)，并且其效果與使用干凈樣本一樣好。如我們?cè)谙挛乃故镜模瑥慕y(tǒng)計(jì)角度來看，我們的結(jié)論可能是微不足道的，但在實(shí)踐中，通過解除對(duì)清潔數(shù)據(jù)可用性的要求，這種方法顯著簡化了學(xué)習(xí)信號(hào)的重建。”

實(shí)驗(yàn)：

我們通過實(shí)驗(yàn)研究了噪聲目標(biāo)（noisy-target）訓(xùn)練的實(shí)際特性，并確定了不需要干凈目標(biāo)的各種情況。

加性高斯噪聲（Additive Gaussian noise）

首先，我們用加性高斯噪聲研究噪聲目標(biāo)的影響。這是一種簡單的分布，我們可以從中抽取樣本，從而通過破壞干凈的圖像來生成無限數(shù)量的合成訓(xùn)練數(shù)據(jù)。

對(duì)高斯噪聲去噪的示例

這里，我們的baseline是最近state-of-the-art的方法“RED30”，這是一個(gè)具有128個(gè)特征圖的30層的分層殘差網(wǎng)絡(luò)，已經(jīng)被證明是非常有效的。

對(duì)加性高斯噪聲的去噪性能

來自3個(gè)測試數(shù)據(jù)集KODAK, BSD300和SET14的PSNR結(jié)果，包括高斯噪聲、泊松噪聲和Bernoulli noise噪聲

泊松噪聲（Poisson noise）

泊松噪聲是照片噪聲的主要來源。它和高斯一樣是零均值，但是很難去除，因?yàn)樗c信號(hào)有關(guān)。

對(duì)Poisson noise去噪的示例

眼部的細(xì)節(jié)

高斯噪聲、泊松噪聲和Bernoulli noise噪聲的示例結(jié)果。

去除圖像中文字的效果：

從此不怕彈幕擋臉

如果要去除圖像中的文字，正確答案是中間值（L1 loss）而不是平均值(L2 loss)

隨機(jī)值脈沖噪聲用噪聲代替了一些像素，并保留了其他像素的顏色。

脈沖噪聲去噪示例

在隨機(jī)值脈沖噪聲的情況下，模式（L0）產(chǎn)生了無偏的結(jié)果，與平均值（L2）或中間值（L1）不同

這項(xiàng)工作將于本周在瑞典斯德哥爾摩召開的ICML會(huì)議上公布。