使用Pytorch實現(xiàn)頻譜歸一化生成對抗網(wǎng)絡(luò)(SN-GAN)

自從擴散模型發(fā)布以來，GAN的關(guān)注度和論文是越來越少了，但是它們里面的一些思路還是值得我們了解和學(xué)習(xí)。所以本文我們來使用Pytorch 來實現(xiàn)SN-GAN

譜歸一化生成對抗網(wǎng)絡(luò)是一種生成對抗網(wǎng)絡(luò)，它使用譜歸一化技術(shù)來穩(wěn)定鑒別器的訓(xùn)練。譜歸一化是一種權(quán)值歸一化技術(shù)，它約束了鑒別器中每一層的譜范數(shù)。這有助于防止鑒別器變得過于強大，從而導(dǎo)致不穩(wěn)定和糟糕的結(jié)果。

SN-GAN由Miyato等人(2018)在論文“生成對抗網(wǎng)絡(luò)的譜歸一化”中提出，作者證明了sn - gan在各種圖像生成任務(wù)上比其他gan具有更好的性能。

SN-GAN的訓(xùn)練方式與其他gan相同。生成器網(wǎng)絡(luò)學(xué)習(xí)生成與真實圖像無法區(qū)分的圖像，而鑒別器網(wǎng)絡(luò)學(xué)習(xí)區(qū)分真實圖像和生成圖像。這兩個網(wǎng)絡(luò)以競爭的方式進行訓(xùn)練，它們最終達到一個點，即生成器能夠產(chǎn)生逼真的圖像，從而欺騙鑒別器。

以下是SN-GAN相對于其他gan的優(yōu)勢總結(jié):

• 更穩(wěn)定，更容易訓(xùn)練
• 可以生成更高質(zhì)量的圖像
• 更通用，可以用來生成更廣泛的內(nèi)容。

模式崩潰

模式崩潰是生成對抗網(wǎng)絡(luò)(GANs)訓(xùn)練中常見的問題。當(dāng)GAN的生成器網(wǎng)絡(luò)無法產(chǎn)生多樣化的輸出，而是陷入特定的模式時，就會發(fā)生模式崩潰。這會導(dǎo)致生成的輸出出現(xiàn)重復(fù)，缺乏多樣性和細(xì)節(jié)，有時甚至與訓(xùn)練數(shù)據(jù)完全無關(guān)。

GAN中發(fā)生模式崩潰有幾個原因。一個原因是生成器網(wǎng)絡(luò)可能對訓(xùn)練數(shù)據(jù)過擬合。如果訓(xùn)練數(shù)據(jù)不夠多樣化，或者生成器網(wǎng)絡(luò)太復(fù)雜，就會發(fā)生這種情況。另一個原因是生成器網(wǎng)絡(luò)可能陷入損失函數(shù)的局部最小值。如果學(xué)習(xí)率太高，或者損失函數(shù)定義不明確，就會發(fā)生這種情況。

以前有許多技術(shù)可以用來防止模式崩潰。比如使用更多樣化的訓(xùn)練數(shù)據(jù)集。或者使用正則化技術(shù)，例如dropout或批處理歸一化，使用合適的學(xué)習(xí)率和損失函數(shù)也很重要。

Wassersteian損失

Wasserstein損失，也稱為Earth Mover’s Distance(EMD)或Wasserstein GAN (WGAN)損失，是一種用于生成對抗網(wǎng)絡(luò)(GAN)的損失函數(shù)。引入它是為了解決與傳統(tǒng)GAN損失函數(shù)相關(guān)的一些問題，例如Jensen-Shannon散度和Kullback-Leibler散度。

Wasserstein損失測量真實數(shù)據(jù)和生成數(shù)據(jù)的概率分布之間的差異，同時確保它具有一定的數(shù)學(xué)性質(zhì)。他的思想是最小化這兩個分布之間的Wassersteian距離(也稱為地球移動者距離)。Wasserstein距離可以被認(rèn)為是將一個分布轉(zhuǎn)換為另一個分布所需的最小“成本”，其中“成本”被定義為將概率質(zhì)量從一個位置移動到另一個位置所需的“工作量”。

Wasserstein損失的數(shù)學(xué)定義如下:

對于生成器G和鑒別器D, Wasserstein損失(Wasserstein距離)可以表示為:

Jensen-Shannon散度(JSD): Jensen-Shannon散度是一種對稱度量，用于量化兩個概率分布之間的差異

對于概率分布P和Q, JSD定義如下:

JSD(P∥Q)=1/2(KL(P∥M)+KL(Q∥M))

M為平均分布，KL為Kullback-Leibler散度，P∥Q為分布P與分布Q之間的JSD。

JSD總是非負(fù)的，在0和1之間有界，并且對稱(JSD(P|Q) = JSD(Q|P))。它可以被解釋為KL散度的“平滑”版本。

Kullback-Leibler散度(KL散度):Kullback-Leibler散度，通常被稱為KL散度或相對熵，通過量化“額外信息”來測量兩個概率分布之間的差異，這些“額外信息”需要使用另一個分布作為參考來編碼一個分布。

對于兩個概率分布P和Q，從Q到P的KL散度定義為:KL(P∥Q)=∑x P(x)log(Q(x)/P(x))。KL散度是非負(fù)非對稱的，即KL(P∥Q)≠KL(Q∥P)。當(dāng)且僅當(dāng)P和Q相等時它為零。KL散度是無界的，可以用來衡量分布之間的不相似性。

1-Lipschitz Contiunity

1- lipschitz函數(shù)是斜率的絕對值以1為界的函數(shù)。這意味著對于任意兩個輸入x和y，函數(shù)輸出之間的差不超過輸入之間的差。

數(shù)學(xué)上函數(shù)f是1-Lipschitz，如果對于f定義域內(nèi)的所有x和y，以下不等式成立:

|f(x) — f(y)| <= |x — y|

在生成對抗網(wǎng)絡(luò)(GANs)中強制Lipschitz連續(xù)性是一種用于穩(wěn)定訓(xùn)練和防止與傳統(tǒng)GANs相關(guān)的一些問題的技術(shù)，例如模式崩潰和訓(xùn)練不穩(wěn)定。在GAN中實現(xiàn)Lipschitz連續(xù)性的主要方法是通過使用Lipschitz約束或正則化，一種常用的方法是Wasserstein GAN (WGAN)。

在標(biāo)準(zhǔn)gan中，鑒別器(也稱為WGAN中的批評家)被訓(xùn)練來區(qū)分真實和虛假數(shù)據(jù)。為了加強Lipschitz連續(xù)性，WGAN增加了一個約束，即鑒別器函數(shù)應(yīng)該是Lipschitz連續(xù)的，這意味著函數(shù)的梯度不應(yīng)該增長得太大。在數(shù)學(xué)上，它被限制為:

∥∣D(x)?D(y)∣≤K?∥x?y∥

其中D(x)是評論家對數(shù)據(jù)點x的輸出，D(y)是y的輸出，K是Lipschitz 常數(shù)。

WGAN的權(quán)重裁剪:在原始的WGAN中，通過在每個訓(xùn)練步驟后將鑒別器網(wǎng)絡(luò)的權(quán)重裁剪到一個小范圍(例如，[-0.01,0.01])來強制執(zhí)行該約束。權(quán)重裁剪確保了鑒別器的梯度保持在一定范圍內(nèi)，并加強了利普希茨連續(xù)性。

WGAN的梯度懲罰: WGAN的一種變體，稱為WGAN-GP，它使用梯度懲罰而不是權(quán)值裁剪來強制Lipschitz約束。WGAN-GP基于鑒別器的輸出相對于真實和虛假數(shù)據(jù)之間的隨機點的梯度，在損失函數(shù)中添加了一個懲罰項。這種懲罰鼓勵了Lipschitz約束，而不需要權(quán)重裁剪。

譜范數(shù)

從符號上看矩陣