NeurIPS 2023 | 如何從理論上研究生成式數(shù)據(jù)增強(qiáng)的效果？

代碼鏈接：

概述

生成式數(shù)據(jù)擴(kuò)增通過條件生成模型生成新樣本來擴(kuò)展數(shù)據(jù)集，從而提高各種學(xué)習(xí)任務(wù)的分類性能。然而，很少有人從理論上研究生成數(shù)據(jù)增強(qiáng)的效果。為了填補(bǔ)這一空白，我們?cè)谶@種非獨(dú)立同分布環(huán)境下構(gòu)建了基于穩(wěn)定性的通用泛化誤差界?；谕ㄓ玫姆夯?，我們進(jìn)一步了探究了高斯混合模型和生成對(duì)抗網(wǎng)絡(luò)的學(xué)習(xí)情況。

在這兩種情況下，我們證明了，雖然生成式數(shù)據(jù)增強(qiáng)并不能享受更快的學(xué)習(xí)率，但當(dāng)訓(xùn)練集較小時(shí)，它可以在一個(gè)常數(shù)的水平上提高學(xué)習(xí)保證，這在發(fā)生過擬合時(shí)是非常重要的。最后，高斯混合模型的仿真結(jié)果和生成式對(duì)抗網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果都支持我們的理論結(jié)論。

主要的理論結(jié)果

2.1 符號(hào)與定義

讓 作為數(shù)據(jù)輸入空間， 作為標(biāo)簽空間。定義 為 上的真實(shí)分布。給定集合 ，我們定義 為去掉第 個(gè)數(shù)據(jù)后剩下的集合， 為把第 個(gè)數(shù)據(jù)換成 后的集合。我們用 表示 total variation distance。

我們讓 為所有從 到 的所有可測(cè)函數(shù)， 為學(xué)習(xí)算法，為從數(shù)據(jù)集 中學(xué)到的映射。對(duì)于一個(gè)學(xué)到的映射 和損失函數(shù)，真實(shí)誤差 被定義為。相應(yīng)的經(jīng)驗(yàn)的誤差 被定義為。

我們文章理論推導(dǎo)采用的是穩(wěn)定性框架，我們稱算法 相對(duì)于損失函數(shù) 是一致 穩(wěn)定的，如果

2.2 生成式數(shù)據(jù)增強(qiáng)

2.3 一般情況

▲ corollary

1. 當(dāng)數(shù)據(jù)量 足夠時(shí)，即使我們采用“最有效的增強(qiáng)數(shù)量”，生成式數(shù)據(jù)增強(qiáng)也難以提高下游任務(wù)的分類性能。
2. 當(dāng)數(shù)據(jù)量 較小的，此時(shí)主導(dǎo)泛化誤差的是維度等其他項(xiàng)，此時(shí)進(jìn)行生成式數(shù)據(jù)增強(qiáng)可以常數(shù)級(jí)降低泛化誤差，這意味著在過擬合的場(chǎng)景下，生成式數(shù)據(jù)增強(qiáng)是很有必要的。

2.5 生成對(duì)抗網(wǎng)絡(luò)

1. 當(dāng)數(shù)據(jù)量 足夠時(shí)，生成式數(shù)據(jù)增強(qiáng)也難以提高下游任務(wù)的分類性能，甚至?xí)夯?/span>
2. 當(dāng)數(shù)據(jù)量 較小的，此時(shí)主導(dǎo)泛化誤差的是維度等其他項(xiàng)，此時(shí)進(jìn)行生成式數(shù)據(jù)增強(qiáng)可以常數(shù)級(jí)降低泛化誤差，同樣地，這意味著在過擬合的場(chǎng)景下，生成式數(shù)據(jù)增強(qiáng)是很有必要的。

實(shí)驗(yàn)

3.1 高斯混合模型模擬實(shí)驗(yàn)

我們?cè)诨旌细咚狗植忌向?yàn)證我們的理論，我們調(diào)整數(shù)據(jù)量 ，數(shù)據(jù)維度 以及 。實(shí)驗(yàn)結(jié)果如下圖所示：

▲ simulation

1. 觀察圖（a），我們可以發(fā)現(xiàn)當(dāng) 相對(duì)于 足夠大的時(shí)候，生成式數(shù)據(jù)增強(qiáng)的引入并不能明顯改變泛化誤差。
2. 觀察圖（d），我們可以發(fā)現(xiàn)當(dāng) 固定時(shí)，真實(shí)的泛化誤差確實(shí)是 階的，且隨著增強(qiáng)數(shù)量 的增大，泛化誤差呈現(xiàn)常數(shù)級(jí)的降低。
3. 另外 4 張圖，我們選取了兩種情況，驗(yàn)證了我們的 bound 能在趨勢(shì)上一定程度上預(yù)測(cè)泛化誤差。

▲ deep

1. 在沒有額外數(shù)據(jù)增強(qiáng)的時(shí)候， 較小，分類器陷入了嚴(yán)重的過擬合。此時(shí)，即使選取的 cDCGAN 很古早（bad GAN），生成式數(shù)據(jù)增強(qiáng)都能帶來明顯的提升。
2. 在有額外數(shù)據(jù)增強(qiáng)的時(shí)候， 充足。此時(shí)，即使選取的 StyleGAN 很先進(jìn)（SOTA GAN），生成式數(shù)據(jù)增強(qiáng)都難以帶來明顯的提升，在 50k 和 100k 增強(qiáng)的情況下甚至都造成了一致的損害。

3. 我們也測(cè)試了一個(gè) SOTA 的擴(kuò)散模型 EDM，發(fā)現(xiàn)即使在有額外數(shù)據(jù)增強(qiáng)的時(shí)候，生成式數(shù)據(jù)增強(qiáng)也能提升分類效果。這意味著擴(kuò)散模型學(xué)習(xí)分布的能力可能會(huì)優(yōu)于 GAN。