半監(jiān)督學(xué)習(xí)算法的現(xiàn)實(shí)性評(píng)價(jià)

編者按：半監(jiān)督學(xué)習(xí)是近年來(lái)非常熱門(mén)的一個(gè)研究領(lǐng)域，畢竟機(jī)器學(xué)習(xí)模型的本質(zhì)是個(gè)“吃”數(shù)據(jù)的“怪獸”，雖然現(xiàn)實(shí)世界擁有海量數(shù)據(jù)，但針對(duì)某個(gè)問(wèn)題的標(biāo)記數(shù)據(jù)卻仍極度稀缺。為了用更少的標(biāo)記數(shù)據(jù)完成更多現(xiàn)實(shí)任務(wù)，研究人員想出了這種從無(wú)標(biāo)記數(shù)據(jù)中提取數(shù)據(jù)結(jié)構(gòu)的巧妙做法。那么它能被用于現(xiàn)實(shí)任務(wù)嗎？今天論智帶來(lái)的是NIPS 2018收錄的一篇Google Brain論文：Realistic Evaluation of Semi-Supervised Learning Algorithms。

摘要

當(dāng)遇到標(biāo)簽有限或沒(méi)有足夠經(jīng)費(fèi)請(qǐng)人標(biāo)記數(shù)據(jù)等問(wèn)題時(shí)，半監(jiān)督學(xué)習(xí)（SSL）提供了一個(gè)強(qiáng)大的框架。近年來(lái)，基于深層神經(jīng)網(wǎng)絡(luò)的SSL算法在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試任務(wù)中被證明是有用的。但是，我們認(rèn)為這些基準(zhǔn)測(cè)試并不能解決在應(yīng)用于實(shí)際任務(wù)時(shí)，這些算法將面臨的各種問(wèn)題。

我們?yōu)橐恍V泛使用的SSL算法重新創(chuàng)建了統(tǒng)一實(shí)現(xiàn)，并在一系列任務(wù)中對(duì)它們進(jìn)行了測(cè)試。實(shí)驗(yàn)發(fā)現(xiàn)：那些不使用未標(biāo)記數(shù)據(jù)的簡(jiǎn)單基線的性能通常被低估了；對(duì)于不同數(shù)量的標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)，SSL算法的敏感程度也不同；并且當(dāng)未標(biāo)記數(shù)據(jù)集中包含不屬于該類(lèi)的數(shù)據(jù)時(shí)，網(wǎng)絡(luò)性能會(huì)大幅降低。

為了幫助指導(dǎo)SSL研究真正能適應(yīng)現(xiàn)實(shí)世界，我們公開(kāi)了論文的統(tǒng)一重新實(shí)現(xiàn)和評(píng)估平臺(tái)。

簡(jiǎn)介

無(wú)數(shù)實(shí)驗(yàn)已經(jīng)證實(shí)，如果我們對(duì)大量數(shù)據(jù)進(jìn)行標(biāo)記，那么深層神經(jīng)網(wǎng)絡(luò)就能在某些監(jiān)督學(xué)習(xí)任務(wù)上實(shí)現(xiàn)和人類(lèi)相仿，甚至超人的表現(xiàn)。然而，這種成功是需要代價(jià)的。也就是說(shuō)，為了創(chuàng)建大型數(shù)據(jù)集，我們往往要耗費(fèi)大量的人力、財(cái)力和風(fēng)險(xiǎn)在數(shù)據(jù)標(biāo)記上。因此對(duì)于許多現(xiàn)實(shí)問(wèn)題，它們沒(méi)有足夠的資源來(lái)構(gòu)建足夠大的數(shù)據(jù)集，這就限制了深度學(xué)習(xí)的廣泛應(yīng)用。

解決這一問(wèn)題的一種可行方法是使用半監(jiān)督學(xué)習(xí)框架。和需要標(biāo)記數(shù)據(jù)的監(jiān)督學(xué)習(xí)算法相比，SSL算法能從未標(biāo)記數(shù)據(jù)中提取數(shù)據(jù)結(jié)構(gòu)，進(jìn)而提高網(wǎng)絡(luò)性能，這降低了操作門(mén)檻。而最近的一些研究結(jié)果也表明，在某些情況下，即便給定數(shù)據(jù)集中的大部分?jǐn)?shù)據(jù)都遺失了標(biāo)簽，SSL算法也能接近純監(jiān)督學(xué)習(xí)的表現(xiàn)。

面對(duì)這些成功，一個(gè)自然而然的問(wèn)題就是：SSL算法能否被用于現(xiàn)實(shí)世界的任務(wù)？在本文中，我們認(rèn)為答案是否定的。具體而言，當(dāng)我們選擇一個(gè)大型數(shù)據(jù)集，然后去除其中的大量標(biāo)簽對(duì)比SSL算法和純監(jiān)督學(xué)習(xí)算法時(shí)，我們其實(shí)忽略了算法本身的各種常見(jiàn)特征。

下面是我們的一些發(fā)現(xiàn)：

如果兩個(gè)神經(jīng)網(wǎng)絡(luò)在調(diào)參上花費(fèi)相同資源，那么用SSL和只用標(biāo)記數(shù)據(jù)帶來(lái)的性能差異會(huì)小于以往論文的實(shí)驗(yàn)結(jié)論。

不使用未標(biāo)記數(shù)據(jù)的、高度正則化的大型分類(lèi)器往往具有強(qiáng)大性能，這證明了在同一底層模型上評(píng)估不同SSL算法的重要性。

如果先在不同的標(biāo)記數(shù)據(jù)集上預(yù)訓(xùn)練模型，之后再在指定數(shù)據(jù)集上訓(xùn)練模型，它的最終性能會(huì)比用SSL算法高不少。

如果未標(biāo)記數(shù)據(jù)中包含與標(biāo)記數(shù)據(jù)不同的類(lèi)分布，使用SSL算法的神經(jīng)網(wǎng)絡(luò)的性能會(huì)急劇下降。

事實(shí)上，小的驗(yàn)證集會(huì)妨礙不同方法、模型和超參數(shù)設(shè)置之間的可靠比較。

評(píng)估方法改進(jìn)

科研人員評(píng)估SSL算法一般遵循以下流程：首先，選擇一個(gè)用于監(jiān)督學(xué)習(xí)的通用數(shù)據(jù)集，刪去其中大多數(shù)數(shù)據(jù)的標(biāo)簽；其次，把保留標(biāo)簽的數(shù)據(jù)制作成小型數(shù)據(jù)集D，把未標(biāo)記數(shù)據(jù)整理成數(shù)據(jù)集DUL；最后，用半監(jiān)督學(xué)習(xí)訓(xùn)練一些模型，在未經(jīng)修改的測(cè)試集上檢驗(yàn)它們的性能。

但下面是現(xiàn)有方法的缺陷及其改進(jìn)：

P.1 一個(gè)共享的實(shí)現(xiàn)

現(xiàn)有SSL算法比較沒(méi)有考慮底層模型的一致性，這是不科學(xué)的。在某些情況下，同樣是簡(jiǎn)單的13層CNN，不同實(shí)現(xiàn)會(huì)導(dǎo)致一些細(xì)節(jié)，比如參數(shù)初始化、數(shù)據(jù)預(yù)處理、數(shù)據(jù)增強(qiáng)、正則化等，發(fā)生改變。不同模型的訓(xùn)練過(guò)程（優(yōu)化、幾個(gè)epoch、學(xué)習(xí)率）也是不一樣的。因此，如果不用同一個(gè)底層實(shí)現(xiàn)，算法對(duì)比不夠嚴(yán)謹(jǐn)。

P.2 高質(zhì)量監(jiān)督學(xué)習(xí)基線

SSL的目標(biāo)是基于標(biāo)記數(shù)據(jù)集D和未標(biāo)記數(shù)據(jù)集DUL，使模型的性能比單獨(dú)用D訓(xùn)練出來(lái)的完全相同的基礎(chǔ)模型更好。雖然道理很簡(jiǎn)單，但不同論文對(duì)于這個(gè)基線的介紹卻存在出入，比如去年Laine＆Aila和Tarvainen＆Valpola在論文中用了一樣的基線，雖然模型是一樣的，但它們的準(zhǔn)確率差竟然高達(dá)15%。

為了避免這種情況，我們參考為SSL調(diào)參，重新調(diào)整了基線模型，確保它的高質(zhì)量。

P.3 和遷移學(xué)習(xí)的對(duì)比

在實(shí)踐中，如果數(shù)據(jù)量有限，通常我們會(huì)用遷移學(xué)習(xí)，把在相似大型數(shù)據(jù)集上訓(xùn)練好的模型拿過(guò)來(lái)，再根據(jù)手頭的小數(shù)據(jù)集進(jìn)行“微調(diào)”。雖然這種做法的前提是存在那么一個(gè)相似的、夠大的數(shù)據(jù)集，但如果能實(shí)現(xiàn)，遷移學(xué)習(xí)確實(shí)能提供性能強(qiáng)大的、通用性好的基線，而且這類(lèi)基線很少有論文提及。

P.4 考慮類(lèi)分布不匹配

需要注意的是，當(dāng)我們選擇數(shù)據(jù)集并刪去其中大多數(shù)數(shù)據(jù)的標(biāo)簽時(shí)，這些數(shù)據(jù)默認(rèn)DUL的類(lèi)分布和D的完全一致。但這不合理，想象一下，假設(shè)我們要訓(xùn)練一個(gè)能區(qū)分十張人臉的分類(lèi)器，但每個(gè)人的圖像樣本非常少，這時(shí)，你可能會(huì)選擇使用一個(gè)包含隨機(jī)人臉圖像的大型未標(biāo)記數(shù)據(jù)集來(lái)進(jìn)行填充，那么這個(gè)DUL中的圖像就并不完全是這十個(gè)人的。

現(xiàn)有的SSL算法評(píng)估都忽略了這種情況，而我們明確研究了類(lèi)分布相同/類(lèi)分布不同數(shù)據(jù)之間的影響。

P.5 改變標(biāo)記和未標(biāo)記數(shù)據(jù)的數(shù)量

改變兩種數(shù)據(jù)的數(shù)量這種做法并不罕見(jiàn)，研究人員通常喜歡通關(guān)刪去不同數(shù)量的底層標(biāo)記數(shù)據(jù)來(lái)改變D的大小，但到目前為止，以系統(tǒng)的方式改變DUL確不太常見(jiàn)。這可以模擬兩種現(xiàn)實(shí)場(chǎng)景：一是未標(biāo)記數(shù)據(jù)集非常巨大（比如用網(wǎng)絡(luò)數(shù)十億未標(biāo)記圖像提高模型分類(lèi)性能），二是未標(biāo)記數(shù)據(jù)集相對(duì)較小（比如醫(yī)學(xué)影像數(shù)據(jù)，它們的成本很高）。

P.6 切合實(shí)際的小型驗(yàn)證集

人為創(chuàng)建的SSL數(shù)據(jù)集往往有個(gè)特征，就是驗(yàn)證集會(huì)比訓(xùn)練集大很多。比如SVHN的驗(yàn)證集大約有7000個(gè)標(biāo)記數(shù)據(jù)，許多論文在用這個(gè)數(shù)據(jù)集做研究時(shí)，往往只從原訓(xùn)練集里抽取1000個(gè)標(biāo)記數(shù)據(jù)，但會(huì)保留完整驗(yàn)證集。這就意味著驗(yàn)證集是訓(xùn)練集的7倍，而在現(xiàn)實(shí)任務(wù)中，數(shù)據(jù)更多的集一般是會(huì)被作為訓(xùn)練集的。

實(shí)驗(yàn)

這個(gè)實(shí)驗(yàn)的目的不是產(chǎn)生state-of-art的結(jié)果，而是通過(guò)建立一個(gè)通用框架，對(duì)各種模型性能進(jìn)行嚴(yán)格的比較分析。此外，由于我們使用的模型架構(gòu)和超參數(shù)調(diào)整方法和以前的論文很不一樣，它們也沒(méi)法和過(guò)去的工作直接比較，只能單獨(dú)列出。

上表是實(shí)用各SSL算法的模型在驗(yàn)證集上的錯(cuò)誤率，它們使用了同樣的底層模型——Wide ResNet，縱坐標(biāo)是監(jiān)督學(xué)習(xí)和各類(lèi)常用的SSL算法：Π-Model, Mean Teacher, Virtual Adversarial Training, PseudoLabeling，以及Entropy Minimization。

需要注意的是，表格上部是前人的工作，下部是本文的成果，它們不能直接對(duì)比（本文模型使用的參數(shù)是上面的一半，所以性能會(huì)差一些）。但是，透過(guò)數(shù)據(jù)我們還是可以發(fā)現(xiàn)：

結(jié)論1：Mean Teacher和VAT的表現(xiàn)總體不錯(cuò)。

結(jié)論2：監(jiān)督學(xué)習(xí)模型和半監(jiān)督學(xué)習(xí)模型之間的性能差異并沒(méi)有其他論文中描述的那么大。

結(jié)論3：基于這個(gè)表格的數(shù)據(jù)，我們用遷移學(xué)習(xí)訓(xùn)練了一個(gè)模型，發(fā)現(xiàn)它在CIFAR-10驗(yàn)證集上的錯(cuò)誤率是12%，這個(gè)結(jié)果比SSL算法更好。

上圖是各模型在CIFAR-10上的錯(cuò)誤率，已知標(biāo)記訓(xùn)練集有6類(lèi)圖像，每類(lèi)圖像400個(gè)樣本。其中縱坐標(biāo)是錯(cuò)誤率，橫坐標(biāo)是未標(biāo)記數(shù)據(jù)相對(duì)標(biāo)記數(shù)據(jù)的不同類(lèi)分布占比，比如25%表示未標(biāo)記數(shù)據(jù)集中有1/4的類(lèi)是標(biāo)記數(shù)據(jù)集上沒(méi)有的。陰影區(qū)是五次實(shí)驗(yàn)標(biāo)準(zhǔn)差。

結(jié)論4：和不使用任何未標(biāo)記數(shù)據(jù)相比，如果我們?cè)谖礃?biāo)記數(shù)據(jù)集中加入更多的額外類(lèi)，模型的性能會(huì)降低。

結(jié)論5：SSL算法對(duì)標(biāo)記數(shù)據(jù)/未標(biāo)記數(shù)據(jù)的不同數(shù)據(jù)量很敏感。

上圖是各算法模型的平均驗(yàn)證錯(cuò)誤對(duì)比，使用的是10個(gè)大小不同的隨機(jī)采樣非重疊驗(yàn)證集。實(shí)線是平均值，陰影是標(biāo)準(zhǔn)差，訓(xùn)練集是包含1000個(gè)標(biāo)記數(shù)據(jù)的SVHN。圖中的縱坐標(biāo)是錯(cuò)誤率，橫坐標(biāo)是驗(yàn)證集相對(duì)于訓(xùn)練集的大小，比如10%表示驗(yàn)證集只包含100個(gè)標(biāo)記數(shù)據(jù)。

結(jié)論6：10%是個(gè)合適的比例，因此對(duì)于嚴(yán)重依賴(lài)大型驗(yàn)證集做超參數(shù)調(diào)整的SSL算法，它們的實(shí)際適用性很有限，即便是交叉驗(yàn)證也沒(méi)法帶來(lái)太多改善。

總結(jié)

通過(guò)上述實(shí)驗(yàn)結(jié)果，我們已經(jīng)證實(shí)把SSL算法用于現(xiàn)實(shí)實(shí)踐暫時(shí)是不恰當(dāng)?shù)?，那么今后該怎么評(píng)估它們呢？下面是一些建議：

在比較不同SSL算法時(shí)，使用完全相同的底層模型。模型結(jié)構(gòu)的差異，甚至是細(xì)節(jié)，都會(huì)對(duì)最終結(jié)果產(chǎn)生很大影響。

仔細(xì)調(diào)整基線的在使用監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)時(shí)的準(zhǔn)確率，SSL的目標(biāo)應(yīng)該是明顯優(yōu)于完全監(jiān)督學(xué)習(xí)。

呈現(xiàn)數(shù)據(jù)中混有其他類(lèi)數(shù)據(jù)時(shí)模型的性能變化，因?yàn)檫@是現(xiàn)實(shí)場(chǎng)景中很常見(jiàn)的現(xiàn)象。

報(bào)告性能時(shí)，測(cè)試不同標(biāo)記數(shù)據(jù)/未標(biāo)記數(shù)據(jù)量下的情況。理想情況下，即便標(biāo)記數(shù)據(jù)非常少，SSL算法也能從未標(biāo)記數(shù)據(jù)中提取到有用信息。因此我們建議將SVHN與SVHN-Extra相結(jié)合，以測(cè)試算法在大型未標(biāo)記數(shù)據(jù)中的性能。

不要在不切實(shí)際的大型驗(yàn)證集上過(guò)度調(diào)參。