深度ReLU網(wǎng)絡(luò)的訓(xùn)練動態(tài)過程及其對泛化能力的影響

對神經(jīng)網(wǎng)絡(luò)而言，使用同一架構(gòu)的網(wǎng)絡(luò)，從不同初始值開始優(yōu)化，最終的泛化效果可以完全不同。在傳統(tǒng)的機器學(xué)習(xí)中，對優(yōu)化算法和泛化性能的研究是分開的，但對深度學(xué)習(xí)這樣的非凸問題而言，兩者是密不可分的。本文試圖對這個問題做出統(tǒng)一的解釋。

神經(jīng)網(wǎng)絡(luò)有很多異于傳統(tǒng)機器學(xué)習(xí)系統(tǒng)（比如決策樹和SVM）的奇特性質(zhì)。比如說過參化（over-parameterization）時并不會產(chǎn)生過擬合，而只會讓測試集上效果變好（泛化能力變好），如果用正好的參數(shù)去擬合數(shù)據(jù)，泛化能力反而變差。比如說有隱式正則化（implicit regularization）的能力，即同樣大小的模型，可以完全擬合正常數(shù)據(jù)，也可以完全擬合隨機數(shù)據(jù)，并且在完全擬合正常數(shù)據(jù)時自動具有泛化能力。

近日，F(xiàn)acebook人工智能研究院研究員，卡內(nèi)基梅隆大學(xué)機器人系博士田淵棟團隊發(fā)表新作，試圖對這類傳統(tǒng)機器學(xué)習(xí)難以解釋的問題做出統(tǒng)一的理論解釋。

在本文預(yù)印本發(fā)布后，田淵棟博士本人在知乎上題為《求道之人，不問寒暑（三）》的專欄文章中，對這篇論文的思想脈絡(luò)和實現(xiàn)過程做出了精彩的解讀，并和讀者進行了深入討論。

經(jīng)作者授權(quán)，新智元全文轉(zhuǎn)載如下：

神經(jīng)網(wǎng)絡(luò)有很多異于傳統(tǒng)機器學(xué)習(xí)系統(tǒng)（比如決策樹和SVM）的奇特性質(zhì)。比如說過參化（over-parameterization）時并不會產(chǎn)生過擬合，而只會讓測試集上效果變好（泛化能力變好），如果用正好的參數(shù)去擬合數(shù)據(jù)，泛化能力反而變差；比如說它有隱式正則化（implicit regularization）的能力，即同樣大小的模型，可以完全擬合正常數(shù)據(jù)，也可以完全擬合隨機數(shù)據(jù)，并且在完全擬合正常數(shù)據(jù)時自動具有泛化能力。

這些現(xiàn)象在傳統(tǒng)機器學(xué)習(xí)理論中不太能夠得到解釋，按照傳統(tǒng)理論，用大小恰好的模型去擬合數(shù)據(jù)集是最優(yōu)的，更小的模型，其復(fù)雜度不夠從而無法擬合數(shù)據(jù)，更大的模型則會過擬合數(shù)據(jù)，降低其泛化能力，要使大模型有優(yōu)秀的泛化能力，需要使用正則化方法。按照傳統(tǒng)理論，如果一個模型大到能夠擬合復(fù)雜度更高的隨機數(shù)據(jù)，那它為什么不在正常數(shù)據(jù)上過擬合？如果一個模型能在正常數(shù)據(jù)上具有泛化能力，那它不應(yīng)該能完全擬合隨機數(shù)據(jù)——在神經(jīng)網(wǎng)絡(luò)上同時看到這兩個現(xiàn)象，是非常奇怪的。

最近ICLR19的最優(yōu)論文“The Lottery Ticket Hypothesis”（網(wǎng)絡(luò)權(quán)重的彩票現(xiàn)象）又增加了傳統(tǒng)理論難以解釋的部分——對神經(jīng)網(wǎng)絡(luò)而言，使用同一架構(gòu)的網(wǎng)絡(luò)，從不同初始值開始優(yōu)化，最終的泛化效果可以完全不同。 而權(quán)重初始值在傳統(tǒng)的泛化理論中沒有什么地位。因為傳統(tǒng)上“優(yōu)化算法”和“泛化性能”這兩件事情是完全分開的。做泛化性能的文章往往假設(shè)背后的優(yōu)化算法能拿到最優(yōu)解，而不考慮優(yōu)化的細節(jié)；而做優(yōu)化算法的文章只關(guān)心在訓(xùn)練集上的權(quán)重到局部極小值的收斂速度，并不關(guān)心這個局部極小值在測試集上會有什么效果。如果模型空間有限或者模型的最優(yōu)參數(shù)可以由凸優(yōu)化得到，那這樣做理所當然；但對深度學(xué)習(xí)這樣的非凸問題而言，兩者是密不可分的。

這次我們做的這篇文章（arxiv.org/abs/1905.1340）試圖提出一個統(tǒng)一的理論來解釋這些現(xiàn)象，包括神經(jīng)網(wǎng)絡(luò)參數(shù)多時效果更好，有動態(tài)適應(yīng)不同數(shù)據(jù)集的能力，還能解釋從不同初始值出發(fā)，泛化能力完全不同的網(wǎng)絡(luò)彩票現(xiàn)象。我們提出的這個理論對這些問題都有比較好的直觀解釋，并且還有一個統(tǒng)一的數(shù)學(xué)框架來支撐。

其根本的方案，是將訓(xùn)練時的優(yōu)化過程和泛化能力結(jié)合起來，從而去分析傳統(tǒng)方法分析不了的情況。

首先我們采用了教師-學(xué)生網(wǎng)絡(luò)（student-teacher）的框架，假設(shè)數(shù)據(jù)集的標注由一個隱藏的（多層）教師網(wǎng)絡(luò)（teacher network）生成，然后依據(jù)教師網(wǎng)絡(luò)的輸入輸出，用梯度下降法去優(yōu)化學(xué)生網(wǎng)絡(luò)（student network）。學(xué)生和教師網(wǎng)絡(luò)的層數(shù)相同，但因為over-parameterization，學(xué)生的每一層可以有比教師更多的輸出結(jié)點（神經(jīng)元）。在這個框架下，我們證明了在一些情況下的權(quán)重復(fù)原定理，即學(xué)生網(wǎng)絡(luò)的權(quán)重可以收斂于教師網(wǎng)絡(luò)的對應(yīng)權(quán)重，以及如何靠攏，并且分析了在over-parameterization的情況下學(xué)生網(wǎng)絡(luò)可能的行為。由這些定理，可以給出一些神經(jīng)網(wǎng)絡(luò)奇特性質(zhì)的解釋。

對于結(jié)構(gòu)化的數(shù)據(jù)，其對應(yīng)生成數(shù)據(jù)的教師網(wǎng)絡(luò)較小，過參化得到的學(xué)生網(wǎng)絡(luò)中的結(jié)點會優(yōu)先朝著教師網(wǎng)絡(luò)的結(jié)點收斂過去，并且初始時和教師網(wǎng)絡(luò)結(jié)點重合較大的學(xué)生結(jié)點（也即是“幸運神經(jīng)元”，lucky weights/nodes）會收斂得更快，這樣就會產(chǎn)生“勝者全拿”的效應(yīng)，最后每個教師結(jié)點可能只有幾個幸運學(xué)生結(jié)點對應(yīng)。對于隨機數(shù)據(jù)，其對應(yīng)的教師網(wǎng)絡(luò)比較大，學(xué)生結(jié)點會各自分散向不同的教師結(jié)點收斂。這就是為什么同樣大小的模型可以同時擬合兩者。并且因為勝者全拿的效應(yīng)，學(xué)生傾向于用最少的結(jié)點去解釋教師，從而對結(jié)構(gòu)數(shù)據(jù)仍然具有泛化能力。

從這些解釋出發(fā)，大家可能猜到了，“The Lottery Ticket Hypothesis”就是因為lucky nodes/weights的緣故：保留lucky nodes而去除其它不必要的結(jié)點，不會讓泛化效果變差；但若是只保留lucky nodes，并且重新初始化它們的權(quán)重，那相當于中彩者重買彩票，再中彩的概率就很小了。而過參化的目的就是讓更多的人去買彩票，這樣總會有幾個人中彩，最終神經(jīng)網(wǎng)絡(luò)的效果，就由它們來保證了——那自然過參化程度越好，最后泛化效果越好。

另外，對過參化的初步分析表明，一方面lucky student weights可以收斂到對應(yīng)的teacher weights，而大部分無關(guān)的student weights/nodes可能會收斂到任意的區(qū)域去——但這并不要緊，因為這些結(jié)點的上層權(quán)重會收斂到零，以減少它們對網(wǎng)絡(luò)輸出的影響。這就附帶解釋了為何神經(jīng)網(wǎng)絡(luò)訓(xùn)練后的解往往具有平坦極小值（Flat Minima）性質(zhì)：對無關(guān)的學(xué)生結(jié)點而言，任意改變它們的權(quán)重，對網(wǎng)絡(luò)輸出都沒有太大影響。

具體細節(jié)是怎么做的呢？如果大家有興趣的話，可以繼續(xù)看下去。

雖然學(xué)生網(wǎng)絡(luò)接收到的信號只來自于教師的最終輸出層，對教師中間層如何輸出毫無知覺，但因為教師的前向傳遞和學(xué)生的反向傳遞算法，教師中間層和對應(yīng)的學(xué)生中間層，這兩者其實是有隱含聯(lián)系的。這篇文章首先找到了一個學(xué)生網(wǎng)絡(luò)-教師網(wǎng)絡(luò)的一個很有趣的對應(yīng)關(guān)系，即學(xué)生中間層收集到的梯度和對應(yīng)教師層輸出的關(guān)系，然后借著這個對應(yīng)關(guān)系，就可以找到學(xué)生網(wǎng)絡(luò)的權(quán)重和教師網(wǎng)絡(luò)的權(quán)重的對應(yīng)關(guān)系。在此之上，再加一些基本假設(shè)，就可以有相應(yīng)的權(quán)重復(fù)原定理。

這篇文章的基本假設(shè)很簡單，即教師同層兩個神經(jīng)元同時被激活的概率遠遠小于各自單獨被激活的概率。這個假設(shè)相對來說是比較實際的：如果每個神經(jīng)元只負責(zé)輸入信號的某個特性，那這些特性同時出現(xiàn)的概率相比單獨出現(xiàn)的概率要小很多。那么如何檢查這個假設(shè)呢？很簡單，按照這個假設(shè)，如果輸入是零均值分布，假設(shè)激活函數(shù)是ReLU，那神經(jīng)元的bias就應(yīng)當是負的，這樣它只對輸入的一小部分數(shù)據(jù)有正響應(yīng)。事實似乎確實如此，我們在文章中檢查了VGG11/16這兩個在ImageNet上的預(yù)訓(xùn)練網(wǎng)絡(luò)（都采用Conv-BN-ReLU架構(gòu)）的BatchNorm層的bias，發(fā)現(xiàn)絕大部分都是負的，也就是說在訓(xùn)練后網(wǎng)絡(luò)里的那些神經(jīng)元確實每個負責(zé)不一樣的特性。

與之前平均場（Mean Field）的一系列文章相比，這篇文章不需要假設(shè)權(quán)重滿足獨立同分布這個非常嚴格且只在初始化時才成立的條件，可以用于分析網(wǎng)絡(luò)優(yōu)化的整個過程，事實上，我一直覺得多層神經(jīng)網(wǎng)絡(luò)的優(yōu)化過程和平均場或者熱力學(xué)的箭頭是相反的：熱力學(xué)里系統(tǒng)從非平衡點到達平衡點的過程是抹消結(jié)構(gòu)的過程，而神經(jīng)網(wǎng)絡(luò)的優(yōu)化是從隨機初始的權(quán)重中創(chuàng)造并且強化結(jié)構(gòu)的過程。這篇文章曾經(jīng)打算投去年的ICML，原本的題目叫作“潘多拉的盒子”，也就是說，從隨機漲落的權(quán)重中，依著不同的數(shù)據(jù)集，可以收斂出任意的結(jié)構(gòu)出來，但因為OpenGo的項目一直拖，一直到一年半以后才有比較初步的結(jié)果。

另一個附帶的結(jié)果是，從這篇文章的分析里可以比較清楚地看到“上層調(diào)制”這種機制的作用。很多人對多層神經(jīng)網(wǎng)絡(luò)的疑問是：既然多層神經(jīng)網(wǎng)絡(luò)號稱是對輸入特征進行不斷組合以獲得效果更好的高層特征，那為什么不可以采用自底向上的機制，每次單獨訓(xùn)練一層，等訓(xùn)練完再建上一層？依據(jù)這篇文章，回答是如果沒有上層的監(jiān)督信號，那底層的特征組合數(shù)量會指數(shù)級增長，并且生成的特征大多是對上層任務(wù)無用的。唯有優(yōu)化時不停聽取來自上層的信號，有針對性地進行組合，才可以以極高的效率獲得特定任務(wù)的重要特征。而對權(quán)重的隨機初始化，是賦予它們在優(yōu)化時滑向任意組合的能力。

原文鏈接：

https://zhuanlan.zhihu.com/p/67782029

以下是新智元對論文內(nèi)容的簡編：

本文分析了深度ReLU網(wǎng)絡(luò)的訓(xùn)練動態(tài)過程及其對泛化能力的影響。使用教師和學(xué)生的設(shè)置，我們發(fā)現(xiàn)隱藏學(xué)生節(jié)點接收的梯度，和深度ReLU網(wǎng)絡(luò)的教師節(jié)點激活之間存在新的關(guān)系。通過這種關(guān)系，我們證明了兩點：（1）權(quán)重初始化為接近教師節(jié)點的學(xué)生節(jié)點，會以更快的速度向教師節(jié)點收斂，（2）在過參數(shù)化的環(huán)境中，當一小部分幸運節(jié)點收斂到教師節(jié)點時，其他節(jié)點的fan-out權(quán)重收斂為零。

在本文中，我們提出了多層ReLU網(wǎng)絡(luò)的理論框架。該框架提供了對深度學(xué)習(xí)中的多種令人費解的現(xiàn)象的觀察，如過度參數(shù)化，隱式正則化，彩票問題等。

圖1

圖2

基于這個框架，我們試圖用統(tǒng)一的觀點來解釋這些令人費解的經(jīng)驗現(xiàn)象。本文使用師生設(shè)置，其中給過度參數(shù)化的深度學(xué)生ReLU網(wǎng)絡(luò)的標簽，是具有相同深度和未知權(quán)重的固定教師ReLU網(wǎng)絡(luò)的輸出（圖1（a））。在這個角度來看，隱藏的學(xué)生節(jié)點將隨機初始化為不同的激活區(qū)域。（圖2（a））。

依托這個框架，本研究主要解決以下幾個問題：

擬合

結(jié)構(gòu)化和隨機數(shù)據(jù)。在梯度下降動態(tài)下，一些學(xué)生節(jié)點恰好與教師節(jié)點重疊，將進入教師節(jié)點并覆蓋教師節(jié)點。不管對于中間節(jié)點數(shù)量較少的小型教師網(wǎng)絡(luò)的結(jié)構(gòu)化數(shù)據(jù)，或者對具有中間節(jié)點數(shù)量較多的大型教師網(wǎng)絡(luò)的隨機數(shù)據(jù)，情況都是如此。這也解釋了為什么同一個網(wǎng)絡(luò)可以同時適應(yīng)結(jié)構(gòu)化和隨機數(shù)據(jù)（圖2（a-b））。

過參數(shù)化

在過度參數(shù)化中，許多學(xué)生節(jié)點在每一層進行隨機初始化。任何教師節(jié)點都更可能與某些學(xué)生節(jié)點有很大部分的重疊，這會導(dǎo)致快速收斂（圖2（a）和（c），）。這也解釋了為什么網(wǎng)絡(luò)容量恰好適合數(shù)據(jù)的訓(xùn)練模型的性能表現(xiàn)會更差。

平滑極小值問題

深層網(wǎng)絡(luò)經(jīng)常會收斂到“平滑極小值”。此外，雖然存在爭議，平滑極小值似乎意味著良好的泛化能力，而尖銳的極小值往往導(dǎo)致不良的泛化能力。

而在我們的理論中，在與結(jié)構(gòu)化數(shù)據(jù)進行擬合時，只有少數(shù)幸運的學(xué)生節(jié)點收斂至教師節(jié)點，而對于其他節(jié)點，他們的fan-out權(quán)重縮小為零，使得它們與最終結(jié)果無關(guān)，產(chǎn)生平滑極小值，學(xué)生節(jié)點沿大多數(shù)維度上（“不幸節(jié)點”）的運動導(dǎo)致輸出變化最小。另一方面，尖銳的極小值與噪聲數(shù)據(jù)有關(guān)（圖2（d）），更多的學(xué)生節(jié)點能夠與教師節(jié)點相匹配。

隱式正則化

另一方面，捕捉行為強制執(zhí)行贏者通吃規(guī)則：在優(yōu)化之后，教師節(jié)點會被少數(shù)學(xué)生節(jié)點完全覆蓋（即解釋），而不是由于過度參數(shù)化而在學(xué)生節(jié)點之間分裂。這解釋了為什么同一網(wǎng)絡(luò)一旦經(jīng)過結(jié)構(gòu)化數(shù)據(jù)訓(xùn)練，就可以推廣到測試集。

彩票現(xiàn)象

圖3

如果我們將“顯著權(quán)重”（大幅度訓(xùn)練的權(quán)重）重置為優(yōu)化前的值，但在初始化之后，對其他權(quán)重進行壓縮（比例通常大于總權(quán)重的90％）并重新訓(xùn)練模型，結(jié)果性能相當或更好。如果我們重新初始化顯著權(quán)重，測試性能會更差。在我們的理論中，顯著權(quán)重是一些幸運區(qū)域（圖3中的Ej3和Ej4），它們在初始化后恰好與一些教師節(jié)點重疊并在優(yōu)化中收斂教師節(jié)點。

因此，如果我們重置顯著權(quán)重并修剪其他權(quán)重，它們?nèi)匀豢梢允諗康酵唤M教師節(jié)點上，并且由于與其他不相關(guān)節(jié)點的干擾較少，可能實現(xiàn)更好的性能。但是，如果我們重新初始化，最終這些節(jié)點可能會落入那些不能覆蓋教師節(jié)點的不利區(qū)域，從而導(dǎo)致性能不佳（圖3（c）），就像參數(shù)化不足時的表現(xiàn)一樣。

實驗設(shè)置和方法

我們對全連接（FC）網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)都進行了評估。對于全連接網(wǎng)絡(luò)，使用大小為50-75-100-125的ReLU教師網(wǎng)絡(luò)。對于卷積網(wǎng)絡(luò)，使用大小為64-64-64-64的教師網(wǎng)絡(luò)。學(xué)生網(wǎng)絡(luò)的深度與教師網(wǎng)絡(luò)相同，但每層的節(jié)點/通道是前者的10倍，因此它們是過度參數(shù)化的。添加BatchNorm時，會在ReLU之后添加。

本文采用兩種量度來衡量對一些幸運的學(xué)生節(jié)點收斂至教師節(jié)點情況的預(yù)測：

圖4：歸一化相關(guān)度ρˉ和平均排名rˉ在GAUS訓(xùn)練集上隨epoch的變化

歸一化相關(guān)度ρˉ

我們計算出在驗證集上評估的教師和學(xué)生激活之間的歸一化相關(guān)度（或余弦相似度）ρ。在每一層中，我們對教師節(jié)點上的最佳相關(guān)度進行平均得到ρˉ，ρˉ≈1表示大多數(shù)教師節(jié)點至少由一名學(xué)生覆蓋。

平均排名rˉ

訓(xùn)練后，每個教師節(jié)點j?都具備了相關(guān)度最高的學(xué)生節(jié)點j。這時對j的相關(guān)度等級進行檢測，并歸一化為[0,1]（0 表示排名第一），回到初始化和不同的epoch階段，并在教師節(jié)點上進行平均化，產(chǎn)生平均排名rˉ。rˉ值較小意味著最初與教師節(jié)點保持高相關(guān)度的學(xué)生節(jié)點一直將這一領(lǐng)先保持至訓(xùn)練結(jié)束。

實驗結(jié)果

圖5：將圖4的實驗在CIFAR-10數(shù)據(jù)集上進行的結(jié)果

圖6：在GAUS數(shù)據(jù)集上的Ablation學(xué)習(xí)結(jié)果

關(guān)于教師網(wǎng)絡(luò)的大?。簩τ谛⌒徒處熅W(wǎng)絡(luò)（10-15-20-25，全連接網(wǎng)絡(luò)），收斂速度要快得多，不使用BatchNorm的訓(xùn)練比使用BatchNorm訓(xùn)練要快。 對于大型教師網(wǎng)絡(luò)，BatchNorm肯定會提高收斂速度和ρˉ的增長。

關(guān)于有限與無限數(shù)據(jù)集：我們還在卷積神經(jīng)網(wǎng)絡(luò)的案例中使用預(yù)生成的GAUS有限數(shù)據(jù)集重復(fù)實驗，并發(fā)現(xiàn)節(jié)點相似性的收斂在幾次迭代后終止。這是因為一些節(jié)點在其激活區(qū)域中接收的數(shù)據(jù)點非常少，這對于無限數(shù)據(jù)集來說不是問題。我們懷疑這可能是CIFAR-10作為有限數(shù)據(jù)集沒有表現(xiàn)出GAUS類似行為的原因。