AI系統(tǒng)的建立必須估計算法的泛化能力

在新數(shù)據(jù)中，深度學習系統(tǒng)執(zhí)行（泛化）能力如何？其性能如何？要想建立AI系統(tǒng)的信賴度和可靠性，必須估計算法的泛化能力。我們能信任AI嗎？AI是否會像人類酗酒一樣毫無顧忌？一但AI啟動，是否會毀滅世界？AI系統(tǒng)必須安全可靠，一旦啟動AI，算法才能按預期執(zhí)行。確保AI算法性能良好是提高其采用度和信任度的必由之路 [5]。

此外，決策人在歐盟委員會發(fā)布的《可信賴AI的倫理準則》（《ETHICS GUIDELINES FOR TRUSTWORTHY AI》）中明確規(guī)定要了解算法的泛化能力。

然而，模型泛化性（泛化理論）研究領域依然投資不足。目前唯一可繼續(xù)且可行的標準方法是進行數(shù)據(jù)拆分、驗證集和測試集。然而，盡管在無法量化算法的泛化能力時，在測試（留出）集上進行估計不失明智；但這一過程非常棘手，可能發(fā)生數(shù)據(jù)泄漏的風險，需要另外進行獨立性假設（獨立性驗證的參數(shù)單獨從留出集中選出），但會與p-hacking 等實踐所混淆[20]。

數(shù)據(jù)是由潛在的未知分布D生成的，這是上述工作的關鍵性假設。統(tǒng)計學習并非直接訪問分布，而是假定給出了訓練樣本S，其中S的每個元素均由D生成，并呈獨立同分布。學習算法從函數(shù)空間（假設類）H中選擇函數(shù)（假設h），其中H = {f（x，α）}，α是參數(shù)向量。

于是，假設h的泛化誤差可定義為：從分布D中選取的樣本x的預期誤差與經(jīng)驗損失（給定樣本S上的損失）之間的差值 [4,11]。我們的任務是給泛化錯誤設定上限，看究竟會出現(xiàn)多么嚴重的泛化錯誤。

傳統(tǒng)泛化理論中，根據(jù)假設類H的復雜度（容量）建立泛化能力模型。簡單來說，類的“容量”取決于可以在這個類上擬合良好的數(shù)據(jù)集的數(shù)量。類的容量越大，這個類就越靈活，但也越容易過度擬合。[..]容量控制使用的是更加靈活的模型，以獲得良好擬合，那些非常靈活但過度擬合的模型則棄之不用。如何界定假設類H的復雜性？傳統(tǒng)泛化理論概念包括VC維、Rademacher復雜度和PAC-Bayes邊界。

VC（Vapnik-Chervonenkis）維是一種通過評估函數(shù)彎曲程度來衡量函數(shù)類的復雜度的一種方式，H類的VC維即可以被H打散的最大樣本點數(shù)目。如果一組樣本點都能被函數(shù)打散，無論為一組內所有樣本點分配什么樣的二進制標簽，該類樣本都可以將其完美分離。

Zhang等人的實驗[7]表明，在現(xiàn)實數(shù)據(jù)中訓練的深網(wǎng)真實的“參數(shù)復雜度”目前無人知曉，20多年前巴特利特（Bartlett）的VC計算（#節(jié)點數(shù)*＃層）只是一個粗略設定的上限[ 2]。死亡神經(jīng)元的實驗數(shù)據(jù)表明，當網(wǎng)絡足夠大，并使用非線性激活函數(shù)ReLU時，許多權重為零，這一點可能不足為奇。

PAC（可能近似正確）可學習性的定義很簡單，即存在一種算法，對于每個分布D和，δ> 0，找到具有概率1-δ的“-最優(yōu)”假設。每個分布都有一個算法的呼聲十分強烈，即Rademacher復雜度反而針對特定但未知的分布D而定義。簡而言之，Rademacher復雜度衡量假設類H的能力，以適應隨機±1二進制標簽。與VC維相比，Rademacher復雜度取決于分布，可用于任何類別的實值函數(shù)（不僅是離散值函數(shù)）。

正如Bartlett的VC維計算，Rademacher復雜度缺乏有效的深度學習泛化界限。事實上，實驗測試表明，許多神經(jīng)網(wǎng)絡用任意標簽完美擬合訓練集，于是，我們也希望相應模型H的Rademacher復雜度臻于完美。當然，這只是Rademacher復雜度的一個微不足道的上限，在現(xiàn)實環(huán)境中得不到有用的泛化界限[7]。

換句話說，理論研究尚未取得有效成果，只能從“煉金術”或一些最佳實踐中尋找解決辦法。有實踐表明：對Rademacher這種復雜學習架構來說，能夠真正降低其復雜度的唯一方法是使用訓練分類器，并通過留出集檢測缺少的泛化。世界上每一位從業(yè)者其實無意中已經(jīng)做到了這一點。張等人的研究（[7]）得出的結論目前在該領域無人超越，獲得了認同。

與之相關的另一個容量測量是網(wǎng)絡的利普希茨常數(shù)。利普希茨常數(shù)是權值矩陣的譜范數(shù)的乘積。譜范數(shù)是矩陣的最大奇異值：矩陣可以拉伸一個向量[9]。利普希茨常數(shù)與超額風險相關（測試誤差減去訓練誤差）。然而，盡管風險過高，但這一度量隨著時間的推移而增長[4];其增長可以通過利普希茨常數(shù)的間距抵消掉，重復抵消可使增長歸一化（見圖4）

泛化的基本定理表明，如果訓練集具有m個樣本，那么定義為訓練數(shù)據(jù)和測試數(shù)據(jù)誤差間差異的泛化誤差是sqrt（N'/ m）的量級，其中N'是網(wǎng)絡有效參數(shù)的數(shù)量 [或復雜度度量] [23,24]。采用具有N個可訓練參數(shù)的矩陣C，并嘗試將其壓縮為另一個具有較少參數(shù)（N''）的C'和與C大致相同的訓練誤差。根據(jù)泛化基本定理，只要訓練樣本的數(shù)量超過N''，那么C'（壓縮網(wǎng)！）就能進行良好的泛化[23,24]。

除了“彩票票據(jù)方法”之外，還有很多其他有趣的網(wǎng)絡壓縮方法。其中一個非常有吸引力的想法受到了TensorNetworks的啟發(fā)：“Tensor Train”的概念顯示了DNN全連接層的權值矩陣，顯示出已經(jīng)很有希望的實證結果[17]。盡管這種壓縮通常需要重新訓練壓縮網(wǎng)絡，但[25]提供了對網(wǎng)絡壓縮方法的調查，這是基于[23,24]提供的基本定理和壓縮的泛化理論的方法所沒有考慮到的地方。