未來或許深度學(xué)習(xí)江湖統(tǒng)一真的不是夢

你能想象某一天打開深度學(xué)習(xí)的詞條，發(fā)現(xiàn)：

深度學(xué)習(xí)的江湖已經(jīng)能夠被統(tǒng)一了嗎？

幾何學(xué)上的對稱性可以玩轉(zhuǎn)整個深度學(xué)習(xí)嗎？

通過對稱性和的變換，可以提煉出覆蓋CNNs, GNNs, LSTMs, Transformers, DeepSets, mesh CNN等一切你所需構(gòu)建的架構(gòu)嗎？

不要驚訝，不要懷疑。

一百多年前埃爾蘭根大學(xué)一位23歲的小伙就給出了答案。

他僅憑一己之力開創(chuàng)的“埃爾蘭根計劃”，從而在幾何學(xué)上做出了一項開創(chuàng)性的工作，改變了數(shù)學(xué)史。

幾何學(xué)對稱問題的源起

在1872年10月，德國的埃爾蘭根大學(xué)任命了一位新的年輕教授。按照慣例，他被要求提供一個就職研究計劃，他以長而乏味的標(biāo)題Vergleichende Betrachtungen über neuere geometrische Forschungen（“對幾何學(xué)最新研究的比較評論”）進(jìn)行了發(fā)表。

這位就是菲利克斯·克萊因（Felix Klein），當(dāng)時他只有23歲，他的開創(chuàng)性工作被稱為“埃爾蘭根計劃”，在數(shù)學(xué)史上有濃墨重彩的一筆。

十九世紀(jì)簡直就是幾何學(xué)的大爆發(fā)時代。歐幾里得之后的近兩千年來，龐塞萊特（Poncelet）構(gòu)造了投影幾何，高斯（Gauss）、波利亞伊（Galys）和洛巴切夫斯基（Lobachevsky）構(gòu)造了雙曲線幾何，而黎曼（Riemann）構(gòu)造了橢圓幾何。

克萊因的Erlangen program（埃爾蘭根綱領(lǐng)）的突破性體現(xiàn)在研究幾何學(xué)時運用了結(jié)構(gòu)的對稱性。克萊因采用群論的形式來定義此類轉(zhuǎn)換，并采用群及其子群的層次結(jié)構(gòu)來分類由此產(chǎn)生的不同幾何形狀。

因此，剛性運動會產(chǎn)生傳統(tǒng)的歐幾里得幾何，而仿射或投影變換分別產(chǎn)生仿射和投影幾何。

Erlangen program不僅對幾何和數(shù)學(xué)影響非常深遠(yuǎn)，同時也影響了物理領(lǐng)域，對稱性可以從第一原理推導(dǎo)守恒律，即Noether定理。

經(jīng)過幾十年的發(fā)展，直到楊振寧和米爾斯在1954年提出的規(guī)范不變性的概念的廣義形式證明了這一基本原理，成功地統(tǒng)一了除重力以外的所有自然基本力。

這種標(biāo)準(zhǔn)模型已經(jīng)描述了我們目前所知道的所有物理學(xué)知識。

所以啊，還是諾貝爾獎得主物理學(xué)家菲利普·安德森（Philip Anderson）的話說得好：

“it is only slightly overstating the case to say that physics is the study of symmetry.”

“說物理學(xué)本質(zhì)上就是研究對稱性的，這只是有點夸大其詞了?！?/p>

目前深度學(xué)習(xí)領(lǐng)的現(xiàn)狀和19世紀(jì)的幾何情況驚人的類似：

一方面，在過去的十年中，深度學(xué)習(xí)帶來了數(shù)據(jù)科學(xué)的一場革命，并完成了許多以前被認(rèn)為無法實現(xiàn)的任務(wù)：無論是計算機(jī)視覺，語音識別，自然語言翻譯，還是下圍棋。

另一方面，現(xiàn)在存在一個針對不同類型數(shù)據(jù)的不同神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的“動物園”，但統(tǒng)一的原理很少。這樣很難理解不同方法之間的關(guān)系，也導(dǎo)致相同概念的多次發(fā)明和資源的浪費。

在機(jī)器學(xué)習(xí)中，對稱性的重要性實際上早已得到認(rèn)可。

尤其是在模式識別和計算機(jī)視覺的應(yīng)用中，有關(guān)等變特征檢測的早期工作可以追溯到Shunichi Amari和Reiner Lenz。

在神經(jīng)網(wǎng)絡(luò)文獻(xiàn)中，Marvin Minsky和Seymour Papert提出的感知器的群不變性定理對（單層）感知器學(xué)習(xí)不變性的能力提出了基本限制。

幾何深度學(xué)習(xí)

具體怎么個“統(tǒng)一”，請看采用的“幾何深度學(xué)習(xí)”：

幾何深度學(xué)習(xí)是Michael M. Bronstein，Joan Bruna，Taco Cohen，Petar Veli?kovi? 等人中引入的一個籠統(tǒng)術(shù)語，指的是類似于Klein的Erlangen program，在幾何機(jī)器學(xué)習(xí)上統(tǒng)一的嘗試的總稱。

它有兩個目的：首先，提供一個通用的數(shù)學(xué)框架以推導(dǎo)最成功的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)；其次，給出一個建設(shè)性的過程，并以有原則的方式構(gòu)建未來的體系結(jié)構(gòu)。

在最簡單的情況下，有監(jiān)督的機(jī)器學(xué)習(xí)本質(zhì)上是一個函數(shù)估計問題：給定訓(xùn)練集上某些未知函數(shù)的輸出（例如標(biāo)記的狗和貓圖像），人們試圖從某個假設(shè)函數(shù)類別中找到一個適合訓(xùn)練的函數(shù)f ，并可以預(yù)測以前看不見的輸入的輸出。

在過去的十年中，大型的、高質(zhì)量的數(shù)據(jù)集（如ImageNet）的可用性與不斷增長的計算資源（GPU）吻合，從而可以設(shè)計功能豐富的類，這些類可以內(nèi)插此類大型數(shù)據(jù)集。

神經(jīng)網(wǎng)絡(luò)似乎是表征功能的合適選擇，因為即使是最簡單的體系結(jié)構(gòu)（如Perceptron），僅使用兩層時也可以生成密集類的功能，從而可以將任何連續(xù)函數(shù)近似為任何所需的精度，這種特性稱為“通用逼近”（Universal Approximation）。

低維問題的設(shè)置是逼近理論中的經(jīng)典問題，該問題已得到廣泛研究，并通過精確的數(shù)學(xué)方法控制估算誤差。但是，在高維度上情況卻完全不同：人們可以很快地看到，即使近似一類簡單的Lipschitz連續(xù)函數(shù)，樣本數(shù)量也隨維度呈指數(shù)增長，這種現(xiàn)象俗稱“維數(shù)詛咒”。

由于現(xiàn)代機(jī)器學(xué)習(xí)方法需要處理成千上萬甚至數(shù)百萬個維度的數(shù)據(jù)，因此維度的詛咒總是在幕后出現(xiàn)，使得我們無法通過樸素的方式進(jìn)行學(xué)習(xí)。

△維度詛咒的圖示：為了近似由高斯核構(gòu)成的Lipschitz連續(xù)函數(shù)，該函數(shù)位于誤差為ε的d維單位超立方體（藍(lán)色）的象限中，需要

在計算機(jī)視覺問題（例如圖像分類）中可能最好地看到了這一點。即使是很小的圖像也往往具有很高的尺寸，但是從直觀上講，當(dāng)人們將圖像解析為向量以將其饋反饋送到感知器時，很多圖像的結(jié)構(gòu)會被破壞并丟棄。如果現(xiàn)在僅將圖像移位一個像素，則向量化的輸入將有很大的不同，并且神經(jīng)網(wǎng)絡(luò)將需要顯示很多示例，因此必須以相同的方式對移位的輸入進(jìn)行分類。

原理簡介

通過對稱性，不變性和群的視角，包含兩大原理：

“先驗對稱性”

在許多高維ML問題的情況下，我們可以采用一個附加結(jié)構(gòu)信息，它來自輸入信號的幾何形狀。我們稱這種結(jié)構(gòu)為“先驗對稱性”，它是一種普遍有效的原理，它使我們對由維數(shù)引起的問題感到樂觀。在我們的圖像分類示例中，輸入圖像x不僅是d維向量，而且是在某個域Ω上定義的信號，在這種情況下，該信號是二維網(wǎng)格。

域的結(jié)構(gòu)由對稱群變換????（在我們的示例中為一組二位變換-作用于域上的點。在信號????（Ω）的空間中，底層域上的群動作（群元素，????∈????）通過所謂的群表征ρ（????）來表示，在我們的例子中，上述操作是平移操作，即一個作用于d維向量的d×d矩陣。

輸入信號底層的域的幾何結(jié)構(gòu)為我們試圖學(xué)習(xí)的函數(shù) f 的類別施加了架構(gòu)信息。一個不變函數(shù)可以不受群的操作作用的影響，即對于任何????∈????和x，f（ρ（????）x）= f（x）。另一方面，函數(shù)可能具有相同的輸入和輸出結(jié)構(gòu)，并且以與輸入相同的方式進(jìn)行轉(zhuǎn)換，這種函數(shù)稱為等變函數(shù)，即滿足f（ρ（????）x）= ρ（???? ）f（x）。

在計算機(jī)視覺領(lǐng)域中，圖像分類是一種典型的人們希望得到不變函數(shù)的任務(wù)（例如，無論貓位于圖像的什么位置，我們都希望將該圖分類為貓）；而圖像分割任務(wù)的輸出是一個像素級別的標(biāo)簽掩模，這是一種等變函數(shù)（分割掩模需要遵循輸入圖像的變化）。

“尺度分離”

另一個強大的幾何先驗是“尺度分離”。在某些情況下，我們可以通過“同化”附近的點并產(chǎn)生與粗粒度算子P相關(guān)的信號空間的層次結(jié)構(gòu)，來構(gòu)建域的多尺度層次結(jié)構(gòu)（下圖中的Ω和Ω’）。

在這些粗尺度上，我們可以應(yīng)用粗尺度函數(shù)。我們分析出，如果一個函數(shù) f 可以被近似為粗粒度算子 P 和粗尺度函數(shù)的組合 f≈f’°P，則 f 是局部穩(wěn)定的。盡管 f 可能取決于長距離依賴，如果 f 是局部穩(wěn)定的，它們可以被分解為局部交互，然后向著粗尺度傳播。

這兩個原理為他們提供了一個非常通用的深度學(xué)習(xí)藍(lán)圖，可以在大多數(shù)用于表示學(xué)習(xí)的流行深度神經(jīng)體系結(jié)構(gòu)中得到認(rèn)可：一個典型設(shè)計由一系列等變層（例如，CNN中的卷積層）組成，可能遵循通過不變的全局池層將所有內(nèi)容聚合到一個輸出中。在某些情況下，也可以通過一些采用局部池化形式的粗化過程（coarsening procedure）來創(chuàng)建域的層次結(jié)構(gòu)。

這是一種非常通用的設(shè)計，可以應(yīng)用于不同類型的幾何結(jié)構(gòu)，包括幾何深度學(xué)習(xí)的“ 5G”（Grid,Groups,Graphs,Geodesics & Gauges）：網(wǎng)格（具有全局轉(zhuǎn)換群的齊次空間），圖形（以及特殊情況下的集合）和流形，幾何先驗通過全局等距不變性表示（可以使用測地學(xué)表示） 和局部規(guī)范的對稱性。

這些原則的實現(xiàn)導(dǎo)致了深度學(xué)習(xí)中當(dāng)今存在的一些最流行的體系結(jié)構(gòu)：從平移對稱導(dǎo)出的卷積網(wǎng)絡(luò)（CNN）、圖神經(jīng)網(wǎng)絡(luò)、DeepSets和Transformers，實現(xiàn)了置換不變性， 時間扭曲不變導(dǎo)出的門控RNN（例如LSTM網(wǎng)絡(luò)），以及由規(guī)范對稱性導(dǎo)出的計算機(jī)圖形和視覺中使用的 Intrinsic Mesh CNN。

下一步他們還打算在“ 5G”上繼續(xù)“幾何深度學(xué)習(xí)”藍(lán)圖。

貌似高深的理論，用到了群論、微分幾何和各類機(jī)器學(xué)習(xí)高級算法，期待有更多研究人員參與并開展進(jìn)一步深入研究。

未來，也許整個深度學(xué)習(xí)“動物園”的在原理上的統(tǒng)一真的不是夢。

責(zé)任編輯：haq