新興領(lǐng)域深度學(xué)習(xí)引發(fā)的一些沖突

　　我感到非常困惑，我?guī)缀趺刻於荚诟淖冏约旱挠^點(diǎn)，我似乎對(duì)這個(gè)難題無法形成一種堅(jiān)實(shí)固定的看法。我不是在討論目前的世界局勢(shì)，或現(xiàn)任美國(guó)總統(tǒng)，我是在討論對(duì)人類而言更加重要的一件事。更具體地來說，我在討論的是研究人員與工程師們的存在和工作，我說的是深度學(xué)習(xí)。
　　你也許會(huì)認(rèn)為我的聲明有些夸張，但深度學(xué)習(xí)的出現(xiàn)確實(shí)引出了我們必須解決的幾個(gè)關(guān)鍵問題。在本文中，我希望揭露這一新興領(lǐng)域引發(fā)的沖突，這與圖像處理領(lǐng)域的研究者們有關(guān)。
　　首先讓我們簡(jiǎn)要回顧一下深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的概念。神經(jīng)網(wǎng)絡(luò)已經(jīng)存在了數(shù)十年，它提出了一種通用的學(xué)習(xí)機(jī)制，原則上可用于處理任何可學(xué)習(xí)的數(shù)據(jù)集。在其前饋架構(gòu)中，感知層（也就是神經(jīng)元）首先對(duì)輸入內(nèi)容進(jìn)行加權(quán)平均，隨后進(jìn)行非線性處理，如感知器（sigmoid）或 rectified-linear 曲線。人們可以訓(xùn)練這種簡(jiǎn)單的系統(tǒng)通過多種監(jiān)督回歸和分類方法從給定數(shù)據(jù)中獲得需要的輸出。
　　這看起來很棒，但不幸的是這個(gè)概念在 20 世紀(jì) 80 代 90 年代并沒有流行起來——在那時(shí)神經(jīng)網(wǎng)絡(luò)無法給出足夠具有競(jìng)爭(zhēng)力的表現(xiàn)。此外，由于有著堅(jiān)實(shí)理論基礎(chǔ)以及凸優(yōu)化方式的支持向量機(jī)的出現(xiàn)，神經(jīng)網(wǎng)絡(luò)看起來完全沒有翻身機(jī)會(huì)了。最終，神經(jīng)網(wǎng)絡(luò)進(jìn)入了漫長(zhǎng)的低潮期，只有少部分研究者還在堅(jiān)持這方面的研究：Yann LeCun（紐約大學(xué)/ Facebook）、Geoffrey Hinton（多倫多大學(xué)/谷歌）、Yoshua Bengio（蒙特利爾大學(xué)）和Jürgen Schmidhuber（瑞士人工智能實(shí)驗(yàn)室/盧加諾大學(xué)）都在這一行列中。他們的努力產(chǎn)生了一系列重要的成果，如卷積和長(zhǎng)短期記憶網(wǎng)絡(luò)，但一開始這些研究的影響有限。隨后，神經(jīng)網(wǎng)絡(luò)突然也迎來了爆發(fā)期。
　　在 21 世紀(jì)初，一系列論文提到了這種架構(gòu)的成功應(yīng)用，包括幾乎所有任務(wù)的最佳運(yùn)行結(jié)果。而這些應(yīng)用不約而同地使用了同一種方法：多層神經(jīng)網(wǎng)絡(luò)，這就是「深度學(xué)習(xí)」，通過大量數(shù)據(jù)用于訓(xùn)練， 大量計(jì)算機(jī)集群和顯卡計(jì)算資源的使用，以及采用有效初始化和逐步隨機(jī)梯度學(xué)習(xí)的優(yōu)化算法。不幸的是，所有這些偉大的成就都是建立在無法理解的基礎(chǔ)范式之上的。此外，從理論的角度看，深度學(xué)習(xí)在學(xué)習(xí)過程中所采用的最優(yōu)化是非常不凸和難解的。
　　深度學(xué)習(xí)應(yīng)用的大發(fā)展始于手寫字符識(shí)別（見下圖），隨后緩慢地進(jìn)入了更具挑戰(zhàn)性的視覺、語音識(shí)別和自然語言處理任務(wù)中，并從此開始在任何任務(wù)里以有監(jiān)督學(xué)習(xí)的形式出現(xiàn)。谷歌、Facebook 和微軟這樣的大公司很快意識(shí)到這一技術(shù)的潛力，它們投入了大量人力和資源來掌握這些工具，并將其投入產(chǎn)品中。而在學(xué)術(shù)方面，信號(hào)處理、圖像處理和計(jì)算機(jī)視覺的各類大會(huì)已經(jīng)被深度學(xué)習(xí)占領(lǐng)，它日益增長(zhǎng)的主導(dǎo)地位逐漸讓人工智能變得興盛起來。
　　
　　深度學(xué)習(xí)仍在隨著時(shí)間發(fā)展。為了簡(jiǎn)潔起見，我們以經(jīng)典的圖片去噪點(diǎn)任務(wù)為例（如下圖）。這些年來，研究者們發(fā)表了數(shù)千份關(guān)于此任務(wù)的論文。研究人員利用偏微分方程的工具，如各向異性擴(kuò)散、全變差、能量最小化、圖像幾何解釋方法作為流型、貝特拉米流（Beltrami flow）等等，開發(fā)出了美麗而深刻的數(shù)學(xué)思想。諧波分析和近似理論同樣應(yīng)用于噪點(diǎn)任務(wù)，引出了小波理論和稀疏表示的重大突破。其他重要的思想包括低階近似、非局部均值、貝葉斯估計(jì)和魯棒統(tǒng)計(jì)。因此可以認(rèn)為，我們?cè)谶^去三十年中獲得了豐富的圖像處理知識(shí)，而這影響了許多圖像處理任務(wù)，并穩(wěn)固了其后的數(shù)學(xué)基礎(chǔ)。