深度學(xué)習(xí)之父 Yoshua Bengio , Yann LeCun 以及 Geoffrey Hinton 獲得了2018年的圖靈獎(jiǎng)

2019年3月27日 ——ACM 宣布，深度學(xué)習(xí)之父Yoshua Bengio,Yann LeCun以及Geoffrey Hinton獲得了2018年的圖靈獎(jiǎng)，被稱為“計(jì)算機(jī)領(lǐng)域的諾貝爾獎(jiǎng)”。

左：Geoffrey Hinton

中：Yann LeCun

右：Yoshua Bengio

今天，深度學(xué)習(xí)已經(jīng)成為了人工智能技術(shù)領(lǐng)域最重要的技術(shù)之一。三位達(dá)人三位大神獲得這個(gè)獎(jiǎng)?wù)媸菦](méi)有什么懸念。

三位科學(xué)家發(fā)明了深度學(xué)習(xí)的基本概念，在實(shí)驗(yàn)中發(fā)現(xiàn)了驚人的結(jié)果，也在工程領(lǐng)域做出了重要突破，幫助深度神經(jīng)網(wǎng)絡(luò)獲得實(shí)際應(yīng)用。

在 ACM 的公告中，Hinton最重要的貢獻(xiàn)來(lái)自他1986年發(fā)明反向傳播的論文 “Learning Internal Representations by Error Propagation”；1983年發(fā)明的玻爾茲曼機(jī)（Boltzmann Machines），以及2012年對(duì)卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)。

Hinton 和他的學(xué)生 Alex Krizhevsky 以及 Ilya Sutskever 通過(guò) Rectified Linear Neurons 和 Dropout Regularization 改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)，并在著名的 ImageNet 評(píng)測(cè)中取得了很好的成績(jī)，在計(jì)算機(jī)視覺(jué)領(lǐng)域掀起一場(chǎng)革命。

Bengio的貢獻(xiàn)主要在1990年代發(fā)明的Probabilistic models of sequences。他把神經(jīng)網(wǎng)絡(luò)和概率模型（例如隱馬爾可夫模型）結(jié)合在一起，并和 AT&T 公司合作，用新技術(shù)識(shí)別手寫(xiě)的支票?，F(xiàn)代深度學(xué)習(xí)技術(shù)中的語(yǔ)音識(shí)別也是這些概念的擴(kuò)展。

此外 Bengio 還于2000年還發(fā)表了劃時(shí)代的論文“A Neural Probabilistic Language Model”，使用高維詞向量來(lái)表征自然語(yǔ)言。他的團(tuán)隊(duì)還引入了注意力機(jī)制，讓機(jī)器翻譯獲得突破，也成為了讓深度學(xué)習(xí)處理序列的重要技術(shù)。

Yann LeCun的代表貢獻(xiàn)之一是卷積神經(jīng)網(wǎng)絡(luò)。1980年代，LeCun 發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)，現(xiàn)在已經(jīng)成為了機(jī)器學(xué)習(xí)領(lǐng)域的基礎(chǔ)技術(shù)之一，也讓深度學(xué)習(xí)效率更高。1980年代末期，Yan LeCun 在多倫多大學(xué)和貝爾實(shí)驗(yàn)室工作期間，首次將卷積神經(jīng)網(wǎng)絡(luò)用于手寫(xiě)數(shù)字識(shí)別。

今天，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了業(yè)界標(biāo)準(zhǔn)技術(shù)，廣泛用于計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、語(yǔ)音合成、圖片合成，以及自然語(yǔ)言處理等學(xué)術(shù)方向，以及自動(dòng)駕駛、醫(yī)學(xué)圖片識(shí)別、語(yǔ)音助手、信息過(guò)濾等工業(yè)應(yīng)用方向。

LeCun 的第二個(gè)重要貢獻(xiàn)是改進(jìn)了反向傳播算法。他提出了一個(gè)早期的反向傳播算法 backprop，也根據(jù)變分原理給出了一個(gè)簡(jiǎn)潔的推導(dǎo)。他的工作讓反向傳播算法更快，比如描述了兩個(gè)簡(jiǎn)單的方法可以減少學(xué)習(xí)時(shí)間。

LeCun 第三個(gè)貢獻(xiàn)是拓展了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍。他把神經(jīng)網(wǎng)絡(luò)變成了一個(gè)可以完成大量不同任務(wù)的計(jì)算模型。他早期引進(jìn)的一些工作現(xiàn)在已經(jīng)成為了人工智能的基礎(chǔ)概念。

例如，在圖片識(shí)別領(lǐng)域，他研究了如何讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)層次特征，這一方法現(xiàn)在已經(jīng)用于很多日常的識(shí)別任務(wù)。他們還提出了可以操作結(jié)構(gòu)數(shù)據(jù)（例如圖數(shù)據(jù)）的深度學(xué)習(xí)架構(gòu)。

Geoffrey Hinton

反向傳播：在 1986 年與 David Rumelhart 和 Ronald Williams 共同撰寫(xiě)的 “Learning Internal Representations by Error Propagation” 一文中，Hinton 證明了反向傳播算法允許神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)自己的數(shù)據(jù)內(nèi)部表示，這使得使用神經(jīng)網(wǎng)絡(luò)成為可能網(wǎng)絡(luò)解決以前被認(rèn)為超出其范圍的問(wèn)題。如今，反向傳播算法是大多數(shù)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)。

玻爾茲曼機(jī)（Boltzmann Machines）：1983 年，Hinton 與 Terrence Sejnowski 一起發(fā)明了玻爾茲曼機(jī)，這是第一個(gè)能夠?qū)W習(xí)不屬于輸入或輸出的神經(jīng)元內(nèi)部表示的神經(jīng)網(wǎng)絡(luò)之一。

卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)：2012 年，Hinton 和他的學(xué)生 Alex Krizhevsky 以及 Ilya Sutskever 通過(guò) Rectified Linear Neurons 和 Dropout Regularization 改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)，并在著名的 ImageNet 評(píng)測(cè)中將對(duì)象識(shí)別的錯(cuò)誤率減半，在計(jì)算機(jī)視覺(jué)領(lǐng)域掀起一場(chǎng)革命。

Yoshua Bengio

序列的概率模型：在 20 世紀(jì) 90 年代，Bengio 將神經(jīng)網(wǎng)絡(luò)與序列的概率模型相結(jié)合，例如隱馬爾可夫模型。這些想法被納入 AT＆T / NCR 用于閱讀手寫(xiě)支票中，被認(rèn)為是 20 世紀(jì) 90 年代神經(jīng)網(wǎng)絡(luò)研究的巔峰之作?，F(xiàn)代深度學(xué)習(xí)語(yǔ)音識(shí)別系統(tǒng)也是這些概念的擴(kuò)展。

高維詞匯嵌入和關(guān)注：2000 年，Bengio 撰寫(xiě)了具有里程碑意義的論文“A Neural Probabilistic Language Model”，它引入了高維詞向量作為詞義的表示。Bengio 的見(jiàn)解對(duì)自然語(yǔ)言處理任務(wù)產(chǎn)生了巨大而持久的影響，包括語(yǔ)言翻譯、問(wèn)答和視覺(jué)問(wèn)答。他的團(tuán)隊(duì)還引入了注意力機(jī)制，這種機(jī)制促使了機(jī)器翻譯的突破，并構(gòu)成了深度學(xué)習(xí)的序列處理的關(guān)鍵組成部分。

生成性對(duì)抗網(wǎng)絡(luò)：自 2010 年以來(lái)，Bengio 關(guān)于生成性深度學(xué)習(xí)的論文，特別是與 Ian Goodfellow 共同開(kāi)發(fā)的生成性對(duì)抗網(wǎng)絡(luò)（GAN），引發(fā)了計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的革命。

Yann LeCun

卷積神經(jīng)網(wǎng)絡(luò)：在 20 世紀(jì) 80 年代，LeCun 研發(fā)了卷積神經(jīng)網(wǎng)絡(luò)，現(xiàn)已成為該領(lǐng)域的基本理論基礎(chǔ)。其讓深度學(xué)習(xí)更有效。在 20 世紀(jì) 80 年代后期，多倫多大學(xué)和貝爾實(shí)驗(yàn)室工作期間，LeCun 是第一個(gè)在手寫(xiě)數(shù)字圖像上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)的人。如今，卷積神經(jīng)網(wǎng)絡(luò)是計(jì)算機(jī)視覺(jué)以及語(yǔ)音識(shí)別、語(yǔ)音合成、圖像合成和自然語(yǔ)言處理的行業(yè)標(biāo)準(zhǔn)。它們用于各種應(yīng)用，包括自動(dòng)駕駛、醫(yī)學(xué)圖像分析、語(yǔ)音激活助手和信息過(guò)濾。

改進(jìn)反向傳播算法：LeCun 提出了一個(gè)早期的反向傳播算法 backprop，并根據(jù)變分原理對(duì)其進(jìn)行了簡(jiǎn)潔的推導(dǎo)。他的工作讓加快了反向傳播算，包括描述兩種加速學(xué)習(xí)時(shí)間的簡(jiǎn)單方法。

拓寬神經(jīng)網(wǎng)絡(luò)的視野：LeCun 還將神經(jīng)網(wǎng)絡(luò)作為可以完成更為廣泛任務(wù)的計(jì)算模型，其早期工作現(xiàn)已成為 AI 的基礎(chǔ)概念。例如，在圖像識(shí)別領(lǐng)域，他研究了如何在神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)分層特征表示，這個(gè)理念現(xiàn)在通常用于許多識(shí)別任務(wù)中。與 LéonBottou 一起，他還提出了學(xué)習(xí)系統(tǒng)可以構(gòu)建為復(fù)雜的模塊網(wǎng)絡(luò)，其中通過(guò)自動(dòng)區(qū)分來(lái)執(zhí)行反向傳播，目前在每個(gè)現(xiàn)代深度學(xué)習(xí)軟件中得到使用。他們還提出了可以操作結(jié)構(gòu)化數(shù)據(jù)的深度學(xué)習(xí)架構(gòu)，例如圖形。