2019年3月27日 ——ACM 宣布,深度學(xué)習(xí)之父Yoshua Bengio,Yann LeCun以及Geoffrey Hinton獲得了2018年的圖靈獎(jiǎng),被稱為“計(jì)算機(jī)領(lǐng)域的諾貝爾獎(jiǎng)”。
左:Geoffrey Hinton
中:Yann LeCun
右:Yoshua Bengio
今天,深度學(xué)習(xí)已經(jīng)成為了人工智能技術(shù)領(lǐng)域最重要的技術(shù)之一。三位達(dá)人三位大神獲得這個(gè)獎(jiǎng)?wù)媸菦](méi)有什么懸念。
三位科學(xué)家發(fā)明了深度學(xué)習(xí)的基本概念,在實(shí)驗(yàn)中發(fā)現(xiàn)了驚人的結(jié)果,也在工程領(lǐng)域做出了重要突破,幫助深度神經(jīng)網(wǎng)絡(luò)獲得實(shí)際應(yīng)用。
在 ACM 的公告中,Hinton最重要的貢獻(xiàn)來(lái)自他1986年發(fā)明反向傳播的論文 “Learning Internal Representations by Error Propagation”;1983年發(fā)明的玻爾茲曼機(jī)(Boltzmann Machines),以及2012年對(duì)卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)。
Hinton 和他的學(xué)生 Alex Krizhevsky 以及 Ilya Sutskever 通過(guò) Rectified Linear Neurons 和 Dropout Regularization 改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò),并在著名的 ImageNet 評(píng)測(cè)中取得了很好的成績(jī),在計(jì)算機(jī)視覺(jué)領(lǐng)域掀起一場(chǎng)革命。
Bengio的貢獻(xiàn)主要在1990年代發(fā)明的Probabilistic models of sequences。他把神經(jīng)網(wǎng)絡(luò)和概率模型(例如隱馬爾可夫模型)結(jié)合在一起,并和 AT&T 公司合作,用新技術(shù)識(shí)別手寫(xiě)的支票?,F(xiàn)代深度學(xué)習(xí)技術(shù)中的語(yǔ)音識(shí)別也是這些概念的擴(kuò)展。
此外 Bengio 還于2000年還發(fā)表了劃時(shí)代的論文“A Neural Probabilistic Language Model”,使用高維詞向量來(lái)表征自然語(yǔ)言。他的團(tuán)隊(duì)還引入了注意力機(jī)制,讓機(jī)器翻譯獲得突破,也成為了讓深度學(xué)習(xí)處理序列的重要技術(shù)。
Yann LeCun的代表貢獻(xiàn)之一是卷積神經(jīng)網(wǎng)絡(luò)。1980年代,LeCun 發(fā)明了卷積神經(jīng)網(wǎng)絡(luò),現(xiàn)在已經(jīng)成為了機(jī)器學(xué)習(xí)領(lǐng)域的基礎(chǔ)技術(shù)之一,也讓深度學(xué)習(xí)效率更高。1980年代末期,Yan LeCun 在多倫多大學(xué)和貝爾實(shí)驗(yàn)室工作期間,首次將卷積神經(jīng)網(wǎng)絡(luò)用于手寫(xiě)數(shù)字識(shí)別。
今天,卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了業(yè)界標(biāo)準(zhǔn)技術(shù),廣泛用于計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、語(yǔ)音合成、圖片合成,以及自然語(yǔ)言處理等學(xué)術(shù)方向,以及自動(dòng)駕駛、醫(yī)學(xué)圖片識(shí)別、語(yǔ)音助手、信息過(guò)濾等工業(yè)應(yīng)用方向。
LeCun 的第二個(gè)重要貢獻(xiàn)是改進(jìn)了反向傳播算法。他提出了一個(gè)早期的反向傳播算法 backprop,也根據(jù)變分原理給出了一個(gè)簡(jiǎn)潔的推導(dǎo)。他的工作讓反向傳播算法更快,比如描述了兩個(gè)簡(jiǎn)單的方法可以減少學(xué)習(xí)時(shí)間。
LeCun 第三個(gè)貢獻(xiàn)是拓展了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍。他把神經(jīng)網(wǎng)絡(luò)變成了一個(gè)可以完成大量不同任務(wù)的計(jì)算模型。他早期引進(jìn)的一些工作現(xiàn)在已經(jīng)成為了人工智能的基礎(chǔ)概念。
例如,在圖片識(shí)別領(lǐng)域,他研究了如何讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)層次特征,這一方法現(xiàn)在已經(jīng)用于很多日常的識(shí)別任務(wù)。他們還提出了可以操作結(jié)構(gòu)數(shù)據(jù)(例如圖數(shù)據(jù))的深度學(xué)習(xí)架構(gòu)。
Geoffrey Hinton
反向傳播:在 1986 年與 David Rumelhart 和 Ronald Williams 共同撰寫(xiě)的 “Learning Internal Representations by Error Propagation” 一文中,Hinton 證明了反向傳播算法允許神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)自己的數(shù)據(jù)內(nèi)部表示,這使得使用神經(jīng)網(wǎng)絡(luò)成為可能網(wǎng)絡(luò)解決以前被認(rèn)為超出其范圍的問(wèn)題。如今,反向傳播算法是大多數(shù)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)。
玻爾茲曼機(jī)(Boltzmann Machines):1983 年,Hinton 與 Terrence Sejnowski 一起發(fā)明了玻爾茲曼機(jī),這是第一個(gè)能夠?qū)W習(xí)不屬于輸入或輸出的神經(jīng)元內(nèi)部表示的神經(jīng)網(wǎng)絡(luò)之一。
卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn):2012 年,Hinton 和他的學(xué)生 Alex Krizhevsky 以及 Ilya Sutskever 通過(guò) Rectified Linear Neurons 和 Dropout Regularization 改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò),并在著名的 ImageNet 評(píng)測(cè)中將對(duì)象識(shí)別的錯(cuò)誤率減半,在計(jì)算機(jī)視覺(jué)領(lǐng)域掀起一場(chǎng)革命。
Yoshua Bengio
序列的概率模型:在 20 世紀(jì) 90 年代,Bengio 將神經(jīng)網(wǎng)絡(luò)與序列的概率模型相結(jié)合,例如隱馬爾可夫模型。這些想法被納入 AT&T / NCR 用于閱讀手寫(xiě)支票中,被認(rèn)為是 20 世紀(jì) 90 年代神經(jīng)網(wǎng)絡(luò)研究的巔峰之作?,F(xiàn)代深度學(xué)習(xí)語(yǔ)音識(shí)別系統(tǒng)也是這些概念的擴(kuò)展。
高維詞匯嵌入和關(guān)注:2000 年,Bengio 撰寫(xiě)了具有里程碑意義的論文“A Neural Probabilistic Language Model”,它引入了高維詞向量作為詞義的表示。Bengio 的見(jiàn)解對(duì)自然語(yǔ)言處理任務(wù)產(chǎn)生了巨大而持久的影響,包括語(yǔ)言翻譯、問(wèn)答和視覺(jué)問(wèn)答。他的團(tuán)隊(duì)還引入了注意力機(jī)制,這種機(jī)制促使了機(jī)器翻譯的突破,并構(gòu)成了深度學(xué)習(xí)的序列處理的關(guān)鍵組成部分。
生成性對(duì)抗網(wǎng)絡(luò):自 2010 年以來(lái),Bengio 關(guān)于生成性深度學(xué)習(xí)的論文,特別是與 Ian Goodfellow 共同開(kāi)發(fā)的生成性對(duì)抗網(wǎng)絡(luò)(GAN),引發(fā)了計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的革命。
Yann LeCun
卷積神經(jīng)網(wǎng)絡(luò):在 20 世紀(jì) 80 年代,LeCun 研發(fā)了卷積神經(jīng)網(wǎng)絡(luò),現(xiàn)已成為該領(lǐng)域的基本理論基礎(chǔ)。其讓深度學(xué)習(xí)更有效。在 20 世紀(jì) 80 年代后期,多倫多大學(xué)和貝爾實(shí)驗(yàn)室工作期間,LeCun 是第一個(gè)在手寫(xiě)數(shù)字圖像上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)的人。如今,卷積神經(jīng)網(wǎng)絡(luò)是計(jì)算機(jī)視覺(jué)以及語(yǔ)音識(shí)別、語(yǔ)音合成、圖像合成和自然語(yǔ)言處理的行業(yè)標(biāo)準(zhǔn)。它們用于各種應(yīng)用,包括自動(dòng)駕駛、醫(yī)學(xué)圖像分析、語(yǔ)音激活助手和信息過(guò)濾。
改進(jìn)反向傳播算法:LeCun 提出了一個(gè)早期的反向傳播算法 backprop,并根據(jù)變分原理對(duì)其進(jìn)行了簡(jiǎn)潔的推導(dǎo)。他的工作讓加快了反向傳播算,包括描述兩種加速學(xué)習(xí)時(shí)間的簡(jiǎn)單方法。
拓寬神經(jīng)網(wǎng)絡(luò)的視野:LeCun 還將神經(jīng)網(wǎng)絡(luò)作為可以完成更為廣泛任務(wù)的計(jì)算模型,其早期工作現(xiàn)已成為 AI 的基礎(chǔ)概念。例如,在圖像識(shí)別領(lǐng)域,他研究了如何在神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)分層特征表示,這個(gè)理念現(xiàn)在通常用于許多識(shí)別任務(wù)中。與 LéonBottou 一起,他還提出了學(xué)習(xí)系統(tǒng)可以構(gòu)建為復(fù)雜的模塊網(wǎng)絡(luò),其中通過(guò)自動(dòng)區(qū)分來(lái)執(zhí)行反向傳播,目前在每個(gè)現(xiàn)代深度學(xué)習(xí)軟件中得到使用。他們還提出了可以操作結(jié)構(gòu)化數(shù)據(jù)的深度學(xué)習(xí)架構(gòu),例如圖形。
-
機(jī)器翻譯
+關(guān)注
關(guān)注
0文章
139瀏覽量
14851 -
圖靈
+關(guān)注
關(guān)注
1文章
37瀏覽量
9676 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5439瀏覽量
120794
原文標(biāo)題:說(shuō)說(shuō)圖靈獎(jiǎng)的深度學(xué)習(xí)「三教父」驚世貢獻(xiàn)
文章出處:【微信號(hào):AI_Thinker,微信公眾號(hào):人工智能頭條】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論