深度學(xué)習(xí)走進(jìn)了一個(gè)死胡同？

深度學(xué)習(xí)作為一類機(jī)器學(xué)習(xí)方法，是實(shí)現(xiàn)人工智能的重要基礎(chǔ)。近日有學(xué)者認(rèn)為，隨著人工智能的發(fā)展，深度學(xué)習(xí)的短板日益凸顯，“其瓶頸已至”。深度學(xué)習(xí)的瓶頸是否真的已經(jīng)到來(lái)？就此問題，本文將分為上下篇，對(duì)于深度學(xué)習(xí)的優(yōu)勢(shì)與短板、以及改進(jìn)方式進(jìn)行探討，為讀者梳理各位專家學(xué)者的不同思考。

不久前，全球人工智能計(jì)算機(jī)視覺領(lǐng)域奠基人之一、約翰霍普金斯大學(xué)教授艾倫·尤爾拋出“深度學(xué)習(xí)（Deep learning）在計(jì)算機(jī)視覺領(lǐng)域的瓶頸已至”的觀點(diǎn)，引發(fā)業(yè)內(nèi)許多專家的共鳴和熱議。

目前，作為實(shí)現(xiàn)人工智能的一種形式，深度學(xué)習(xí)旨在更密切地模仿人類大腦。那么，業(yè)內(nèi)專家學(xué)者是否認(rèn)同這種說(shuō)法？作為人工智能技術(shù)的重要基礎(chǔ)，深度學(xué)習(xí)在發(fā)展中究竟遇到哪些困難？如果深度學(xué)習(xí)瓶頸已至，我們?cè)撊绾纹平膺@個(gè)難題？帶著相關(guān)問題，科技日?qǐng)?bào)記者近日采訪了中外人工智能的知名專家對(duì)尤爾教授的觀點(diǎn)深入解讀。

深度學(xué)習(xí)精到之處

最初，深度學(xué)習(xí)剛剛進(jìn)入大多數(shù)人工智能研究人員的視線時(shí)，被嗤之以鼻，但短短幾年后，它的觸角在諸多高科技領(lǐng)域延伸，橫跨谷歌、微軟、百度等多家企業(yè)。

很多高科技公司熱衷探索深度學(xué)習(xí)的一種特殊形態(tài)——卷積神經(jīng)網(wǎng)絡(luò)。卷積網(wǎng)絡(luò)是由相互連通的卷積層組成，與大腦中處理視覺信息的視覺皮層十分類似，不同之處在于，其可以重復(fù)使用一張圖像中多個(gè)位置的相同過濾器。一旦卷積網(wǎng)絡(luò)學(xué)會(huì)在某個(gè)位置識(shí)別人臉，也可以自動(dòng)在其他位置識(shí)別人臉。這種原理也適用于聲波和手寫文字。

業(yè)內(nèi)人士認(rèn)為，卷積神經(jīng)網(wǎng)絡(luò)可以使得人工神經(jīng)網(wǎng)絡(luò)能夠快速接受培訓(xùn)，因?yàn)椤皟?nèi)存占用空間小，不需要對(duì)圖像中每個(gè)位置的過濾器進(jìn)行單獨(dú)存儲(chǔ)，從而使神經(jīng)網(wǎng)絡(luò)非常適合于創(chuàng)建可擴(kuò)展的深網(wǎng)（Deep nets）”。這也令卷積神經(jīng)網(wǎng)絡(luò)具有善于識(shí)別圖形的優(yōu)點(diǎn)。正是基于此，谷歌開發(fā)出安卓手機(jī)的語(yǔ)音識(shí)別系統(tǒng)、百度對(duì)可視化新型搜索引擎進(jìn)行研發(fā)。

當(dāng)然，要讓卷積神經(jīng)網(wǎng)絡(luò)正常運(yùn)作需要功能強(qiáng)大的計(jì)算機(jī)和龐大的數(shù)據(jù)集，而其在收集數(shù)據(jù)或計(jì)算平均值時(shí)，效果并非十全十美。

卷積神經(jīng)網(wǎng)絡(luò)的力挺者、臉譜（Facebook）人工智能實(shí)驗(yàn)室負(fù)責(zé)人伊恩·勒坤表示，目前使用最廣泛的卷積神經(jīng)網(wǎng)絡(luò)幾乎完全依賴于監(jiān)督學(xué)習(xí)。這意味著，如果想讓卷積神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)如何識(shí)別某一特定對(duì)象，必須對(duì)幾個(gè)樣本進(jìn)行標(biāo)注。而無(wú)監(jiān)督學(xué)習(xí)（Unsupervised learning）可以從未經(jīng)標(biāo)記的數(shù)據(jù)展開學(xué)習(xí)，更接近人腦的學(xué)習(xí)方式。而在此基礎(chǔ)上開發(fā)的反向傳播算法，能有效使錯(cuò)誤率最小化，只是不太可能體現(xiàn)出人類大腦的運(yùn)作機(jī)理。

勒坤表示：“我們對(duì)大腦如何學(xué)習(xí)幾乎是完全陌生的。盡管人們已經(jīng)知道神經(jīng)元突觸能夠自我調(diào)整，但對(duì)大腦皮層的機(jī)理尚不明晰，所知道的最終答案是無(wú)監(jiān)督學(xué)習(xí)是一種更接近人腦的學(xué)習(xí)方式，但對(duì)于大腦的認(rèn)知機(jī)制卻無(wú)力解答。”

瓶頸凸顯需警惕

“雖然深度學(xué)習(xí)優(yōu)于其他技術(shù)，但它不是通用的，經(jīng)過數(shù)年的發(fā)展，它的瓶頸已經(jīng)凸顯出來(lái)?！辈痪们埃瑐悺び葼栔赋?。

尤爾認(rèn)為，深度學(xué)習(xí)有三大局限：首先，深度學(xué)習(xí)幾乎總是需要大量的標(biāo)注數(shù)據(jù)。這使得視覺研究人員的焦點(diǎn)過度集中于容易標(biāo)注的任務(wù)，而不是重要的任務(wù)。

其次，深網(wǎng)在基準(zhǔn)數(shù)據(jù)集上表現(xiàn)良好，但在數(shù)據(jù)集之外的真實(shí)世界圖像上，可能會(huì)出現(xiàn)嚴(yán)重失敗。特別是，深網(wǎng)難以應(yīng)付數(shù)據(jù)集中不經(jīng)常發(fā)生的“罕見事件”。而在現(xiàn)實(shí)世界的應(yīng)用中，這些情況則會(huì)產(chǎn)生潛在風(fēng)險(xiǎn)，因?yàn)樗鼈儗?duì)應(yīng)的視覺系統(tǒng)故障可能導(dǎo)致可怕的后果。比如，用于訓(xùn)練自動(dòng)駕駛汽車的數(shù)據(jù)集幾乎從不包含“嬰兒坐在路上”的情況。

第三，深網(wǎng)對(duì)圖像中的變化過度敏感。這種過度敏感不僅反映在對(duì)圖像中難以察覺變化的標(biāo)準(zhǔn)上，還反映在對(duì)上下文的變化上，由于數(shù)據(jù)集大小的局限，過度敏感會(huì)導(dǎo)致系統(tǒng)做出錯(cuò)誤判斷，但這種因過度敏感而導(dǎo)致的圖像變化卻難以欺騙人類觀察者。

例如，在一張叢林里有只猴子的照片中，PS上一把吉他。這會(huì)導(dǎo)致AI將猴子誤認(rèn)為人類，同時(shí)將吉他誤認(rèn)為鳥。大概是因?yàn)樗J(rèn)為人類比猴子更可能攜帶吉他，而鳥類比吉他更可能出現(xiàn)在附近的叢林中。

尤爾認(rèn)為，瓶頸背后的原因是一個(gè)叫做“組合爆炸”的概念：就視覺領(lǐng)域而言，從組合學(xué)觀點(diǎn)來(lái)看，真實(shí)世界的圖像量太大了。任何一個(gè)數(shù)據(jù)集，不管多大，都很難表達(dá)出現(xiàn)實(shí)的復(fù)雜程度。更何況每個(gè)人選擇物體、擺放物體的方式不一樣，搭出的場(chǎng)景數(shù)量可以呈指數(shù)增長(zhǎng)。而這需要無(wú)窮大的數(shù)據(jù)集，無(wú)疑對(duì)訓(xùn)練和測(cè)試數(shù)據(jù)集提出巨大挑戰(zhàn)。

業(yè)內(nèi)專家表示，這三大局限性問題雖還殺不死深度學(xué)習(xí)，但它們都是亟待需要警惕的信號(hào)。

“已死”之說(shuō)值得商榷

去年，深度學(xué)習(xí)領(lǐng)域一位知名學(xué)者曾在臉譜發(fā)布驚人之語(yǔ)——深度學(xué)習(xí)已死，引起業(yè)內(nèi)一片嘩然，以至于現(xiàn)在網(wǎng)上機(jī)器學(xué)習(xí)社區(qū)的一些人說(shuō)，搞深度學(xué)習(xí)是在走死胡同。

“我認(rèn)為‘深度學(xué)習(xí)已死’這種說(shuō)法，是出自那些曾經(jīng)極為看好深度學(xué)習(xí)、后來(lái)卻意識(shí)到其局限的業(yè)內(nèi)人士。而局限并不意味著這個(gè)事物已經(jīng)死亡，我們可以補(bǔ)充一些東西進(jìn)去。”法國(guó)泰雷茲集團(tuán)CTO馬克·厄曼向科技日?qǐng)?bào)記者表示。

“我不贊同‘深度學(xué)習(xí)已死’的提法?！毙乱淮斯ぶ悄墚a(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟聯(lián)合秘書長(zhǎng)、科大訊飛副總裁兼AI研究院聯(lián)席院長(zhǎng)李世鵬指出。

李世鵬說(shuō)，深度學(xué)習(xí)作為一個(gè)新的計(jì)算科學(xué)領(lǐng)域的方法，當(dāng)然有其自身的限制和缺陷。這個(gè)在外界被炒作成無(wú)所不能的AI工具，其實(shí)科學(xué)界一直都很謹(jǐn)慎地對(duì)待，從一開始大家就知道它的一些局限性，比如對(duì)標(biāo)注了的大數(shù)據(jù)依賴、非解釋性、沒有推理功能、對(duì)訓(xùn)練集里包括的樣本就能工作得很好而對(duì)沒有包括的樣本就很差、系統(tǒng)模型處于非穩(wěn)態(tài)等。

“我比較贊成尤爾教授的客觀說(shuō)法——深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的瓶頸已至，特別是他討論問題的這個(gè)時(shí)間點(diǎn)很有必要，在方向上有矯枉過正的提示作用?，F(xiàn)在大家對(duì)深度學(xué)習(xí)熱衷得有些過度，在學(xué)術(shù)界，甚至在產(chǎn)業(yè)界，給人一種似乎‘非深度學(xué)習(xí)非AI’的感覺。實(shí)際上這是有很大問題的，因?yàn)樯疃葘W(xué)習(xí)確實(shí)只是人工智能領(lǐng)域里一個(gè)被實(shí)現(xiàn)出來(lái)的，卻比較窄的成功經(jīng)驗(yàn)?！边h(yuǎn)望智庫(kù)人工智能事業(yè)部部長(zhǎng)、圖靈機(jī)器人CSO譚茗洲指出。

總而言之，李世鵬表示，深度學(xué)習(xí)已死之說(shuō)法值得商榷。在未來(lái)相當(dāng)一段時(shí)間里，深度學(xué)習(xí)會(huì)對(duì)人工智能發(fā)展起著積極推動(dòng)作用，并具有很大的應(yīng)用價(jià)值，同時(shí)，科學(xué)家對(duì)深度學(xué)習(xí)天生的缺陷和局限已明晰，正在嘗試一些方法補(bǔ)足其現(xiàn)階段發(fā)展的不足，并在各自的領(lǐng)域內(nèi)探索著下一代人工智能的突破。

責(zé)任編輯：ct