在谷歌大腦不能做真正的機(jī)器學(xué)習(xí)科學(xué)研究？

Twitter今天出現(xiàn)了一條驚爆tread：CMU助理教授Simon DeDeo炮轟谷歌大腦，認(rèn)為他們沒在做真正的科學(xué)，只是用強(qiáng)大的算力以及招攬到的眾多優(yōu)秀博士生，不斷快速推出機(jī)器學(xué)習(xí)工程成果，而真正的知識還跟20年前一樣！

你認(rèn)為谷歌大腦和其他類似的企業(yè)AI研究院如何？

這只是再正常不過的一個(gè)問題，沒想到竟然冒出了一條讓人吃驚的回復(fù)。CMU的助理教授Simon DeDeo表示：在那里人們并沒有做真正的科學(xué)！

好吧，事情是這個(gè)樣子的，先來看這位Simon DeDeo的回復(fù)——之前的聲明：

接下來我要說說對谷歌大腦和類似機(jī)構(gòu)的看法。聲明：這是我個(gè)人的意見，我不需要他們的資助，也沒有通過討好他們來成就我的職業(yè)生涯。

字里行間無不流露出對谷歌大腦等頂尖AI研究院的不屑與不滿，基本可以想見他的看法整體走向?qū)⑹鞘裁础?/p>

下面這條可以認(rèn)為是DeDeo的核心觀點(diǎn)：企業(yè)“研究”是從商業(yè)立場出發(fā)的，無論管理流程如何。

Simon DeDeo其人

Simon DeDeo是CMU社會與決策科學(xué)（Social and Decision Sciences）助理教授，圣達(dá)菲研究所外部教授。他之前曾在印第安納大學(xué)的復(fù)雜系統(tǒng)和認(rèn)知科學(xué)項(xiàng)目中工作過。他還曾在東京大學(xué)宇宙物理與數(shù)學(xué)研究所和芝加哥大學(xué)卡夫利宇宙物理研究所獲得博士后獎(jiǎng)學(xué)金。

教育背景

博士：普林斯頓大學(xué)天體物理學(xué)

碩士：劍橋大學(xué)應(yīng)用數(shù)學(xué)與理論物理

學(xué)士：哈佛大學(xué)天體物理學(xué)

在DeDeo的主頁介紹上寫著，他們的研究方向是：在社會思想實(shí)驗(yàn)室（Laboratory for Social Minds），我們進(jìn)行實(shí)證研究，并建立歷史和現(xiàn)代現(xiàn)象構(gòu)建數(shù)學(xué)理論。我們的研究既包括數(shù)百年的人類文化發(fā)展，也有瞬息萬變的現(xiàn)代等級制度。我們創(chuàng)建了關(guān)于政治秩序重大轉(zhuǎn)變合成的深層次描述，目的是預(yù)測和理解我們整個(gè)物種的未來。

或許你認(rèn)為以為從事天文學(xué)的博士對人工智能并無了解，因此DeDeo的話無關(guān)緊要，不過，天文學(xué)也是目前積極采用機(jī)器學(xué)習(xí)的基礎(chǔ)學(xué)科之一。DeDeo在他的工作中也無可避免的會用到深度學(xué)習(xí)。此外，從2012年開始，深度學(xué)習(xí)的熱潮興起，幾句席卷整個(gè)自然科學(xué)領(lǐng)域，從生物、化學(xué)到物理，越來越多的科學(xué)家都發(fā)現(xiàn)機(jī)器學(xué)習(xí)能夠幫助乃至加速他們的發(fā)現(xiàn)。

而DeDeo，也不可避免的處于這場深度學(xué)習(xí)熱潮中間，而且關(guān)聯(lián)還不淺。

在谷歌你能接觸到最尖端的機(jī)器學(xué)習(xí)，但成不了科學(xué)家，一切都是商業(yè)計(jì)劃

DeDeo將他的抱怨連發(fā)了幾十條Twitter，簡直構(gòu)成了一篇文章：

我在貝葉斯時(shí)代長大，見證了David Spergel和他的快樂科學(xué)家團(tuán)隊(duì)用一些簡單的，從理論上推動的方程改變了我們對世界的看法。

當(dāng)我出到校門外開始研究生活和思考系統(tǒng)時(shí)，這也是我的研究出發(fā)點(diǎn)。當(dāng)然，2010年左右，深度學(xué)習(xí)革命變得不可忽視。

這是令人興奮的事情。我們邀請學(xué)者參觀訪問，告訴我們關(guān)于決策樹、隨機(jī)森林，各種奇妙的事情。我也試著學(xué)習(xí)這些方法，但老實(shí)說，我們可以用簡單的工具做很多事情，因此并沒有把機(jī)器學(xué)習(xí)到成優(yōu)先事項(xiàng)。

當(dāng)我到IU時(shí)，我被聘為信息學(xué)部門的教授，IUsolCE（信息學(xué)也即未來的計(jì)算機(jī)科學(xué)，不再是簡單的快速排序，而是弄清楚機(jī)器對人類生活的影響）。我當(dāng)時(shí)在一個(gè)招聘委員會里，非常要招一個(gè)深度學(xué)習(xí)的人。

我?guī)械暮蜻x人去吃早餐（我喜歡跳過會議和委員會，把時(shí)間花在研究生和本科生身上），然后弄清現(xiàn)在的深度學(xué)習(xí)。大多數(shù)候選人可能都沒睡醒。

基本答案：我們所做的每一個(gè)性感的項(xiàng)目，從飛行四軸飛行器到在MNIST上再獲得精度0.1％的提升，基本上就是一名研究生。

你計(jì)算出神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，然后找到權(quán)重。怎么做？答案是：GSD，graduate student descent——開個(gè)玩笑。簡而言之，沒有一個(gè)好的答案，就是一個(gè)人坐在那里，不斷調(diào)整參數(shù)。

機(jī)器學(xué)習(xí)是工程學(xué)的一項(xiàng)了不起的成就。但這不是科學(xué)。遠(yuǎn)遠(yuǎn)不是。我們?nèi)缃褡龅闹皇?990年的東西，成倍放大的結(jié)果。它并沒有給我們帶來比20年前更多的見解。

是的，我也聽說過“深度學(xué)習(xí)實(shí)現(xiàn)了renormalization group！”但如果你有一個(gè)在空間中組織的信息系統(tǒng)，那么神經(jīng)元在空間上將信息組合起來真的很厲害嗎？

我也被邀請參加Google Research或類似地方的會議。他們的安保像瘋了一樣，比對沖基金更糟糕。保安會跟著你去洗手間。

在谷歌大腦，每位級別相當(dāng)于我的科學(xué)家，也即相當(dāng)于一名初級教員，原本都應(yīng)該說是處于知識邊緣不斷探索的人，都在管理一個(gè)由10名研究生組成的團(tuán)隊(duì)，在做著Graduate Student Descent。

谷歌可以擊敗堪薩斯大學(xué)，唯一的原因是他們每個(gè)研究人員可以雇用十倍以上的研究生。當(dāng)然，不同之處在于，堪薩斯大學(xué)的研究生有機(jī)會做一些具有學(xué)術(shù)意義的事情。在Google Research卻無法如此。

他們不知道自己在做什么。他們有人力將深度學(xué)習(xí)應(yīng)用于任何事情，模擬薛定諤方程，藥物設(shè)計(jì)，你能想到的一切。他們的主要目標(biāo)是找到谷歌可以產(chǎn)生最大影響的科學(xué)領(lǐng)域。

我訪問過50所大學(xué)。無論走到哪里，我都會遇到新的想法。但有一個(gè)例外：商業(yè)“研究”實(shí)驗(yàn)室。

如果你想構(gòu)建能夠監(jiān)控人并且更快地向他們推銷更多廣告的機(jī)器，那就去這些實(shí)驗(yàn)室。如果你想找到一個(gè)工人階級正在做的工作，然后對正在做這件事的男人或女人建模，然后建立一個(gè)網(wǎng)絡(luò)，取得這些人，那你更應(yīng)該去商業(yè)實(shí)驗(yàn)室了。

我們用Google Research構(gòu)建的東西做過科學(xué)嗎？當(dāng)然。我們有一篇很好的論文，用word2vec來幫助構(gòu)建解謎理論（a theory of puzzle solving）。

但我們原本可以建立一個(gè)跟word2vec同等效用的系統(tǒng)。這里面沒有任何學(xué)術(shù)智力上的貢獻(xiàn)。我不是在開玩笑。

我在一個(gè)晚上接到了一名頂級CS碩士研究生的電話，我們開始研究社會合作的問題。他想做深度學(xué)習(xí)。

僅僅兩周的時(shí)間，我們就比Google Brain正在做的更進(jìn)一步。我并不是說在技術(shù)上——他們擁有大量豐富的YouTube視頻數(shù)據(jù)。但我們確實(shí)在學(xué)術(shù)貢獻(xiàn)上（intellectually）領(lǐng)先他們。

谷歌說他們也做了社會科學(xué)，但實(shí)際并非如此，他們做的只是分布在50多個(gè)GPU上的homo economicus（經(jīng)濟(jì)人）。買一份Bowles and Ginits，Cooperative Species，你會在一周內(nèi)學(xué)到更多東西。

你能在Google Brain做一些很酷的研究嗎？誠實(shí)的回答是：不能。你將處于機(jī)器學(xué)習(xí)的最前沿，沒有錯(cuò)，但這是一個(gè)工程學(xué)科，其基本目標(biāo)是由大公司設(shè)定的。你不會成為一名科學(xué)家（you will not be a scientist）。

我知道你可能需要賺錢。你可以在那里賺很多。去吧，我非常尊重你的選擇。學(xué)術(shù)界糟糕透了。

但是，如果你想要在你蓬勃發(fā)展的事業(yè)中的某些時(shí)刻，在你的思想和靈魂里，加入兩千年推進(jìn)人類智力前進(jìn)的努力，你不會在谷歌做到這一點(diǎn)。當(dāng)然Facebook也不行。

如果你真的選擇后者，你還有一個(gè)選擇，那就是加入大學(xué)的研究生院，讀博。

你的收入不會很多，但你的導(dǎo)師將真正關(guān)心你的學(xué)術(shù)和智力發(fā)展。你很難高估優(yōu)秀的博士課程與產(chǎn)業(yè)之間的差異。如果你是一名優(yōu)秀的博士生導(dǎo)師，干擾學(xué)生的智力發(fā)展，實(shí)在是太可恥了。在谷歌，這一切都是一個(gè)商業(yè)計(jì)劃。

這些都不是開玩笑。這是十年的經(jīng)驗(yàn)。研究生院的申請將在秋季開始。想一想吧。確保你得到一筆好的交易（你不應(yīng)該為讀博負(fù)擔(dān)債務(wù)，你也應(yīng)該得到醫(yī)保）。

簡而言之：企業(yè)“研究”是一個(gè)商業(yè)主張，無論管理層如何。鑒于這些公司對員工的密切監(jiān)控，現(xiàn)在這個(gè)差距微乎其微。

最后說件事：我們訪問了Google Research，那里的人聰明絕頂，令人難以置信。我們集思廣益，想出了各種精彩的研究思路。會議的最后一天，高校學(xué)者說，好，讓我們?nèi)ゾ瓢?，把這些想法再落實(shí)！

但他們的回答是：這是我們的業(yè)余工作（vacation），我們手頭真正的工作落后了，我們這個(gè)周末必須工作。 （不是“我們感到內(nèi)疚了認(rèn)為周末該去做”，而是“我們必須”。）

對于學(xué)者來說，這就是工作。突然間，我意識到，這只是他們的業(yè)余項(xiàng)目罷了。

反駁：AI產(chǎn)業(yè)化是不可阻擋的趨勢，谷歌一直從事基礎(chǔ)科學(xué)研究

當(dāng)然，DeDeo的言論一出，立即引發(fā)了眾多反駁之聲，有人說這是我見過最不著調(diào)的評論，在谷歌大腦和FAIR，有很多科學(xué)家在做著真正的基礎(chǔ)科研，雖然確實(shí)也有GSD（研究生調(diào)參），但完全與企業(yè)目標(biāo)無關(guān)。

DeDeo的論調(diào)其實(shí)反映了一個(gè)早已有之的問題，那就是人才從學(xué)術(shù)界往產(chǎn)業(yè)界流動，這種趨勢實(shí)際上在兩年前就已經(jīng)在AI圈里得到熱議。

當(dāng)時(shí)，還是加州大學(xué)伯克利分校人工智能和深度學(xué)習(xí)專家的 Pieter Abbeel（現(xiàn)在已經(jīng)自己創(chuàng)業(yè)，成立了covariant.ai）表示，如今的這股熱潮表明人工智能技術(shù)已經(jīng)發(fā)展到了能夠?qū)ΜF(xiàn)實(shí)世界產(chǎn)生影響的地步，而企業(yè)本身就是運(yùn)用技術(shù)為社會提供產(chǎn)品和服務(wù)的。

荷蘭萊頓大學(xué)社會科學(xué)家 Robert Tijssen 表示，上世紀(jì)50年代，同樣的職業(yè)遷徙現(xiàn)象也在半導(dǎo)體研究中出現(xiàn)過，當(dāng)時(shí)半導(dǎo)體領(lǐng)域的很多頂尖學(xué)者都被挖走，成為產(chǎn)業(yè)界研發(fā)實(shí)驗(yàn)室的負(fù)責(zé)人。Robert Tijssen 對 Nature 記者說，這些學(xué)者將他們的專業(yè)知識帶入產(chǎn)業(yè)界，同時(shí)在產(chǎn)業(yè)里建立新的關(guān)系，而后又將這些產(chǎn)業(yè)關(guān)系反饋給原來學(xué)術(shù)界的同事和學(xué)生，達(dá)到典型的雙贏局面。

位于卡內(nèi)基·梅隆大學(xué)的美國國家機(jī)器人工程中心（US NREC）負(fù)責(zé)人 Herman Herman 對 Tijssen 的觀點(diǎn)表示贊同。2015年，NREC 與 Uber 合作，Uber 從 NREC 的 150 名研究員當(dāng)中招走了將近 40人，主要是研究自動駕駛汽車的研究員。當(dāng)時(shí)有報(bào)道稱 NREC 陷入危機(jī)，但 Herman 表示那個(gè)說法稍微言過其實(shí)；NREC 與 Uber 的合作項(xiàng)目只是卡內(nèi)基·梅隆大學(xué)機(jī)器人研究所幾十個(gè)項(xiàng)目中的一個(gè)，而機(jī)器人研究所有大約 500 名教職員工，這次人員調(diào)動對研究所來說正好是換新血的機(jī)會。而不久之后，Uber 就向機(jī)器人研究所捐資 550 萬美元，用于支付學(xué)生和教職工的獎(jiǎng)學(xué)金。同時(shí)，這一事件的新聞性還提升了機(jī)器人研究所的知名度，學(xué)生提交申請數(shù)量也增多了。

Yoshua Bengio 也曾對學(xué)術(shù)界人才流失表示擔(dān)憂。他表示自己要堅(jiān)守在學(xué)術(shù)界，不過，后來也成為微軟和加拿大AI創(chuàng)業(yè)公司ElementAI的顧問。

Hinton預(yù)計(jì)深度學(xué)習(xí)領(lǐng)域?qū)＜叶倘敝粫菚簳r(shí)的。本人就屬于谷歌大腦的的Hinton 告訴 Nature 記者，谷歌承認(rèn)高校研究生項(xiàng)目的重要性。目前，谷歌資助了 250 多項(xiàng)學(xué)術(shù)研究項(xiàng)目和幾十個(gè)博士獎(jiǎng)學(xué)金。

Jeff Dean：谷歌用機(jī)器學(xué)習(xí)解決人類重大難題

就在前不久，在清華大學(xué)人工智能研究院成立儀式上，同期舉行了清華-谷歌AI學(xué)術(shù)論壇。谷歌AI總負(fù)責(zé)人Jeff Dean也受聘成為清華大學(xué)計(jì)算機(jī)學(xué)科顧問委員會委員。

Jeff Dean在研討會第一天的主旨演講，題目是《用深度學(xué)習(xí)解決世界重大挑戰(zhàn)》。

Jeff Dean發(fā)表主旨演講：用深度學(xué)習(xí)解決重大挑戰(zhàn)

Jeff Dean介紹了，過去6年來，Google Brain團(tuán)隊(duì)一直在研究人工智能中的難題，構(gòu)建用于機(jī)器學(xué)習(xí)研究的大型計(jì)算機(jī)系統(tǒng)，并與Google的許多團(tuán)隊(duì)合作，將其研究和系統(tǒng)應(yīng)用于眾多Google產(chǎn)品當(dāng)中。他們已經(jīng)在計(jì)算機(jī)視覺，語音識別，語言理解，機(jī)器翻譯，醫(yī)療保健，機(jī)器人控制等領(lǐng)域取得了重大進(jìn)展。

谷歌在人工智能領(lǐng)域最終目標(biāo)是三點(diǎn)：利用人工智能和機(jī)器學(xué)習(xí)讓谷歌的產(chǎn)品更加實(shí)用（Making products more useful）；幫助企業(yè)和外部開發(fā)者利用人工智能和機(jī)器學(xué)習(xí)進(jìn)行創(chuàng)新（Helping others innovate）；為研究人員提供更好的工具，解決人類面臨的重大挑戰(zhàn)。

谷歌大腦與頂級高校以及科研和醫(yī)療機(jī)構(gòu)合作，從改善城市基礎(chǔ)設(shè)施到健康信息學(xué)再到人腦逆向工程，還有使用深度學(xué)習(xí)預(yù)測分子性質(zhì)，制作更好的藥物……這些全都是在對人類有意義的基礎(chǔ)科學(xué)。

深度學(xué)習(xí)目前還是只是工程，要尋求原理

然而，DeDeo的擔(dān)憂有一點(diǎn)是真切的——深度學(xué)習(xí)更多的是工程，雖然最近越來越多的人開始關(guān)注理論研究，但是，大量的調(diào)參和超強(qiáng)的算力，以及大數(shù)據(jù)，仍然是深度學(xué)習(xí)當(dāng)下的必須。

周志華教授在今年4月發(fā)表了一場《關(guān)于深度學(xué)習(xí)的思考》的主題演講，其中提到，深度學(xué)習(xí)的理論基礎(chǔ)尚不清楚：

但是實(shí)際上在學(xué)術(shù)界大家一直沒有想清楚一件事情，就是我們?yōu)槭裁匆眠@么深的模型？今天深度學(xué)習(xí)已經(jīng)取得了很多的成功，但是有一個(gè)很大的問題，就是理論基礎(chǔ)不清楚。我們理論上還說不清楚它到底是怎么做，為什么會成功，里面的關(guān)鍵是什么？如果我們要做理論分析的話，我們先要有一點(diǎn)直覺，知道它到底為什么有用？這樣才好著手去分析。 但現(xiàn)在其實(shí)我們根本就不知道該從什么角度去看它。

周志華教授還指出，深度學(xué)習(xí)的可重復(fù)性低：

今天大家都非常關(guān)注我們做出來的結(jié)果的可重復(fù)性，不管是科學(xué)研究也好，技術(shù)發(fā)展也好，都希望這個(gè)結(jié)果可重復(fù)。 而在整個(gè)機(jī)器學(xué)習(xí)領(lǐng)域，可以說深度學(xué)習(xí)的可重復(fù)性是最弱的。我們經(jīng)常會碰到這樣的情況，有一組研究人員發(fā)文章說報(bào)告了一個(gè)結(jié)果，而這個(gè)結(jié)果其他的研究人員很難重復(fù)。因?yàn)槟呐履阌猛瑯拥臄?shù)據(jù)，同樣的方法，只要超參數(shù)的設(shè)置不一樣，你的結(jié)果就不一樣。

總之，當(dāng)前深度學(xué)習(xí)還有很多問題，機(jī)器學(xué)習(xí)也一樣。

不過，在哪里都能做真正的研究，尤其是AI領(lǐng)域產(chǎn)學(xué)研結(jié)合得越來越緊密的情況下，你覺得呢？