鄧力榮獲學(xué)術(shù)界的盛高榮譽(yù)：入選加拿大國(guó)家工程院院士

作為人工智能特別是語音和自然語言領(lǐng)域的里程碑人物，鄧力榮獲學(xué)術(shù)界的盛高榮譽(yù)：入選加拿大國(guó)家工程院院士。這是繼加拿大深度學(xué)習(xí)先驅(qū)者獲圖靈獎(jiǎng)公開兩周之后對(duì)深度學(xué)習(xí)巨大成就的再次肯定。

鄧力本科畢業(yè)于中科大，先后在美國(guó)威斯康星大學(xué)獲碩士和博士學(xué)位，之后在加拿大滑鐵盧大學(xué)任教獲得終身正教授，其間還擔(dān)任麻省理工學(xué)院和日本位于京東的 ATR 研究所職位。

他于 1999 年底加入微軟研究院歷任數(shù)職，在 2014 年初創(chuàng)辦深度學(xué)習(xí)技術(shù)中心，主持微軟公司和研究院的人工智能和深度學(xué)習(xí)領(lǐng)域的技術(shù)創(chuàng)新；并于 2015年底正式被任命為微軟人工智能首席科學(xué)家。

2017 年離職微軟加入對(duì)沖基金公司 Citadel 擔(dān)任首席人工智能官至今。之前其研究方向包括自動(dòng)語音與說話者識(shí)別、口語識(shí)別與理解、語音–語音翻譯、機(jī)器翻譯、語言模式、自然語言處理、統(tǒng)計(jì)方法與機(jī)器學(xué)習(xí)、神經(jīng)科學(xué)、聽覺和其他生物信息處理、深層結(jié)構(gòu)學(xué)習(xí)、類腦機(jī)器智能、圖像語言多模態(tài)深度學(xué)習(xí)以及商業(yè)大數(shù)據(jù)深度分析預(yù)測(cè)等。

2015 年，他憑借在深度學(xué)習(xí)與自動(dòng)語音識(shí)別方向做出的杰出貢獻(xiàn)獲得 IEEE 技術(shù)成就獎(jiǎng)，此外他還獲得過 IEEE、國(guó)際言語通訊協(xié)會(huì)、美國(guó)聲學(xué)協(xié)會(huì)、亞太信號(hào)與信息處理協(xié)會(huì)、微軟等組織授予的多項(xiàng)榮譽(yù)。

鄧力教授入選加拿大工程院院士的通知信：

Dear Dr.Deng,

The Canadian Academy of Engineering (CAE) comprises a small number of distinguished engineers, from all disciplines, who have undertaken to serve the country and the profession in matters of broad concern.

As President of the CAE, it is my privilege to inform you that, in recognition of your notable achievements, our Fellows have elected to offer you Fellowship in our academy. I congratulate you on this outstanding recognition! Should you accept our offer, you will be joining the most highly accomplished people in the field of engineering in Canada. Our website features a list of our Fellows, and I am sure that many of the names will be familiar to you.

The CAE has close ties with similar prestigious academies throughout the world, via our membership in the International Council of Academies of Engineering and Technological Sciences (CAETS). Furthermore, the CAE is one of the three Member Academies of the Council of Canadian Academies, the other two being the Royal Society of Canada (RSC) and the Canadian Academies of Health Sciences (CAHS).

It is my sincere hope that you will accept the invitation to become a Fellow of the Canadian Academy of Engineering and that you will assist us in advancing our mission. Our Fellows are encouraged to display their certificates of membership, and to use the letters "FCAE" on their signature blocks and bussiness cards.

Please inform our Executive Director, Kevin Goheen, of your agreement to accept this invitation before 19 April, 17:00 EDT, by completing the enclosed form and returning it by fax or e-mail. If you have any questions or concerns, Please contact ourExecutive Director, Kevin Goheen.......

翻譯如下：

鄧博士您好，

加拿大工程院（CAE）由來自各個(gè)學(xué)科的少數(shù)杰出工程師組成，他們都致力于在廣泛關(guān)注的問題上為國(guó)家和專業(yè)做出貢獻(xiàn)。

我作為 CAE 的主席，很榮幸地通知您，為表彰您在學(xué)術(shù)方面取得的顯著成就，現(xiàn)任院士表決選舉您為 CAE 院士。祝賀您獲得這一榮譽(yù)表彰！如果您接受成為 CAE 院士中的一員，也就加入了加拿大工程領(lǐng)域成就最高的科學(xué)家隊(duì)伍。您可以在我們的網(wǎng)站查看 CAE 院士的完整名單，相信其中的很多人都是您所熟知的。

由于我們隸屬于國(guó)際工程與技術(shù)科學(xué)院理事會(huì)（CAETS），所以 CAE 與世界各國(guó)級(jí)別相同的工程院/科學(xué)院都有著密切的聯(lián)系。此外，CAE 還是加拿大國(guó)家學(xué)院理事會(huì)的三大組成部分之一，另外兩個(gè)是加拿大皇家學(xué)會(huì)（RSC）和加拿大健康科學(xué)院（CAHS）。

我真誠(chéng)地希望您接受當(dāng)選加拿大工程院院士的邀請(qǐng)，并與我們共同推進(jìn) CAE 的使命。我們提議院士們?cè)诔蓡T證書的簽名欄和商務(wù)卡上簽上「FCAE」幾個(gè)字母。

如果您愿意接受我們的邀請(qǐng)，請(qǐng)于北美東部夏令時(shí)間 4 月 19 日 17:00 之前告知我們的執(zhí)行主席 Kevin Goheen，具體告知方式為：填寫信件所附表格并通過傳真或電子郵件將其返回。如果您有任何問題或疑慮，可隨時(shí)聯(lián)系我們的執(zhí)行主席 Kevin Goheen……

加拿大國(guó)家工程院這樣描述他的入選理由（Citation）：

Li Deng is an internationally prominent researcher, engineer, educator, and technology leader in artificial intelligence, machine learning, signal processing, financial engineering, speech recognition, and natural language processing. He has invented a series of ground-breaking machine learning paradigms, architectures, methodologies, and algorithms for hidden Markov models and deep neural networks. He has been widely recognized for his 2009-2013 pioneering contributions to world-wide speech recognition industry using large-scale deep learning. His original and landmark research, over 30 years, combined with his outstanding leadership in advancing engineering knowledge, have culminated in the spectacular effects of deep learning and AI on society today.

翻譯如下：

鄧力是一位享譽(yù)國(guó)際的研究者、工程師、教育家以及人工智能、機(jī)器學(xué)習(xí)、信號(hào)處理、金融工程、語音識(shí)別、自然語言處理領(lǐng)域的技術(shù)引領(lǐng)者。他為隱馬爾科夫模型和深度神經(jīng)網(wǎng)絡(luò)發(fā)明了一系列史無前例的機(jī)器學(xué)習(xí)范式、架構(gòu)、方法論以及算法。他在 2009－2013 年應(yīng)用大規(guī)模神經(jīng)網(wǎng)絡(luò)對(duì)全球語音識(shí)別工業(yè)界作出了先驅(qū)性的貢獻(xiàn)，并因此而享譽(yù)世界。他在 30 多年研究生涯中所做出的獨(dú)創(chuàng)性和里程碑式的研究成果與他在推進(jìn)工程知識(shí)方面的杰出領(lǐng)導(dǎo)力，對(duì)人工智能及深度學(xué)習(xí)的社會(huì)進(jìn)程帶來了令人驚嘆的影響。

「道阻且長(zhǎng)」的神經(jīng)網(wǎng)絡(luò)早期探索之路

鄧力在大學(xué)本科期間學(xué)的專業(yè)是神經(jīng)科學(xué)和生物物理學(xué)，不過他真正走上神經(jīng)網(wǎng)絡(luò)探索之路則是在博士期間。

20 世紀(jì) 80 年代，計(jì)算機(jī)還無法滿足大型神經(jīng)網(wǎng)絡(luò)所要求的算力，也使得這一領(lǐng)域的研究遭遇著不小的瓶頸。當(dāng)時(shí)正在斯康星大學(xué)麥迪遜分校攻讀博士學(xué)位的鄧力，在研究過程中嘗試使用物理模型和神經(jīng)模型來創(chuàng)建人類聽覺模擬和語音識(shí)別神經(jīng)模型，這一研究也同樣受到計(jì)算力等客觀條件的限制，于是他轉(zhuǎn)而嘗試采用提取生物模型特征以及隱馬爾可夫模型的方法。但由于當(dāng)時(shí)這兩個(gè)模型尚不成熟，最終取得的結(jié)果依舊不理想。

即便幾經(jīng)挫敗，鄧力也始終在進(jìn)行著統(tǒng)計(jì)模型和計(jì)算人工神經(jīng)網(wǎng)絡(luò)在內(nèi)的相關(guān)研究，并在加入加拿大滑鐵盧大學(xué)任職終生教授期間與他的一位博士生在合作的一篇論文中提出了一種增強(qiáng)神經(jīng)網(wǎng)絡(luò)記憶的新模型：將（短路）線性項(xiàng)加到非線性項(xiàng)來增強(qiáng)非線性神經(jīng)網(wǎng)絡(luò)的記憶能力。雖然這項(xiàng)成果實(shí)現(xiàn)了一個(gè)完整的系統(tǒng)，然而當(dāng)真正用在語音識(shí)別上時(shí)，性能還是無法超越隱馬爾科夫模型。

有趣的是，當(dāng)時(shí)這位博士生論文的 External Examiner 正是深度學(xué)習(xí)領(lǐng)域赫赫有名的 Geoffrey Hinton。對(duì)于這篇論文，他感慨道，「神經(jīng)網(wǎng)絡(luò)成功真是太難了」。雖然這篇論文最終通過順利讓這位博士生拿到了博士學(xué)位，但是 Hinton 這句意味深長(zhǎng)的感慨也在無形中對(duì)鄧力之后的研究方向起到了一定的影響，讓他不得不暫時(shí)放下神經(jīng)網(wǎng)絡(luò)的研究，轉(zhuǎn)向可行性較高的貝葉斯統(tǒng)計(jì)方法和生成模型。

峰回路轉(zhuǎn)：重拾深度神經(jīng)網(wǎng)絡(luò)，并實(shí)現(xiàn)革命性突破

如果說加入微軟后的鄧力遭遇貝葉斯方法在語音識(shí)別研究上的瓶頸是他不得不重新考慮神經(jīng)網(wǎng)絡(luò)模型的契機(jī)之一，那曾經(jīng)感嘆過「神經(jīng)網(wǎng)絡(luò)成功真是太難了」的 Geoffrey Hinton 則是他真正重拾神經(jīng)網(wǎng)絡(luò)并實(shí)現(xiàn)突破性進(jìn)展的「最佳助攻」。

1999 年底，鄧力正式加入微軟美國(guó)研究院，主攻語音識(shí)別的機(jī)器學(xué)習(xí)方向，并采用自己探索了多年的貝葉斯方法進(jìn)行語言識(shí)別研究，然而這種方法無法適應(yīng)增加層數(shù)后帶來的計(jì)算復(fù)雜度的指數(shù)級(jí)增長(zhǎng)，即便他帶領(lǐng)團(tuán)隊(duì)嘗試了很多方法來解決這一出題，最終也還是無法取得理想的進(jìn)展。不過在這種情況下，鄧力依舊還沒有考慮重拾神經(jīng)網(wǎng)絡(luò)來擺脫這一困境的信息，直到鄧力讀到 Geoffrey Hinton 于 2006 年發(fā)表的一篇關(guān)于深度信念網(wǎng)絡(luò)的論文（《A fast learning algorithm for deep belief nets》）。

這篇論文中提出的模型也有多層生成式結(jié)構(gòu)，然而并沒有出現(xiàn)計(jì)算復(fù)雜度無法駕馭的問題，網(wǎng)絡(luò)仍然能夠?qū)κ謱憯?shù)字圖像及其標(biāo)簽的聯(lián)合分布生成表現(xiàn)良好的生成模型。鄧力受此啟發(fā)，意識(shí)到將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到語音識(shí)別的可能性。

一場(chǎng)博士生論文外審，一次來自論文的啟發(fā)，鄧力對(duì)于深度神經(jīng)網(wǎng)絡(luò)的研究之路似乎跟 Geoffrey Hinton 結(jié)下千絲萬縷的關(guān)聯(lián)，2009 年，鄧力不僅邀請(qǐng) Geoffrey Hinton 作為他的顧問來共同探索深度神經(jīng)網(wǎng)絡(luò)在語音識(shí)別上的應(yīng)用，二者還在 NIPS 2009 會(huì)議上聯(lián)合組織了「2019 Workshop on Deep Learning for Speech Recognition and Related Applications」，分享嘗試使用新方法訓(xùn)練的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在語音識(shí)別上初步取得的可喜的進(jìn)展。

有了這些成果作為基礎(chǔ)，2010 年，鄧力帶領(lǐng)他的微軟團(tuán)隊(duì)進(jìn)行了大規(guī)模的實(shí)驗(yàn)，終于「守得云開見月明」，實(shí)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)在工業(yè)界的大型語音識(shí)別上的革命性突破，也讓這個(gè)「2010 年」成為中國(guó)的語音領(lǐng)域的一個(gè)重要年份。

這一年，鄧力和其團(tuán)隊(duì)成員俞棟探索用深度神經(jīng)網(wǎng)絡(luò)來改善大詞匯語音識(shí)別的項(xiàng)目，并一同提出使用深層神經(jīng)網(wǎng)絡(luò)對(duì)一種比音素小很多、叫做 senones 的建模單元直接建模的方法。

另外值得一提的是，在這個(gè)項(xiàng)目開始之前，鄧力還作為團(tuán)隊(duì)經(jīng)理為微軟西雅圖研究院招來了 Geoffrey Hinton 的兩位研究生（Abdo Mohamed 和 George Dahl）作為實(shí)習(xí)生，也正是 George Dahl 在 GPU 方面的豐富經(jīng)驗(yàn)，對(duì)于這個(gè)研究項(xiàng)目起到了巨大的推動(dòng)作用；隨后鄧力和俞棟又嘗試將前饋神經(jīng)網(wǎng)絡(luò)（FeedForward Deep Neural Network，F(xiàn)FDNN）引入到聲學(xué)模型建模中，將 FFDNN 的輸出層概率應(yīng)用于替換之前 GMM-HMM 中使用 GMM 計(jì)算的輸出概率，取得了具有突破性的效果。

基于這一系列的成果，鄧力和 Geoffrey Hinton 合作了論文《Deep Neural Networks for Acoustic Modeling in Speech Recognition》，經(jīng)過近一年的審稿和修改并在 2012 年底將其在 IEEE Signal Processing Magazine （當(dāng)時(shí)鄧力剛剛從這家 IEEE 影響因子最高的雜志主編職位下任）正式發(fā)表。

該論文不僅講述了深度神經(jīng)網(wǎng)絡(luò)對(duì)語音識(shí)別產(chǎn)生的影響，還闡述了如何將不同的機(jī)器學(xué)習(xí)方法（包括深度神經(jīng)網(wǎng)絡(luò)的方法）整合起來，為大規(guī)模的語音識(shí)別帶來了重大的進(jìn)展。這篇論文的被引用量已超過 5600 次，成為近代語音識(shí)別領(lǐng)域中最重要的論文。

時(shí)至今日，Geoffrey Hinton 與 Yoshua Bengio、Yann LeCun 一同摘下了2018 年圖靈獎(jiǎng)，更是證明了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)這一方向的正確性和影響力。而鄧力曾在 2016 年底同李開復(fù)分別向圖靈獎(jiǎng)評(píng)選委員會(huì)主席寫信推薦和支持 Geoffrey Hinton 獲獎(jiǎng)，一時(shí)也成為業(yè)內(nèi)佳話。

當(dāng)紐約時(shí)報(bào) 2019 年 3 月 27 日首次報(bào)道加拿大深度學(xué)習(xí)的先驅(qū)獲圖靈獎(jiǎng)時(shí)，更是引用了鄧力對(duì) Hinton 杰出成就的高度評(píng)價(jià)。

離開任職十幾年的微軟，跨界金融領(lǐng)域

2017 年，鄧力離職記載了他十幾年光輝歲月的微軟，轉(zhuǎn)身投向金融領(lǐng)域，加入對(duì)沖基金公司 Citadel 擔(dān)任首席人工智能官（Chief Artificial-Intelligence Officer），立志要讓深度學(xué)習(xí)和人工智能技術(shù)在這個(gè)他認(rèn)為機(jī)會(huì)已相對(duì)成熟的金融領(lǐng)域大顯神通。

Citadel 對(duì)于投資者來說應(yīng)該并不陌生。它成立于 1990 年，是美國(guó)長(zhǎng)期以來二級(jí)市場(chǎng)投資最成功的對(duì)沖基金公司之一。它擁有傳統(tǒng)量化投資和高頻交易最出色最優(yōu)秀的專家，在見到深度學(xué)習(xí)在高科技成功之時(shí)就熱切期望同勇于跨入金融業(yè)界全新廣闊領(lǐng)域的人工智能專家進(jìn)行最有效的合作。

投資公司在量化投資、高頻交易的人工智能布局就一直被業(yè)內(nèi)外人士關(guān)注。對(duì)于以高頻交易為長(zhǎng)的 Citadel 來說，計(jì)算機(jī)技術(shù)和交易策略算法就稱得上是它的安身立命之本了，因此其在機(jī)器學(xué)習(xí)上的布局需求不言而喻。

而受邀加入 Citadel 擔(dān)任首席人工智能官的鄧力，他加盟之前的主要研究方向便是應(yīng)用于大數(shù)據(jù)、語音、文本、圖像和多模態(tài)處理的深度學(xué)習(xí)和機(jī)器智能方法。在業(yè)界沉浮多年時(shí)間里，鄧力在進(jìn)行學(xué)術(shù)研究的同時(shí)，在微軟內(nèi)部對(duì)人工智能技術(shù)商業(yè)化落地方面的實(shí)踐也有很大的造詣。

2014 年，鄧力在微軟創(chuàng)立深度學(xué)習(xí)技術(shù)中心 DLTC 后，帶領(lǐng)團(tuán)隊(duì)在深度學(xué)習(xí)的應(yīng)用拓展方面做出了不少成果，其中就包括互聯(lián)網(wǎng)搜索問答、電子郵件及企業(yè)文件搜索、多模態(tài)深度學(xué)習(xí)、市場(chǎng)銷售數(shù)據(jù)的深度學(xué)習(xí)與商業(yè)應(yīng)用等等。到了 2016 年，他進(jìn)一步面向?qū)嶋H問題的解析性和不確定性問題，研究如何將深度學(xué)習(xí)與不同的機(jī)器學(xué)習(xí)方法進(jìn)行整合，從而讓人工智能做出對(duì)使用者有解釋性的最優(yōu)決策。

如此看來，鄧力在自然語言、商業(yè)數(shù)據(jù)分析和提煉洞見方面頗深的積淀與 Citadel 在機(jī)器學(xué)習(xí)和人工智能上的布局需求可謂是不謀而合的。對(duì)于 Citadel 來說，鄧力的加入將能夠極大地助其解決量化模型建立、風(fēng)險(xiǎn)判斷、價(jià)格趨勢(shì)預(yù)測(cè)、評(píng)估交易者的非理性行為等等問題，讓機(jī)器學(xué)習(xí)在數(shù)據(jù)分析問題上甚至發(fā)揮得比人類更好；而對(duì)于看重技術(shù)落地的鄧力而言，投資機(jī)構(gòu)則是一個(gè)不可多得的數(shù)據(jù)充沛的載體，他能將模型和算法的成果在大規(guī)模的數(shù)據(jù)集上進(jìn)行驗(yàn)證，從而對(duì)機(jī)器學(xué)習(xí)在應(yīng)用場(chǎng)景中需要解決的現(xiàn)實(shí)問題進(jìn)行更深入的探究， 并解決傳統(tǒng)量化金融模型目前解決不了的問題。關(guān)于人工智能應(yīng)用于金融投資領(lǐng)域，我們可以從鄧力去年在 MIT Technology Review EmTech 大會(huì)的公開演中看到他講的三大挑戰(zhàn)，以及從他在 University of California-Berkeley Hass 商學(xué)院的公開訪談中了解他的相關(guān)見解。