AI寒冬將至？深度學(xué)習(xí)的“新江湖”

自2018年底發(fā)布全棧全場景AI戰(zhàn)略以來，華為憑借其巨大算力優(yōu)勢強(qiáng)勢挺進(jìn)AI江湖，特別是今年8月23日發(fā)布全球算力最強(qiáng)的AI處理器昇騰910，迅速將其江湖地位拉升至全球頭部陣列。各路巨頭也迅速意識到：華為不只有5G和手機(jī)，在基礎(chǔ)研究中的巨大投入正在幫助其占據(jù)未來制高點(diǎn)。

由于AI生態(tài)形成一直處于“不瘟不火”的狀態(tài)，也讓業(yè)界為AI前路多了幾分擔(dān)憂，特別是算力稀缺問題難以解決，更是為其蒙上了一層陰影。

在“AI寒冬將至”的疑惑之中，后入局的華為卻絲毫沒有放慢其前進(jìn)的腳步，一年之內(nèi)，AI處理器、計算框架相繼落地。洞察從何而來？自信從何而來？底牌從何而來？

“讓算力更加普惠，讓算法更加簡單”，即將舉行的2019全聯(lián)接大會，華為又將發(fā)布最新的AI和云產(chǎn)品與解決方案。答案，即將浮出水面。

AI寒冬將至？

1956年，時任達(dá)特矛斯學(xué)院助理教授的約翰·麥卡錫組織召集了達(dá)特矛斯討論，正是在這次會議上，第一次正式提出了“人工智能”的定義。從那以后的60年里，人工智能經(jīng)歷了兩次發(fā)展的低谷，即所謂的“冬天”，但其發(fā)展的腳步并未就此停止。

2018年，在一次業(yè)界會議上，創(chuàng)新工場CEO李開復(fù)在講話中表示，機(jī)器學(xué)習(xí)最大的突破是在9年前取得的，之后再沒有重大突破。

可以看到，最近持相似觀點(diǎn)的講話越來越多。多年來，深度學(xué)習(xí)一直處于人工智能革命的最前沿，許多人相信深度學(xué)習(xí)將帶領(lǐng)我們進(jìn)入新的時代。然而，從幾年前如火如荼，到如今的逐漸冷卻，浪潮一再的退去。面對疲軟的風(fēng)口，人工智能將何去何從，AI寒冬是否將至，深度學(xué)習(xí)能否助力AI技術(shù)續(xù)寫輝煌？

深度學(xué)習(xí)的“新江湖”

說到深度學(xué)習(xí)與人工智能的關(guān)系，簡單來說就是：將海量數(shù)據(jù)通過深度學(xué)習(xí)進(jìn)行處理后形成一個模型，再將模型應(yīng)用到具體的業(yè)務(wù)環(huán)境中，這就是人工智能?？梢哉f，深度學(xué)習(xí)是人工智能的重要推動力量。

當(dāng)然，深度學(xué)習(xí)只是人工智能的一種實(shí)現(xiàn)方式，屬于機(jī)器學(xué)習(xí)的子集。深度學(xué)習(xí)本來并不是一種獨(dú)立的學(xué)習(xí)方法，其本身也會用到有監(jiān)督和無監(jiān)督等學(xué)習(xí)方法來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但由于近幾年該領(lǐng)域發(fā)展迅猛，一些特有的學(xué)習(xí)手段相繼被提出（如殘差網(wǎng)絡(luò)），因此越來越多的人將其單獨(dú)看作一種學(xué)習(xí)的方法。

最初的深度學(xué)習(xí)是利用深度神經(jīng)網(wǎng)絡(luò)來解決特征表達(dá)的一種學(xué)習(xí)過程。為了提高深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，人們對神經(jīng)元的連接方法和激活函數(shù)等方面做出相應(yīng)的調(diào)整。其實(shí)有不少想法早年間也曾有過，但由于當(dāng)時訓(xùn)練數(shù)據(jù)量不足、計算能力落后，因此最終的效果不盡如人意。

隨著海量標(biāo)注數(shù)據(jù)的出現(xiàn)和算法的不斷提升，深度學(xué)習(xí)摧枯拉朽般地實(shí)現(xiàn)了各種任務(wù)，使得似乎所有的機(jī)器輔助功能都變?yōu)榭赡?，比?a href="http://srfitnesspt.com/v/tag/472/" target="_blank">無人駕駛等。

深度學(xué)習(xí)如此無所不能，主要得益于數(shù)據(jù)、算法、算力三者的共同提升。現(xiàn)在可以利用的數(shù)據(jù)特別是人工標(biāo)注的數(shù)據(jù)比較豐富，使得人類能從數(shù)據(jù)中學(xué)到更多東西。技術(shù)上的發(fā)展使得超大規(guī)模的模型訓(xùn)練也成為了可能，比如上千層的深度神經(jīng)網(wǎng)絡(luò)，這在以前是不可想象的。

但超大規(guī)模模型的復(fù)雜度成指數(shù)級增加，以NLP領(lǐng)域的流行網(wǎng)絡(luò)BERT為例，其包含最大3.4億個參數(shù)，相比原來比較簡單的AlexNet等網(wǎng)絡(luò)，算力需求大概增長了10000倍。這也是OpenAI等組織說AI算力大概每年增長10倍的重要原因之一。

由于以上原因，再加上某些企業(yè)的慣例性供貨緊張，各研究機(jī)構(gòu)和大學(xué)科研室的算力資源一直處于緊張的狀態(tài)，大家經(jīng)常排隊(duì)遞交訓(xùn)練作業(yè)，幾天才能等到結(jié)果。這也引來了深度學(xué)習(xí)領(lǐng)域的經(jīng)典靈魂拷問：深度學(xué)習(xí)什么研究方向?qū)λ懔σ蟛桓?？如何降低算法對算力的需求?/p>

華為AI“破陣”

面對洶涌而至的海量數(shù)據(jù)和不斷復(fù)雜的算法，全球每年新增數(shù)據(jù)20ZB，AI算力需求每年增長10倍，這一速度已經(jīng)遠(yuǎn)超摩爾定律關(guān)于性能翻倍的周期。如何解決這一問題業(yè)界有不同的探索：

l 通過剪枝、權(quán)值共享、算法優(yōu)化等方式降低模型大小，降低對算力的需求，尤其對于移動端設(shè)備；

l 從小樣本進(jìn)行有效學(xué)習(xí)，降低對數(shù)據(jù)規(guī)模和算力的依賴，這樣也可以減少標(biāo)記的工作量；

l 設(shè)計專門針對深度學(xué)習(xí)的加速硬件，從而解決CPU、GPU在芯片面積和效率上的代價問題。

這其中，最根本的方案還是通過硬件和系統(tǒng)的設(shè)計提升算力的供給程度，比如華為發(fā)布的昇騰系列AI處理器，采用達(dá)芬奇架構(gòu)的AI內(nèi)核針對深度學(xué)習(xí)進(jìn)行優(yōu)化設(shè)計，包含矩陣計算單元（Cube Unit）、向量計算單元（Vector Unit）和標(biāo)量計算單元（Scalar Unit），結(jié)合了GPU、TPU、CPU的優(yōu)點(diǎn)。尤其對于深度學(xué)習(xí)領(lǐng)域常用的矩陣乘加運(yùn)算有數(shù)十倍的效率提升。其面向訓(xùn)練領(lǐng)域的昇騰910 AI處理器，單芯片即可提供256TFLOPS的超強(qiáng)計算能力，是業(yè)界水平的兩倍。

但僅僅有芯片是不夠的，還需要通過高速低延時網(wǎng)絡(luò)將芯片組合起來，釋放出AI處理器的強(qiáng)大性能，配合數(shù)據(jù)并行、模型并行等的系統(tǒng)級優(yōu)化設(shè)計才能提供超出現(xiàn)有水平的算力高峰。

據(jù)了解，2019華為全聯(lián)接大會上就將推出這方面的AI新品，如何破解算力稀缺難題，華為看來還有大招。