從圖像理解到語音識別 是如何研究和量化機器學(xué)習(xí)的

　　在于北京召開的《麻省理工科技評論》新興科技峰會EmTech China上，作為亞馬遜旗下最賺錢云服務(wù)部門 AWS 的核心人物，亞馬遜AWS首席科學(xué)家Animashree Anandkumar解讀我們該如何研究和量化機器學(xué)習(xí)。

　　深度學(xué)習(xí)需要經(jīng)過多層甚至數(shù)百層的處理過程，機器學(xué)習(xí)也會在不同的GPU，進行跨機器、跨設(shè)備處理，這就需要網(wǎng)絡(luò)技術(shù)。

　　而多域模型能夠幫助我們同時處理科學(xué)、工程，各種領(lǐng)域方面的應(yīng)用。亞馬遜就一直致力于尋求機器學(xué)習(xí)多域模型的解決方案，以及多領(lǐng)域的應(yīng)用如何能夠在云上進行計算。

　　那么亞馬遜是如何運作當前的深度學(xué)習(xí)模式呢？以下為鎂客網(wǎng)整理分享的Animashree Anandkumar現(xiàn)場演講內(nèi)容：

　　深度學(xué)習(xí)有很廣泛的運用領(lǐng)域，我們有一些專門的項目會應(yīng)用到不同的硬件基礎(chǔ)設(shè)施中。Mxnet就是其中的一個深度學(xué)習(xí)引擎，這個項目首先由大學(xué)里的研究員開發(fā)，現(xiàn)在我們正在AWS開發(fā)這個引擎。

　　這個引擎的優(yōu)點是顯而易見的。它建立了一個網(wǎng)絡(luò)，讓編程過程、表述、特征描述、風(fēng)格都非常靈活、方便，提高了程序員的效率。同時也提供了很好的語言支持，且前后端自動對接，提高了編程的效率。

　　這個網(wǎng)絡(luò)有一些固定的數(shù)據(jù)，相互連接的層級會在輸入和輸出之間進行連接。在計算順序方面，他們有一定的序列關(guān)系，我們制定了圖表來自動進行平行的對比。它還實現(xiàn)了記憶進行自動化，這樣在代碼運算時也提高了效率。

　　我們也用多GPU的訓(xùn)練提升效率。一個機器上面會有多個GPU進行數(shù)據(jù)并行化，可以同時獲得大量的數(shù)據(jù)。中央數(shù)據(jù)是來自于不同CPU等級上面的網(wǎng)絡(luò)，數(shù)據(jù)不斷地向下劃分，進入各個GPU。

　　GPU需要進行處理時發(fā)現(xiàn)了相似的內(nèi)容就會進行整合，也增加了我們的效率。GPU可以在Mxnet上面整合運算結(jié)果，這樣成本也比較低。同時我們也提升了Mxnet的性能。增加了GPU以后，整個輸入輸出效率也會翻番。這是在AWS基建上運行的，包括B2X和B22X。

　　所有的服務(wù)里面， Mxent的效率最高，達到了91%，包括Resnet和Inception v3和Alexnet。這是有多個GPU的單一基體。在多基體上每一個機器都有16個GPU，組合到一起后，所有的數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)就會影響效率。但我們的效率并沒有降低很多，因為Mxnet的打造非常緊密，可以提升效率。所以我們可以進行這種分布式的多機器的訓(xùn)練。這

　　些現(xiàn)在也可以應(yīng)用于一些情景的運行以及我們多GPU和CPU的框架之中。我們也希望可以提供這樣的技術(shù)給我們的消費者，讓他們知道我們分布式的訓(xùn)練有非常好的技術(shù)包裹，可以幫助我們進行網(wǎng)絡(luò)壓縮以及網(wǎng)絡(luò)解壓，提供好的技術(shù)服務(wù)。

　　所有的這些框架，都可以應(yīng)用于我們的機器學(xué)習(xí)平臺CHMaker。這是多機器學(xué)習(xí)的一個平臺，所有的分布式深度學(xué)習(xí)框架都可以在這個平臺上進行運行，比如說TensorFlow、Mxnet。我們的平臺除MxNet之外可以支持所有的框架，我們希望可以給我們的用戶更多靈活的選擇。

　　除此之外，DeepLens也是我們最近發(fā)布的第一款深度學(xué)習(xí)的攝像頭，可以提供很多的服務(wù)，比如語言、語句、計算機視覺等。使用者不需要培訓(xùn)自己的學(xué)習(xí)模型，完全可以使用我們的服務(wù)。我們整個系統(tǒng)都具有很多的解決方案。