從8小時(shí)到80秒，NVIDIA如何實(shí)現(xiàn)AI訓(xùn)練用時(shí)大突破？

“天下武功，唯快不破”，你需要以“快”制勝。

如今，全球頂級(jí)公司的研究人員和數(shù)據(jù)科學(xué)家團(tuán)隊(duì)們都在致力于創(chuàng)建更為復(fù)雜的AI模型。但是，AI模型的創(chuàng)建工作不僅僅是設(shè)計(jì)模型，還需要對(duì)模型進(jìn)行快速地訓(xùn)練。

這就是為什么說，如果想在AI領(lǐng)域保持領(lǐng)導(dǎo)力，就首先需要有賴于AI基礎(chǔ)設(shè)施的領(lǐng)導(dǎo)力。而這也正解釋了為什么MLPerf AI訓(xùn)練結(jié)果如此之重要。

通過完成全部6項(xiàng)MLPerf基準(zhǔn)測(cè)試，NVIDIA展現(xiàn)出了全球一流的性能表現(xiàn)和多功能性。NVIDIA AI平臺(tái)在訓(xùn)練性能方面創(chuàng)下了八項(xiàng)記錄，其中包括三項(xiàng)大規(guī)模整體性能紀(jì)錄和五項(xiàng)基于每個(gè)加速器的性能紀(jì)錄。

表1：NVIDIA MLPerf AI紀(jì)錄

每個(gè)加速器的比較基于早前報(bào)告的基于單一NVIDIA DGX-2H（16個(gè)V100 GPU）、與其他同規(guī)模相比較的MLPerf 0.6的性能（除MiniGo采用的是基于8個(gè)V100 GPU的NVIDIA DGX-1）|最大規(guī)模MLPerf ID：Mask R-CNN：0.6-23，GNMT：0.6-26，MiniGo：0.6-11 |每加速器MLPerf ID：Mask R-CNN，SSD，GNMT，Transformer：全部使用0.6-20，MiniGo：0.6-10

以上測(cè)試結(jié)果數(shù)據(jù)由谷歌、英特爾、百度、NVIDIA、以及創(chuàng)建MLPerf AI基準(zhǔn)測(cè)試的其他數(shù)十家頂級(jí)技術(shù)公司和大學(xué)提供背書，能夠轉(zhuǎn)化為具有重要意義的創(chuàng)新。

簡(jiǎn)而言之，NVIDIA的AI平臺(tái)如今能夠在不到兩分鐘的時(shí)間內(nèi)完成此前需要一個(gè)工作日才能完成的模型訓(xùn)練。

各公司都知道，釋放生產(chǎn)力是一件重中之重的要?jiǎng)?wù)。超級(jí)計(jì)算機(jī)如今已經(jīng)成為了AI的必備工具，樹立AI領(lǐng)域的領(lǐng)導(dǎo)力首先需要強(qiáng)大的AI計(jì)算基礎(chǔ)設(shè)施支持。

NVIDIA最新的MLPerf結(jié)果很好地展示了將NVIDIA V100 Tensor核心GPU應(yīng)用于超算級(jí)基礎(chǔ)設(shè)施中所能帶來的益處。

在2017年春季的時(shí)候，使用搭載了V100 GPU的NVIDIA DGX-1系統(tǒng)訓(xùn)練圖像識(shí)別模型ResNet-50，需要花費(fèi)整整一個(gè)工作日（8小時(shí)）的時(shí)間。

而如今，同樣的任務(wù)，NVIDIA DGX SuperPOD使用相同的V100 GPU，采用Mellanox InfiniBand進(jìn)行互聯(lián)，并借助可用于分布式AI訓(xùn)練的最新NVIDIA優(yōu)化型AI軟件，僅需80秒即可完成。

80秒的時(shí)間，甚至都不夠用來沖一杯咖啡。

圖1：AI時(shí)間機(jī)器
2019年MLPerf ID（按圖表從上到下的順序）：ResNet-50：0.6-30 | Transformer：0.6-28 | GNMT：0.6-14 | SSD：0.6-27 | MiniGo：0.6-11 | Mask R-CNN：0

AI的必備工具：DGX SuperPOD能夠更快速地完成工作負(fù)載

仔細(xì)觀察今日的MLPerf結(jié)果，會(huì)發(fā)現(xiàn)NVIDIA DGX SuperPOD是唯一在所有六個(gè)MLPerf類別中耗時(shí)都少于20分鐘的AI平臺(tái)：
?
圖2：DGX SuperPOD打破大規(guī)模AI紀(jì)錄
大規(guī)模MLPerf 0.6性能|大規(guī)模MLPerf ID：RN50 v1.5：0.6-30,0.6-6 | Transformer：0.6-28,0.6-6 | GNMT：0.6-26,0.6-5 | SSD：0.6-27,0.6-6 | MiniGo：0.6-11,0.6-7 | Mask R-CNN：0.6-23,0.6-3

更進(jìn)一步觀察會(huì)發(fā)現(xiàn)，針對(duì)重量級(jí)目標(biāo)檢測(cè)和強(qiáng)化學(xué)習(xí)，這些最困難的AI問題，NVIDIA AI平臺(tái)在總體訓(xùn)練時(shí)間方面脫穎而出。

使用Mask R-CNN深度神經(jīng)網(wǎng)絡(luò)的重量級(jí)目標(biāo)檢測(cè)可為用戶提供高級(jí)實(shí)例分割。其用途包括將其與多個(gè)數(shù)據(jù)源（攝像頭、傳感器、激光雷達(dá)、超聲波等）相結(jié)合，以精確識(shí)別并定位特定目標(biāo)。

這類AI工作負(fù)載有助于訓(xùn)練自動(dòng)駕駛汽車，為其提供行人和其他目標(biāo)的精確位置。另外，在醫(yī)療健康領(lǐng)域，它能夠幫助醫(yī)生在醫(yī)療掃描中查找并識(shí)別腫瘤。其意義的重要性非同小可。

NVIDIA的“重量級(jí)目標(biāo)檢測(cè)”用時(shí)不到19分鐘，性能幾乎是第二名的兩倍。

強(qiáng)化學(xué)習(xí)是另一有難度的類別。這種AI方法能夠用于訓(xùn)練工廠車間機(jī)器人，以簡(jiǎn)化生產(chǎn)。城市也可以用這種方式來控制交通燈，以減少擁堵。NVIDIA采用NVIDIA DGX SuperPOD，在創(chuàng)紀(jì)錄的13.57分鐘內(nèi)完成了對(duì)MiniGo AI強(qiáng)化訓(xùn)練模型的訓(xùn)練。

咖啡還沒好，任務(wù)已完成：即時(shí)AI基礎(chǔ)設(shè)施提供全球領(lǐng)先性能

打破基準(zhǔn)測(cè)試紀(jì)錄不是目的，加速創(chuàng)新才是目標(biāo)。這就是為什么NVIDIA構(gòu)建的DGX SuperPOD不僅性能強(qiáng)大，而且易于部署。

DGX SuperPOD全面配置了可通過NGC容器注冊(cè)表免費(fèi)獲取的優(yōu)化型CUDA-X AI軟件，可提供開箱即用的全球領(lǐng)先AI性能。

在這個(gè)由130多萬名CUDA開發(fā)者組成的生態(tài)系統(tǒng)中，NVIDIA與開發(fā)者們合作，致力于為所有AI框架和開發(fā)環(huán)境提供有力支持。

我們已經(jīng)助力優(yōu)化了數(shù)百萬行代碼，讓我們的客戶能夠?qū)⑵銩I項(xiàng)目落地，無論您身在何處都可以找到NVIDIA GPU，無論是在云端，還是在數(shù)據(jù)中心，亦或是邊緣。

AI基礎(chǔ)設(shè)施如今有夠快，未來會(huì)更快

更好的一點(diǎn)在于，這一平臺(tái)的速度一直在提升。NVIDIA每月都會(huì)發(fā)布CUDA-X AI軟件的新優(yōu)化和性能改進(jìn)，集成型軟件堆?？稍贜GC容器注冊(cè)表中免費(fèi)下載，包括容器化的框架、預(yù)先訓(xùn)練好的模型和腳本。

借助在CUDA-X AI軟件堆棧上的創(chuàng)新，NVIDIA DGX-2H服務(wù)器的MLPerf 0.6吞吐量比NVIDIA七個(gè)月前發(fā)布的結(jié)果提升了80％。

圖3：基于同一服務(wù)器，性能提升高達(dá)80％
對(duì)單個(gè)歷元上單一DGX-2H服務(wù)器的吞吐量進(jìn)行比較（數(shù)據(jù)集單次通過神經(jīng)網(wǎng)絡(luò)）| MLPerf ID 0.5 / 0.6比較：ResNet-50 v1.5: 0.5-20/0.6-30 | Transformer: 0.5-21/0.6-20 | SSD: 0.5-21/0.6-20 | GNMT: 0.5-19/0.6-20 | Mask R-CNN: 0.5-21/0.6-20