MLPerf 聯(lián)盟公布7項(xiàng)測(cè)試構(gòu)成了當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域的全新行業(yè)基準(zhǔn)測(cè)試

近日，MLPerf 聯(lián)盟公布了其7項(xiàng)測(cè)試的首批結(jié)果，此7項(xiàng)測(cè)試構(gòu)成了當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域的全新行業(yè)基準(zhǔn)測(cè)試。NVIDIA參與了其中6個(gè)類別的測(cè)試，在這6項(xiàng)測(cè)試中，從單節(jié)點(diǎn)測(cè)試到大規(guī)模測(cè)試，NVIDIA平臺(tái)的測(cè)試結(jié)果都遙遙領(lǐng)先，證明了NVIDIA平臺(tái)方法在加速機(jī)器學(xué)習(xí)領(lǐng)域的強(qiáng)大實(shí)力。

MLPerf 聯(lián)盟的宗旨是“ 致力于確立一套通用的基準(zhǔn)測(cè)試，助力機(jī)器學(xué)習(xí) (ML) 領(lǐng)域跨移動(dòng)設(shè)備和云服務(wù)測(cè)量系統(tǒng)的訓(xùn)練和推理性能?！盢VIDIA 一直以來(lái)都是 MLPerf 聯(lián)盟的主要成員，與其他成員一同積極構(gòu)建、完善和發(fā)展首套商定一致的工作負(fù)載，以便可以跨用例范圍地直接比較各平臺(tái)性能。

作為快速成長(zhǎng)的新興市場(chǎng)，機(jī)器學(xué)習(xí)領(lǐng)域缺少用來(lái)評(píng)估平臺(tái)性能的行業(yè)測(cè)試基準(zhǔn)。雖然 ResNet-50 等網(wǎng)絡(luò)經(jīng)常用作訓(xùn)練和推理的性能代理，但其仍是一套主要基于圖像任務(wù)的單一CNN，不能提供機(jī)器學(xué)習(xí)平臺(tái)的完整性能圖景。機(jī)器學(xué)習(xí)還包含許多其他用例，例如語(yǔ)音、翻譯和推薦系統(tǒng)等。

認(rèn)識(shí) MLPerf

MLPerf 的關(guān)鍵設(shè)計(jì)目標(biāo)之一是工作負(fù)載的多樣化。因此，它涵蓋了對(duì)圖像和自然語(yǔ)言的使用，以及推薦系統(tǒng)和強(qiáng)化學(xué)習(xí)等，共 7 項(xiàng)測(cè)試。目前，這些工作負(fù)載僅可用于測(cè)試訓(xùn)練，未來(lái)版本的工作負(fù)載將計(jì)劃以推理為重點(diǎn)。

NVIDIA最初致力于研究封閉組，旨在針對(duì)ML訓(xùn)練系統(tǒng)（包括硬件和軟件）提供有價(jià)值的對(duì)比。為實(shí)現(xiàn)這一目標(biāo)，封閉組要求所有提交成果均使用相同的數(shù)據(jù)準(zhǔn)備和訓(xùn)練程序來(lái)訓(xùn)練相同的神經(jīng)網(wǎng)絡(luò)模型架構(gòu)。從應(yīng)用程序角度看，這將確保所有條目盡可能等同，性能的差異只歸因于軟件、硬件或規(guī)模不同。選擇封閉組的網(wǎng)絡(luò)模型、數(shù)據(jù)集和訓(xùn)練程序作為當(dāng)今機(jī)器學(xué)習(xí)社區(qū)中的通用計(jì)算方法。另一方面，公開組不用于系統(tǒng)對(duì)比，而是用于鼓勵(lì)網(wǎng)絡(luò)模型架構(gòu)和其算法方面的創(chuàng)新。

NVIDIA提交了7項(xiàng)測(cè)試類別中的6類測(cè)試結(jié)果，未提交強(qiáng)化學(xué)習(xí)測(cè)試，是因?yàn)檫@項(xiàng)測(cè)試基于戰(zhàn)略游戲《GO》，該游戲最初在配備Tesla P100 GPU的服務(wù)器上進(jìn)行開發(fā)。但目前情況是，服務(wù)器中包含重要的CPU組件，因此只能提供有限的擴(kuò)展。

MLPerf分?jǐn)?shù)的計(jì)算方法是，首先測(cè)量訓(xùn)練到達(dá)指定目標(biāo)精度的時(shí)間，然后歸一化為參考平臺(tái)上未執(zhí)行優(yōu)化所需的時(shí)間。歸一化的目的是將不同的基準(zhǔn)測(cè)試轉(zhuǎn)化為相似的分?jǐn)?shù)量級(jí)，因?yàn)楦骰鶞?zhǔn)測(cè)試所需的訓(xùn)練時(shí)間不同。訓(xùn)練時(shí)間和 MLPerf 分?jǐn)?shù)均發(fā)布在 MLPerf 網(wǎng)站上，為此我們以分鐘為單位公布訓(xùn)練時(shí)間。以下是 NVIDIA 達(dá)到收斂結(jié)果的時(shí)間，包括單節(jié)點(diǎn)和大規(guī)模的實(shí)現(xiàn)：

單節(jié)點(diǎn)封閉組 GPU 性能：

測(cè)試平臺(tái)：DGX-2H – 雙路Xeon Platinum 8174、1.5TB 系統(tǒng) RAM、16 個(gè) 32GB Tesla V100 SXM-3 GPU通過(guò)NVSwitch互通。

大規(guī)模封閉組 GPU 性能：

測(cè)試平臺(tái)：DGX-1V 集群，適用于圖像分類和非重復(fù)性翻譯。DGX-2H 集群，適用于重型物體檢測(cè)和輕量型物體檢測(cè)、重復(fù)性翻譯。每個(gè)DGX-1V配備雙路 Xeon E5-2698 V4、512GB 系統(tǒng) RAM、8 個(gè)16GB Tesla V100 SXM-2 GPU。每個(gè)DGX-2H配備雙路Xeon Platinum 8174、1.5TB系統(tǒng)RAM、16個(gè)32GB Tesla V100 SXM-3 GPU通過(guò)NVSwitch互通。

從以上數(shù)字可以看出：?jiǎn)蝹€(gè)DGX-2節(jié)點(diǎn)能夠在20分鐘內(nèi)完成多數(shù)工作負(fù)載。在大規(guī)模提交中，除1次測(cè)試外，都在7分鐘內(nèi)完成這些任務(wù)。與第二快的提交相比，GPU的交付速度提高達(dá) 5.3 倍。鑒于深度學(xué)習(xí)早期階段的訓(xùn)練以天和周計(jì)算，上述完成時(shí)間證明我們?cè)谶^(guò)去幾年中取得了巨大進(jìn)步。以下圖表說(shuō)明我們?cè)谟?xùn)練 ResNet-50 模型方面取得的進(jìn)步程度：

很顯然，因?yàn)橐幌盗衅脚_(tái)創(chuàng)新，過(guò)去幾年里性能提升巨大。這些創(chuàng)新包括：

NVLink 結(jié)構(gòu)技術(shù)：Pascal 架構(gòu)中引入NVLink允許GPU以300GB/秒的速度進(jìn)行通信，比PCIe快近10倍。

Tensor Cores：Volta架構(gòu)中引入Tensor Cores，加速了大型矩陣運(yùn)算（這是AI的核心），在單次運(yùn)算中執(zhí)行混合精度矩陣乘法和累加計(jì)算。

NVSwitch：首款節(jié)點(diǎn)交換架構(gòu)，在單個(gè)服務(wù)器節(jié)點(diǎn)中支持16個(gè)全互聯(lián)GPU，并驅(qū)動(dòng)全部8對(duì)GPU 分別以300GB/s的速度同時(shí)通信。這16個(gè)GPU 還可作為單個(gè)大型加速器，擁有0.5TB的統(tǒng)一內(nèi)存空間和每秒2千萬(wàn)億次的深度學(xué)習(xí)計(jì)算性能。

全棧優(yōu)化：方法得當(dāng)

NVIDIA的加速深度學(xué)習(xí)方法包含整套平臺(tái)，并在硬件、軟件和生態(tài)系統(tǒng)支持下持續(xù)創(chuàng)新。這種方法為深度學(xué)習(xí)社區(qū)帶來(lái)巨大的優(yōu)勢(shì)，允許開發(fā)人員在任何提供商的云服務(wù)上使用任何熱門框架，或者使用自己的GPU基礎(chǔ)架構(gòu)實(shí)現(xiàn)卓越的性能。NVIDIA向MLPerf提交的測(cè)試使用MXNet處理圖像分類工作負(fù)載(ResNet-50)，使用PyTorch提交涵蓋翻譯、對(duì)象檢測(cè)和實(shí)例分割以及推薦器的工作負(fù)載。谷歌的TernsorFlow團(tuán)隊(duì)也展示了在谷歌云平臺(tái)上使用NVIDIA V100 GPU處理ResNet-50的出色表現(xiàn)。

這些框架均可在NVIDIA GPU云(NGC)容器注冊(cè)服務(wù)器中免費(fèi)獲取，并且每月更新一次，性能持續(xù)改進(jìn)。此前發(fā)表的一篇博客中說(shuō)明 11 月 18.11 版本的容器中對(duì) NVIDIA 深度學(xué)習(xí)軟件堆棧的最新改進(jìn)。以下將簡(jiǎn)述這些改進(jìn)：

MXNet

添加了 Horovod，改進(jìn)跨多個(gè)節(jié)點(diǎn)訓(xùn)練的性能。

借助小批量 (<= 32) 優(yōu)化大規(guī)模多節(jié)點(diǎn)訓(xùn)練的性能

有關(guān)更多詳細(xì)信息，請(qǐng)參閱AWS上的博客，其中具體概述了MXNet的最新改進(jìn)。

TensorFlow

更新了XLA圖形編譯器，優(yōu)化了運(yùn)算符融合以節(jié)省內(nèi)存帶寬，優(yōu)化了Tensor Core數(shù)據(jù)布局。谷歌最近的一篇博客詳細(xì)介紹了更具體的細(xì)節(jié)。

PyTorch

Apex中新添實(shí)用程序，并融合實(shí)施Adam優(yōu)化器，通過(guò)減少冗余GPU設(shè)備內(nèi)存通道、改進(jìn)卷積翻譯模型的層歸一化性能以及為多進(jìn)程和多節(jié)點(diǎn)訓(xùn)練改進(jìn)DistributedDataParallel包裝器，以提高性能。

cuDNN

多方面顯著性改進(jìn)了卷積性能，尤其在每個(gè)GPU 小批量處理數(shù)據(jù)之時(shí)；優(yōu)化了Tensor Core的Persistent RNNs算法。

DALI

對(duì)象檢測(cè)模型所需的各種圖像預(yù)處理例程提速，現(xiàn)在它們可在GPU上運(yùn)行，而無(wú)需CPU。

結(jié)束語(yǔ)

NVIDIA對(duì)第一組公布結(jié)果感到深受鼓舞，并對(duì)在AI社區(qū)中與各個(gè)框架開發(fā)團(tuán)隊(duì)的合作深感自豪。MLPerf作為一種工具，允許AI平臺(tái)制造商使用一組商定的用例來(lái)比較他們的產(chǎn)品，我們將繼續(xù)與MLPerf聯(lián)盟合作，并隨AI工作負(fù)載的進(jìn)展，迭代這一基準(zhǔn)。以上這些技術(shù)現(xiàn)已面向AI開發(fā)者社區(qū)開放，可從我們的 NGC容器注冊(cè)服務(wù)器獲取。敬請(qǐng)關(guān)注我們的開發(fā)者博客更新，了解有關(guān) TensorFlow、PyTorch和MXNet框架中的具體優(yōu)化的更多信息。www.mlperf.org 上提供MLPerf基準(zhǔn)模型，可根據(jù)相關(guān)基準(zhǔn)目錄中的自述文件運(yùn)行。