今天是MLPerf Inference基準(zhǔn)測試結(jié)果的第二輪發(fā)布(0.7版)。與7月份宣布的最新培訓(xùn)結(jié)果一樣,新的推論數(shù)字表明提交的公司數(shù)量有所增加,支持的平臺和工作負(fù)載也有所增加。MLPerf推斷編號分為四類-數(shù)據(jù)中心,邊緣,移動和筆記本。提交的數(shù)量從43個(gè)增加到327個(gè),提交的公司數(shù)量從僅僅9個(gè)增加到21個(gè)。提交的公司包括半導(dǎo)體公司,設(shè)備OEM和幾個(gè)測試實(shí)驗(yàn)室。這輪提交的明顯遺漏包括Google和所有中國公司,包括先前的參與者阿里巴巴和騰訊。
作為快速更新,MLPerf是一個(gè)行業(yè)協(xié)會,旨在開發(fā)機(jī)器學(xué)習(xí)(ML)/人工智能(AI)解決方案的標(biāo)準(zhǔn)。MLPerf是一組基準(zhǔn)測試的匯編,用于測量ML / AL硬件,軟件和服務(wù)的訓(xùn)練和推理性能。最新的Inference v0.7結(jié)果僅是第二次發(fā)布推理結(jié)果。第一次是大約一年前。MLPerf組織正在不斷努力,以代表真實(shí)AI工作負(fù)載的新模型或增強(qiáng)模型來增強(qiáng)基準(zhǔn)套件。此外,該組織正在努力提高測試頻率,以每年至少兩次為目標(biāo),正在考慮允許在主要版本之間發(fā)布測試結(jié)果,并努力添加其他限定詞,例如用于評估AI平臺效率的功耗數(shù)據(jù)。測試結(jié)果可以由電子價(jià)值鏈中的任何公司提供,并可以進(jìn)行隨機(jī)審核。
每個(gè)細(xì)分類別都包括一個(gè)“封閉”和“開放”細(xì)分。“封閉”部分是指使用與參考模型相同的工作量模型運(yùn)行的測試。“開放”部分允許更改模型,以便供應(yīng)商可以展示相對于其他目標(biāo)工作負(fù)載的性能。此外,還有一些細(xì)分市場-當(dāng)前市場上的產(chǎn)品“可用”,未來六個(gè)月內(nèi)市場上的產(chǎn)品的“預(yù)覽”,以及仍在開發(fā)中或剛剛考慮的產(chǎn)品的“研究,開發(fā)或內(nèi)部”實(shí)驗(yàn)室項(xiàng)目。為了保持一致,我們大多數(shù)分析都集中在封閉和可用的細(xì)分上。在某些情況下,產(chǎn)品沒有所有測試的編號,因?yàn)闆]有提交編號或無法達(dá)到最低99%的準(zhǔn)確度等級。由于基準(zhǔn)套件不斷變化,在套件達(dá)到更成熟的狀態(tài)之前,將數(shù)字與以前的結(jié)果進(jìn)行比較并不是特別有用。但是,從結(jié)果中可以收集到很多東西。
對于數(shù)據(jù)中心應(yīng)用,推理0.7v測試包括四個(gè)新基準(zhǔn)測試-代表自然語言處理工作負(fù)載的雙向編碼器表示和轉(zhuǎn)換(BERT),代表推薦工作負(fù)載的深度學(xué)習(xí)推薦模型(DLRM),代表醫(yī)學(xué)成像的3D U-Net工作量,以及代表語音到文本工作量的遞歸神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換器(RNN-T)。在封閉類別中,結(jié)果類似于7月份發(fā)布的培訓(xùn)測試結(jié)果。加速平臺在性能上大大超過了純CPU平臺,領(lǐng)先的加速器是GPU,領(lǐng)先的GPU則是英偉達(dá)基于Ampere架構(gòu)的新型A-100 GPU。在每個(gè)工作負(fù)載中,前任領(lǐng)導(dǎo)者特斯拉(T4)GPU的性能提升顯然是顯而易見的。這證明了Ampere架構(gòu)的價(jià)值,該架構(gòu)允許在單個(gè)GPU上進(jìn)行七個(gè)推理分區(qū)。在其他加速器方面,僅Xilinx FPGA代表并且僅在開放類別中。
責(zé)任編輯:lq
-
人工智能
+關(guān)注
關(guān)注
1789文章
46397瀏覽量
236592 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8325瀏覽量
132196 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5442瀏覽量
120799 -
MLPerf
+關(guān)注
關(guān)注
0文章
33瀏覽量
620
發(fā)布評論請先 登錄
相關(guān)推薦
評論