Google在最新一輪MLPerf基準(zhǔn)測(cè)試中推出最新的Tensor處理單元芯片

近日，?Google?AI負(fù)責(zé)人Jeff?Dean發(fā)推文表示，在最新一輪MLPerf基準(zhǔn)測(cè)試中，Google新的ML超級(jí)計(jì)算機(jī)和最新的Tensor處理單元（TPU）芯片，打破了6項(xiàng)MLPerf基準(zhǔn)測(cè)試記錄。

這6個(gè)模型分別是用于排名與推薦的DLRM模型;常用于自然語(yǔ)言處理的Transformer;還有Google搜尋所使用的BERT模型;廣泛用于圖像分類的ResNet-50模型;可在移動(dòng)設(shè)備上執(zhí)行的輕量級(jí)物體偵測(cè)模型SSD;以及圖像分割模型Mask?R-CNN。

谷歌在博客中披露，該超級(jí)計(jì)算機(jī)包括4096個(gè)TPU?V3芯片和CPU數(shù)百個(gè)主機(jī)上的，并提供超過430?PFLOPs的峰值性能。較前一代TPU?v3相比，擁有兩倍的矩陣乘法效能，而且存儲(chǔ)器頻寬大幅增加，內(nèi)部相連技術(shù)也獲得改善，利用MLPerf基準(zhǔn)測(cè)試比較TPU?v4和TPU?v3，TPU?v4平均效能提升2.7倍，最大的效能差異是用于訓(xùn)練Mask?R-CNN，TPU?v4的效能是TPU?v3的3.7倍。

Google使用TensorFlow、JAX和Lingvo中的機(jī)器學(xué)習(xí)模型實(shí)作，從零開始訓(xùn)練Transformer、SSD、BERT以及ResNet-50模型，訓(xùn)練時(shí)間皆在30秒之內(nèi)。而在2015年時(shí)，即便用最快的硬件加速器，訓(xùn)練其中一種模型，都需要花費(fèi)3個(gè)多星期，現(xiàn)今相當(dāng)于把相同模型的訓(xùn)練速度提升5個(gè)數(shù)量級(jí)。
責(zé)任編輯:pj