在近日舉辦的re:Invent開發(fā)人員大會上,AWS宣布推出全新的AI訓(xùn)練芯片AWS Trainium,這是該公司用于訓(xùn)練機(jī)器學(xué)習(xí)模型的下一代定制芯片。該公司承諾,通過對TensorFlow,PyTorch和MXNet的支持,它可以提供比云中任何競爭對手更高的性能。
據(jù)亞馬遜方面介紹,AWS Trainium是由AWS設(shè)計的第二個定制的 機(jī)器學(xué)習(xí)(ML)芯片,為在云中訓(xùn)練ML模型提供最佳的性價比。除了提供最具成本效益的ML訓(xùn)練外,Trainium還為云中的ML提供了最高的性能和最大的萬億次運算(TFLOPS)計算能力,并支持更廣泛的ML應(yīng)用。
從他們提供的數(shù)據(jù)可以看到,亞馬遜新芯片與標(biāo)準(zhǔn)的AWS GPU實例相比,帶來了30%的吞吐量提升,并將每次使用成本降低了45%。
亞馬遜指出,Trainium芯片專門針對深度學(xué)習(xí)培訓(xùn)工作負(fù)載進(jìn)行了優(yōu)化,適用于圖像分類,語義搜索,翻譯,語音識別,自然語言處理和推薦引擎等應(yīng)用。
按照亞馬遜的說法,隨著ML的使用加速,我們迫切需要通過推理和訓(xùn)練來提高性能并降低基礎(chǔ)架構(gòu)成本。去年,AWS推出了AWS Inferentia,這是一種定制芯片,可為客戶提供云中最低成本的高性能ML推理。雖然Inferentia解決了推理成本,即使該成本占ML基礎(chǔ)架構(gòu)成本的90%,但許多開發(fā)團(tuán)隊也還受到固定ML訓(xùn)練預(yù)算的限制。這限制了改進(jìn)模型和應(yīng)用程序所需的培訓(xùn)范圍和頻率。AWS Trainium通過為云中的ML培訓(xùn)提供最高的性能和最低的成本來應(yīng)對這一挑戰(zhàn)。借助Trainium和Inferentia,客戶將擁有從擴(kuò)展培訓(xùn)工作量到部署加速推理的ML計算的端到端流程。
亞馬遜進(jìn)一步指出,AWS Trainium與AWS Inferentia共享相同的AWS神經(jīng)元SDK,這就方便Inferentia開發(fā)人員開始使用Trainium。由于Neuron SDK已與包括TensorFlow,PyTorch和MXNet在內(nèi)的流行ML框架集成在一起,因此開發(fā)人員可以通過最少的代碼更改輕松地從基于GPU的實例遷移到AWS Trainium。
據(jù)介紹,AWS Trainium可通過Amazon EC2實例和AWS Deep Learning AMI以及包括Amazon SageMaker,Amazon ECS,EKS和AWS Batch在內(nèi)的托管服務(wù)使用。
因為沒有基準(zhǔn)測試結(jié)果,所以我們尚不清楚Trainium的性能在與Google的張量處理單元(TPU)進(jìn)行比較時,誰更厲害。后者是Google托管在Google Cloud Platform中的AI訓(xùn)練工作負(fù)載的芯片。谷歌表示,即將推出的第四代TPU提供的矩陣乘法萬億次運算能力是第三代TPU的兩倍以上。(矩陣通常用于表示輸入到AI模型的數(shù)據(jù)。)它還提供了“顯著”的內(nèi)存帶寬提升,同時受益于互連技術(shù)的進(jìn)步。
過去,機(jī)器學(xué)習(xí)的部署受到算法的大小和速度以及對昂貴硬件的需求的限制。實際上, 麻省理工學(xué)院的一份報告發(fā)現(xiàn),機(jī)器學(xué)習(xí)可能正在接近計算極限。一項單獨的Synced 研究估計,華盛頓大學(xué)的Grover假新聞檢測模型在大約兩周內(nèi)花費了25,000美元進(jìn)行訓(xùn)練。據(jù)報道,OpenAI花費了高達(dá)1200萬美元來訓(xùn)練其GPT-3語言模型,而Google估計花費了6,912美元來訓(xùn)練BERT,這是一種雙向轉(zhuǎn)換器模型,可為11種自然語言處理任務(wù)重新定義最先進(jìn)的技術(shù)。
隨著企業(yè)需求的增長,Amazon越來越傾向于轉(zhuǎn)向AI和機(jī)器學(xué)習(xí)訓(xùn)練以及推理服務(wù)。根據(jù)一項估計,2017年全球機(jī)器學(xué)習(xí)市場的價值為15.8億美元,預(yù)計到2024年將達(dá)到208.3億美元。11月,亞馬遜宣布將Alexa和Rekognition的部分計算轉(zhuǎn)移到Inferentia支持的實例上,旨在使工作更快,更便宜,同時將其從Nvidia芯片上移開。當(dāng)時,該公司聲稱將部分Alexa工作轉(zhuǎn)移到Inferentia,從而使延遲時間縮短了25%,而成本卻降低了30%。
責(zé)任編輯:tzh
-
芯片
+關(guān)注
關(guān)注
452文章
50005瀏覽量
419706 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8323瀏覽量
132183 -
亞馬遜
+關(guān)注
關(guān)注
8文章
2613瀏覽量
83035
發(fā)布評論請先 登錄
相關(guān)推薦
評論