NVIDIA 發(fā)布了 TensorRT 8.2 ,對(duì)十億參數(shù) NLU 模型進(jìn)行了優(yōu)化。其中包括 T5 和 GPT-2 ,用于翻譯和文本生成,使實(shí)時(shí)運(yùn)行 NLU 應(yīng)用程序成為可能。
TensorRT 是一款高性能的深度學(xué)習(xí)推理優(yōu)化器和運(yùn)行時(shí),為人工智能應(yīng)用程序提供低延遲、高吞吐量推理。 TensorRT 用于醫(yī)療、汽車、制造、互聯(lián)網(wǎng)/電信服務(wù)、金融服務(wù)和能源等多個(gè)行業(yè)。
PyTorch 和 TensorFlow 是擁有數(shù)百萬用戶的最流行的深度學(xué)習(xí)框架。新的 TensorRT 框架集成現(xiàn)在在 PyTorch 和 TensorFlow 中提供了一個(gè)簡(jiǎn)單的 API ,并提供了強(qiáng)大的 FP16 和 INT8 優(yōu)化,從而將推理速度提高了 6 倍。
亮點(diǎn)包括
TensorRT 8.2:T5 和 GPT-2 的優(yōu)化運(yùn)行實(shí)時(shí)翻譯和摘要,與 CPU 相比,性能提高了 21 倍。
TensorRT 8.2 :適用于使用 Windows 的開發(fā)人員的簡(jiǎn)單 Python API 。
Torch TensorRT:PyTorch 的集成與 GPU 上的框架內(nèi)推理相比,僅需一行代碼即可提供高達(dá) 6 倍的性能。
TensorFlow TensorRT:TensorFlow 與 TensorRT 的集成提供了比使用一行代碼在 GPU 上進(jìn)行框架內(nèi)推理快 6 倍的性能。
資源
Torch- TensorRT 在 NGC catalog 的 PyTorch 容器中提供。
TensorFlow- TensorRT 目前可從 NGC catalog 的 TensorFlow 容器中獲得。
TensorRT 免費(fèi)提供給 NVIDIA 開發(fā)程序 的成員。
關(guān)于作者
About Jay Rodge
Jay Rodge 是 NVIDIA 的產(chǎn)品營銷經(jīng)理,負(fù)責(zé)深入學(xué)習(xí)和推理產(chǎn)品,推動(dòng)產(chǎn)品發(fā)布和產(chǎn)品營銷計(jì)劃。杰伊在芝加哥伊利諾伊理工學(xué)院獲得計(jì)算機(jī)科學(xué)碩士學(xué)位,主攻計(jì)算機(jī)視覺和自然語言處理。在 NVIDIA 之前,杰伊是寶馬集團(tuán)的人工智能研究實(shí)習(xí)生,為寶馬最大的制造廠使用計(jì)算機(jī)視覺解決問題。
審核編輯:郭婷
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4817瀏覽量
102637 -
互聯(lián)網(wǎng)
+關(guān)注
關(guān)注
54文章
11040瀏覽量
102449 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5439瀏覽量
120794
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論