NVIDIA TensorRT 8.2將推理速度提高6倍

NVIDIA 發(fā)布了 TensorRT 8.2 ，對(duì)十億參數(shù) NLU 模型進(jìn)行了優(yōu)化。其中包括 T5 和 GPT-2 ，用于翻譯和文本生成，使實(shí)時(shí)運(yùn)行 NLU 應(yīng)用程序成為可能。

TensorRT 是一款高性能的深度學(xué)習(xí)推理優(yōu)化器和運(yùn)行時(shí)，為人工智能應(yīng)用程序提供低延遲、高吞吐量推理。 TensorRT 用于醫(yī)療、汽車、制造、互聯(lián)網(wǎng)/電信服務(wù)、金融服務(wù)和能源等多個(gè)行業(yè)。

PyTorch 和 TensorFlow 是擁有數(shù)百萬用戶的最流行的深度學(xué)習(xí)框架。新的 TensorRT 框架集成現(xiàn)在在 PyTorch 和 TensorFlow 中提供了一個(gè)簡(jiǎn)單的 API ，并提供了強(qiáng)大的 FP16 和 INT8 優(yōu)化，從而將推理速度提高了 6 倍。

亮點(diǎn)包括

TensorRT 8.2:T5 和 GPT-2 的優(yōu)化運(yùn)行實(shí)時(shí)翻譯和摘要，與 CPU 相比，性能提高了 21 倍。

TensorRT 8.2 ：適用于使用 Windows 的開發(fā)人員的簡(jiǎn)單 Python API 。

Torch TensorRT:PyTorch 的集成與 GPU 上的框架內(nèi)推理相比，僅需一行代碼即可提供高達(dá) 6 倍的性能。

TensorFlow TensorRT:TensorFlow 與 TensorRT 的集成提供了比使用一行代碼在 GPU 上進(jìn)行框架內(nèi)推理快 6 倍的性能。

資源

Torch- TensorRT 在 NGC catalog 的 PyTorch 容器中提供。

TensorFlow- TensorRT 目前可從 NGC catalog 的 TensorFlow 容器中獲得。

TensorRT 免費(fèi)提供給 NVIDIA 開發(fā)程序 的成員。

在 TensorRT 產(chǎn)品頁面了解更多信息。

關(guān)于作者

About Jay Rodge

Jay Rodge 是 NVIDIA 的產(chǎn)品營銷經(jīng)理，負(fù)責(zé)深入學(xué)習(xí)和推理產(chǎn)品，推動(dòng)產(chǎn)品發(fā)布和產(chǎn)品營銷計(jì)劃。杰伊在芝加哥伊利諾伊理工學(xué)院獲得計(jì)算機(jī)科學(xué)碩士學(xué)位，主攻計(jì)算機(jī)視覺和自然語言處理。在 NVIDIA 之前，杰伊是寶馬集團(tuán)的人工智能研究實(shí)習(xí)生，為寶馬最大的制造廠使用計(jì)算機(jī)視覺解決問題。

審核編輯：郭婷