Torch-TensorRT軟件更新 HF BERT性能提升40%

我們十分高興地宣布，Torch-TensorRT 1.1.0 版本正式發(fā)布！

軟件版本

PyTorch 1.11

CUDA 11.3（在 x86_64 上，默認(rèn)設(shè)置下，兼容的 PyTorch Build 支持較新版本的 CUDA 11）

cuDNN 8.2.4.15

TensorRT 8.2.4.2

由于最近 JetPack 的升級(jí)和其發(fā)布流程的變化，Torch-TRTv1.1.0 版本不支持Jetson（Jetpack 5.0DP 或其他）。將在中期版本（Torch-TensorRT1.1.x）同時(shí)支持 Jetpack 5.0DP 和 TensorRT 8.4。

重要變更

HF BERT性能

算子和性能的進(jìn)一步優(yōu)化使 HF BERT 的性能比 V1.1 版本提升了 40%

更多的算子

18 個(gè)新的 aten 算子轉(zhuǎn)換器提高了 TensorRT 的模型覆蓋范圍和性能

查看全部 250+ 個(gè)算子

Triton 后端支持

21.12 版本以上的 Triton 現(xiàn)已支持 Torch-TensorRT

將在不久后提供工作流程教程

調(diào)試工具

上下文管理器現(xiàn)在允許使用更簡潔清晰的調(diào)試工作流程

不支持的算子已降級(jí)為警告，建議使用上下文管理器進(jìn)行調(diào)查

API 變更

max_batch_size 和 strict_types 由于在 TRT 中不被遵守已被刪除

所有與 Torch-TensorRT 相關(guān)的 Bug 都應(yīng)被歸入新的 “MachineLearning – TorchTRT” nvbugs 模塊。

原文標(biāo)題：Torch-TensorRT 1.1.0 版本正式發(fā)布

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。