模型部署是打通AI應用的最后一公里

在深度學習產(chǎn)業(yè)落地過程中，我們經(jīng)常能聽到一種說法——模型部署是打通AI應用的最后一公里！想要走通這一公里，看似簡單，但是真正實踐起來卻困難重重：顯卡利用率低、內(nèi)存溢出、多線程調(diào)度奔潰、TensorRT加速算子不支持等等問題一直是深度學習模型最后部署的老大難問題。

在工業(yè)制造環(huán)境中，Windows系統(tǒng)有著廣泛的應用。為了更好的幫助工業(yè)用戶解決落地最后的一公里問題，飛槳聯(lián)合產(chǎn)業(yè)用戶，基于Windows系統(tǒng)，提供了工業(yè)級的部署Demo，支持圖像分類、目標檢測、實例分割和語義分割模型的部署，并提供了一鍵的TensorRT加速方式，極大的提升了部署的效率，同時支持多線程推理的方式，滿足了用戶多視頻輸入預測的需求！

圖1部署開發(fā)示例說明

支持多種類別模型部署

滿足多種場景需求

為了更好的滿足用戶多種視覺任務場景，部署Demo基于PaddleX的Deployment模塊進行二次開發(fā)，不僅僅支持對PaddleX自身訓練的模型進行推理，同時支持PaddleClas、PaddleDetection、PaddleSeg視覺開發(fā)套件的模型，滿足多種場景需求。

圖2 部署Demo支持模型說明

一鍵TensorRT加速

部署效率顯著提升

NVIDIA TensorRT 是一個高性能的深度學習預測庫，可為深度學習推理應用程序提供低延遲和高吞吐量。在部署Demo中集成了TensorRT預測庫，用戶只需一鍵啟動，即可進行高性能的部署。

圖3 部署Demo性能對比說明

為了更好的幫助用戶了解在工業(yè)制造場景部署的問題，飛槳邀請產(chǎn)業(yè)用戶現(xiàn)場coding，一步步帶著大家現(xiàn)場演示如何搭建部署開發(fā)示例，如何更高性能的應用在自己的產(chǎn)業(yè)落地中。

審核編輯 ：李倩