使用OpenVINO優(yōu)化并部署訓練好的YOLOv7模型

作者：武卓博士 英特爾 AI 布道師

在《英特爾銳炫 顯卡+ oneAPI 和 OpenVINO 實現(xiàn)英特爾 視頻 AI 計算盒訓推一體-上篇》一文中，我們詳細介紹基于英特爾 獨立顯卡搭建 YOLOv7 模型的訓練環(huán)境，并完成了 YOLOv7 模型訓練，獲得了最佳精度的模型權重：

本文將繼續(xù)介紹使用 OpenVINO 優(yōu)化并部署已訓練好的 YOLOv7 模型。

使用 OpenVINO 優(yōu)化并部署

訓練好的YOLOv7 模型

我們可以進一步使用 OpenVINO 來優(yōu)化經(jīng)過訓練的 YOLOv7 模型，并將其部署到多個英特爾 硬件平臺，包括英特爾CPU、集成顯卡和獨立顯卡等。整個部署過程可以通過以下步驟來實現(xiàn)：

檢查來自訓練模型的推理結果

訓練好的模型，推理效果究竟如何？可使用如下命令查看推理效果：

python -W ignore detect.py --weights ./ runs/train/yolov7_tiny_pothole_fixed_res/weights/best.pt --conf 0.25 --img-size 640 --source ../pothole_dataset/images/test/G0026953.jpg

向右滑動查看完整代碼

同時，可以利用如下命令打印出推理結果圖：

from PIL import Image
# visualize prediction result
Image.open('runs/detect/exp5/G0026953.jpg')

向右滑動查看完整代碼

推理結果如下圖所示：

將模型導出為 ONNX 格式

使用如下命令將訓練好的模型導出為 ONNX 格式：

python -W ignore export.py --weights ./ runs/train/yolov7_tiny_pothole_fixed_res/weights/best.pt --grid

向右滑動查看完整代碼

將模型轉換為 OpenVINO IR 格式

使用 model conversion API 將模型轉為 OpenVINOIR 格式：

from openvino.tools import mo
from openvino.runtime import serialize


model = mo.convert_model('model_trained/best.onnx')
# serialize model for saving IR
serialize(model, 'model_trained/best.xml')

向右滑動查看完整代碼

利用 OpenVINO runtime

在獨立顯卡上運行推理

使用以下命令在英特爾GPU上使用 OpenVINO Runtime 運行推理，因為我的機器上有一個集成 GPU，所以 OpenVINO 的運行時設備名稱需要設置為“GPU.1”。

from openvino.runtime import Core
core = Core()
# read converted model
model = core.read_model('model_trained/best.xml')
# load model on CPU device
compiled_model = core.compile_model(model, 'GPU.1')

向右滑動查看完整代碼

利用 226-yolov7-optimization 中定義的前處理及后處理函數(shù)，我們可以將 OpenVINO 推理結果可視化，如下圖所示：

完整的YOLOv7推理代碼已開源到（請復制鏈接到瀏覽器）：

https://github.com/openvinotoolkit/openvino_notebooks/notebooks/226-yolov7-optimization.ipynb

歡迎開發(fā)者自行下載使用。

總結

到此，基于英特爾?視頻 AI 計算盒打造一個從模型訓練到優(yōu)化部署的AI 訓推一體流水線(Train & Inference pipeline)的完整過程已介紹完畢，所有代碼已開源到（請復制鏈接到瀏覽器）：

https://github.com/zhuo-yoyowz/training-deployment-dGPU

歡迎大家將上述代碼克隆到本機并使用，遇到問題也歡迎到我的 GitHub Repo 上留言。

關于英特爾 OpenVINO 開源工具套件的詳細資料，包括其中我們提供的三百多個經(jīng)驗證并優(yōu)化的預訓練模型的詳細資料。

除此之外，為了方便大家了解并快速掌握 OpenVINO 的使用，我們還提供了一系列開源的 Jupyter notebook demo。運行這些 notebook，就能快速了解在不同場景下如何利用 OpenVINO 實現(xiàn)一系列、包括計算機視覺、語音及自然語言處理任務。OpenVINO notebooks的資源可以在 Github 這里下載安裝（請復制鏈接到瀏覽器）：

https://github.com/openvinotoolkit/openvino_notebooks

審核編輯：湯梓紅