如何使用Vitis-AI加速YOLOX模型實現(xiàn)視頻中的目標(biāo)檢測

本文將介紹如何使用Vitis-AI加速YOLOX模型實現(xiàn)視頻中的目標(biāo)檢測，并對相關(guān)源碼進(jìn)行解讀。由于演示的示例程序源碼是Vitis-AI開源項目提供的，本文演示之前會介紹所需要的準(zhǔn)備工作。演示之后會對關(guān)鍵源碼進(jìn)行解析。

一、Vitis AI Library簡介

上一篇帖子中，我們了解了Vitis統(tǒng)一軟件平臺和Vitis AI，并體驗了Vitis AI Runtime的Resnet50圖像分類示例程序。本篇文章我們將會介紹Vitis AI Library，并體驗基于Vitis AI Library的YOLOX視頻目標(biāo)檢測示例程序。

Vitis AI User Guide中的一張圖可以很好的理解Vitis AI Library和Vitis AI Runtime的關(guān)系：

簡單來說，Vitis AI Library是在Vitis AI Runtime之上構(gòu)建出來的。

二、YOLOX視頻目標(biāo)檢測示例體驗

參考此前的帖子：【KV260視覺入門套件試用體驗】部署DPU鏡像并運行Vitis AI圖像分類示例程序

首先需要部署DPU鏡像，DPU鏡像系統(tǒng)啟動過程中會加載DPU IP到FPGA側(cè)，并且系統(tǒng)本身已經(jīng)集成了Vitis AI所需的各種庫文件。

2.1 準(zhǔn)備測試所需視頻文件

賽靈思官方文檔里面提供了測試視頻資源

在開發(fā)板上下載、解壓的命令為：

# 跳轉(zhuǎn)到HOME目錄
cd ~


# 下載 tar.gz 文件
TGZ=[vitis_ai_library_r3.0.0_video.tar.gz](https://china.xilinx.com/bin/public/openDownload?filename=vitis_ai_library_r3.0.0_video.tar.gz)
wget -O $TGZ "[https://china.xilinx.com/bin/public/openDownload?filename=](https://china.xilinx.com/bin/public/openDownload?filename=vitis_ai_library_r3.0.0_video.tar.gz)$TGZ"


# 解壓 tar.gz 文件
DIR=[vitis_ai_library_r3.0.0_video](https://china.xilinx.com/bin/public/openDownload?filename=vitis_ai_library_r3.0.0_video.tar.gz)
mkdir $DIR
tar -C $DIR -xvf $TGZ

（左右移動查看全部內(nèi)容）

2.2 準(zhǔn)備KV260套件和DPU鏡像SD卡

和上一篇帖子一樣，使用Vitis-AI之前需要先準(zhǔn)備好KV260套件和寫入DPU鏡像的SD卡，具體可以參考上一篇帖子中的第二章“部署DPU鏡像到KV260”：【KV260視覺入門套件試用體驗】部署DPU鏡像并運行Vitis AI圖像分類示例程序

2.3 編譯YOLOX視頻目標(biāo)檢測示例程序

KV260使用DPU鏡像的SD卡啟動后，跳轉(zhuǎn)到Vitis-AI/目錄下，可以看到如下文件及目錄：

其中，藍(lán)色的為目錄，綠色的為可執(zhí)行文件，白色的為沒有執(zhí)行權(quán)限的文件。

執(zhí)行build.sh腳本，可以重新編譯文件（可以嘗試將可執(zhí)行文件刪除掉再重新執(zhí)行build.sh腳本）。

該腳本文件內(nèi)的代碼為：

重新編譯后，可以看到時間戳全部更新了：

2.4 運行YOLOX視頻目標(biāo)檢測示例程序

接下來，運行YOLOX視頻目標(biāo)檢測程序——test_video_yolox，命令為：

VIDEO_PATH=~/vitis_ai_library_r3.0.0_video/apps/seg_and_pose_detect/seg_960_540.avi
MODEL_NAME=yolox_nano_pt
./test_video_yolovx $MODEL_NAME $VIDEO_PATH

（左右移動查看全部內(nèi)容）

可以看到，畫面中的目標(biāo)被框起來了。

三、YOLOX視頻目標(biāo)檢測原理解析

YOLOX視頻目標(biāo)檢測示例程序源碼非常簡短（test_video_yolovx.cpp文件）：

這段代碼中：

model是模型名稱；

vitis::create(model) 用于創(chuàng)建模型；

3.1 main_for_video_demo 源碼分析

main_for_video_demo 核心代碼如下：

其中，關(guān)鍵代碼行如下：

parse_opt 用于解析命令行參數(shù)，包括線程數(shù)（例如-t 4指定4個線程）和視頻文件名

decode_queue 是解碼隊列，用于傳遞已經(jīng)解碼的圖像；

decode_thread 是解碼任務(wù)線程，讀取視頻文件，并解碼每一幀畫面，放入解碼隊列；

dpu_thread 是DPU任務(wù)線程，從解碼隊列取出圖像，如果-t 參數(shù)指定的大于1，會創(chuàng)建多個DPU線程（不指定-t參數(shù)，默認(rèn)為1個DPU線程）；

gui_thread 是圖形用戶界面（GUI）線程，調(diào)用cv::imshow顯示每一幀結(jié)果畫面；

gui_queue 是結(jié)果圖像隊列，GUI線程會從這個隊列取出圖像再顯示出來；

sorting_thread 是排序線程，用于確保傳遞給gui_queue的圖像和視頻中出現(xiàn)的順序一致，從而保證視頻顯示的畫面正常。

這段代碼搭建了一個多線程的視頻處理流水線，流水線結(jié)構(gòu)如下圖所示：

3.2 DecodeThread 源碼分析

DecodeThread的構(gòu)造函數(shù)：

構(gòu)造函數(shù)中調(diào)用open_stream，open_stream創(chuàng)建了OpenCV的VideoCapture對象指針，用于后續(xù)視頻文件讀取操作。

DecodeThread::run函數(shù)：

DecodeThread::run函數(shù)的關(guān)鍵代碼為：

cap >> image 實現(xiàn)了從視頻讀取畫面，

queue_->push(…) 實現(xiàn)了給幀畫面編號，并將其放入隊列。

3.3 SortingThread 源碼分析

SortingThread::run函數(shù)關(guān)鍵代碼如下：

SortingThread::run中的關(guān)鍵代碼為：

queue_in_->pop(…) 等待特定frame_id的圖像到來；

queue_out_->push(…) 再將其放入輸出隊列（gui_queue）。

3.4 GuiThread 源碼分析

GuiThread::run函數(shù)源碼：

其中關(guān)鍵的代碼為：

調(diào)用queue_->pop()從隊列取出一幀畫面；

調(diào)用cv::imshow顯示圖像畫面。

3.5 DpuThread 源碼解析

DpuThread::run函數(shù)源碼：

其中關(guān)鍵代碼為：

調(diào)用queue_in_->pop(frame)取出畫面；

調(diào)用filter_->run(frame.mat)處理畫面；

調(diào)用queue_out_->push(frame)傳出畫面；

要解讀filter到底是什么，還需要看DpuThread構(gòu)造函數(shù)的聲明：

以及DpuThread類型實例化的代碼：

以及main函數(shù)：

這里可以看到：

factory_method是一個C++11的lamba表達(dá)式，

其中調(diào)用了vitis::create(model)；

vitis::create的具體實現(xiàn)代碼較多，感興趣的可以自行查閱Vitis-AI源碼，它主要實現(xiàn)了模型加載，以及調(diào)用Vitis-AI-Runtime接口執(zhí)行推理，這里不再解讀。

process_result函數(shù)定義：

可以看到，process_result的作用主要是畫出方框，以及打印日志。

審核編輯：湯梓紅