在KV260上運(yùn)行Yolov4 tiny

描述

Xilinx 提供了 Vitis? Video Analytics SDK，我們可以使用它來運(yùn)行我們自己的對(duì)象檢測(cè)。我們將展示如何使用 yolov4-tiny 訓(xùn)練您的自定義數(shù)據(jù)集并在 KV260 上運(yùn)行它。

確保您已準(zhǔn)備好以下工作：

• 安裝智能相機(jī)應(yīng)用：https ://xilinx.github.io/kria-apps-docs/main/build/html/docs/smartcamera/docs/app_deployment.html
• 安裝 Vitis AI：https ://github.com/Xilinx/Vitis-AI （1.4 版）

1.在yolov4-tiny上訓(xùn)練一個(gè)自定義數(shù)據(jù)集

一個(gè)。git clone https://github.com/XiongDa0001/yolov4-tiny-keras

灣。制作 VOC 格式的數(shù)據(jù)集

C。運(yùn)行 voc_annotation.py 得到 2007_train.txt 和 2007_val.txt 進(jìn)行訓(xùn)練

d。修改 classes_path 中的內(nèi)容以包含您檢測(cè)到的內(nèi)容

e. 安裝 tensorflow-gpu==1.13.1 和 Cuda 10.0 或 10.1

更多訓(xùn)練過程請(qǐng)參考https://github.com/bubbliiiing/yolov4-tiny-keras

2.將h5轉(zhuǎn)換為pb

我們的代碼提供了一個(gè)轉(zhuǎn)換腳本keras2pb.py 。

您應(yīng)該按如下方式修改變量：

一個(gè)。指定input_model

乙。指定output_model

C。指定num_class

然后你會(huì)得到 freeze pb 文件。

3.模型量化

該項(xiàng)目使用Vitis-AI 1.4 。首先進(jìn)入docker環(huán)境，然后

conda 激活 vitis-ai-tensorflow。

在量化之前，可以使用如下命令查看mode的輸入輸出節(jié)點(diǎn)

vai_q_tensorflow inspect --input_frozen_graph=~.pb

?

量化需要準(zhǔn)備如下：

?

input_fn.py如下：

from PIL import Image
import numpy as np


def letterbox_image(image, size):
    '''resize image with unchanged aspect ratio using padding'''
    iw, ih = image.size
    w, h = size
    scale = min(w/iw, h/ih)
    nw = int(iw*scale)
    nh = int(ih*scale)

    image = image.resize((nw,nh), Image.BICUBIC)
    new_image = Image.new('RGB', size, (128,128,128))
    new_image.paste(image, ((w-nw)//2, (h-nh)//2))
    return new_image

#image = Image.open(img_path)

def preprocessing_fn(image, model_image_size=(416,416)):
    if model_image_size != (None, None):
        assert model_image_size[0]%32 == 0, 'Multiples of 32 required'
        assert model_image_size[1]%32 == 0, 'Multiples of 32 required'
        boxed_image = letterbox_image(image, tuple(reversed(model_image_size)))
    else:
        new_image_size = (image.width - (image.width % 32), image.height - (image.height % 32))
        boxed_image = letterbox_image(image, new_image_size)
    image_data = np.array(boxed_image, dtype='float32')
    image_data /= 255.
    return image_data

calib_image_dir = "calibrate_images"
calib_image_list = "calibrate.txt"
calib_batch_size = 8
def calib_input(iter):
  images = []
  line = open(calib_image_list).readlines()
  for index in range(0, calib_batch_size):
    curline = line[iter * calib_batch_size + index]
    image_name = curline.strip()
    image = Image.open(image_name)
    image = preprocessing_fn(image)
    images.append(image)
  return {"input_1": images}

我們提供get_name.py來獲取每個(gè)圖像的名稱。

#!/usr/bin/python
#coding:utf-8
import os
num=0
path_imgs = './calibrate_images'
for files in os.listdir(path_imgs):
    print(files)
    img_path = path_imgs + '/' + files
    num  = num + 1
    with open("./calibrate_images/calibrate.txt", "a") as f:
        f.write(str(img_path) + '\n')

創(chuàng)建一個(gè)“量化”文件夾來保存量化文件

* 下一步是量化模型。

vai_q_tensorflow quantize \
     --input_frozen_graph ./yolov4-tiny-voc.pb \
     --input_nodes input_1 \
     --input_shapes ?,416,416,3 \
     --output_dir ./quantize \
     --output_nodes conv2d_21/BiasAdd,conv2d_24/BiasAdd \
     --input_fn input_fn.calib_input \
     --calib_iter 25

calibrate_images 數(shù)量 = calib_iter * calib_batch_size

然后你會(huì)在quantized文件夾下得到quantize_eval_model.pb

4. 編譯模型

VAI_C 的常用選項(xiàng)如下所示。

--arch：JSON 格式的 VAI_C 編譯器的 DPU 架構(gòu)配置文件。它包含編譯期間云和邊緣 DPU 的專用選項(xiàng)。

您需要?jiǎng)?chuàng)建 arch.json 文件，如下所示：

{
    "target": "DPUCZDX8G_ISA0_B3136_MAX_BG2"
}

• --frozen_pb：量化文件（quantize_eval_model.pb ）
• --output-dir：存放編譯輸出的文件夾
• --net_name：VAI_C編譯后網(wǎng)絡(luò)模型的DPU內(nèi)核名稱

有時(shí)，T ensorFlow 模型不包含輸入張量形狀信息，導(dǎo)致編譯失敗。您可以使用

--options '{"input_shape":"1, 224, 224, 3"}'指定輸入張量形狀。

創(chuàng)建一個(gè)“編譯”文件夾來保存量化文件

使用以下命令獲取xmodel文件

vai_c_tensorflow \
    --f ./quantize14/quantize_eval_model.pb \
    --a   kv260arch_B3136.json \
    --output_dir compile \
    --n   mask_detection \
    --options '{"input_shape": "1,224,224,3"}'

5. 數(shù)據(jù)準(zhǔn)備

我們需要準(zhǔn)備以下文件，這些文件位于我的 github https://github.com/XiongDa0001/yolov4-tiny-keras

├─face_mask
	|_____aiinference.json
	|_____drawresult.json
	|_____preprocess.json
└─mask-detection-yolo4-tiny
	|_____mask-detection-yolo4-tiny.prototxt
	|_____mask-detection-yolo4-tiny.xmodel
	|_____label.json

將“face_mask”文件夾放在 /opt/xilinx/share/ivas/smartcam 文件夾中

同時(shí)，將“mask-detection-yolo4-tiny”放入/opt/xilinx/share/ivas/vitis_??ai_library/models/kv260-smartcam文件夾中

6.運(yùn)行模型

sudo xmutil      unloadapp
sudo xmutil      loadapp kv260-smartcam
sudo smartcam --mipi -W 1920 -H 1080 --target dp -a face_mask

這是一個(gè)運(yùn)行示例的演示

?

?