VVAS調(diào)用HLS生成硬件加速器的主要流程介紹

01

HLS kernel創(chuàng)建

我們以smartcam的預(yù)處理作為例子。xf_pp_pipeline的作用是將輸入圖像的格式從NV12轉(zhuǎn)換為BGR，再進(jìn)行減均值和歸一化操作。xf_pp_pipeline的實(shí)現(xiàn)基于HLS vision library。Vitis視覺(jué)庫(kù)是為在Vitis開(kāi)發(fā)環(huán)境中工作而設(shè)計(jì)的，它為在FPGA設(shè)備上加速的計(jì)算機(jī)視覺(jué)功能提供了一個(gè)軟件接口。Vitis視覺(jué)庫(kù)的功能大多與OpenCV的功能相似。更多的詳細(xì)說(shuō)明可以在參考鏈接中找到。

#include "xf_pp_pipeline_config.h"
void pp_pipeline_accel(ap_uint

xf_pp_pipeline_accel.cpp作為硬件的一部分，需要將它和platform結(jié)合在一起。v++將HLS kernel打包為xo文件用于后續(xù)的硬件集成。

kv260_ispMipiRx_vcu_DP是smartcam應(yīng)用使用的platform，xf_pp_pipeline.cpp打包成xo對(duì)象后，通過(guò)v++鏈接為完整的硬件工程并生成xclbin文件。完整的硬件框圖如下圖所示，紅框部分為對(duì)應(yīng)的HLS kernel。

02

Kernel調(diào)用

使用VVAS框架為xf_pp_pipeline.cpp編寫(xiě)自定義驅(qū)動(dòng)是要實(shí)現(xiàn)四個(gè)函數(shù)，分別是xlnx_kernel_start、xlnx_kernel_done、xlnx_kernel_init、xlnx_kernel_deinit。

xlnx_kernel_init()函數(shù)讀取json文件中的mean_r、mean_g、mean_b、scale_r、scale_g、scale_b。

int32_t xlnx_kernel_init(IVASKernel *handle){
	......
	kernel_priv- >mean_r = json_number_value(val);
	kernel_priv- >mean_g = json_number_value(val);
	kernel_priv- >mean_b = json_number_value(val);
	kernel_priv- >scale_r = json_number_value(val);
	kernel_priv- >scale_g = json_number_value(val);
	kernel_priv- >scale_b = json_number_value(val);
	......
}

xlnx_kernel_start()函數(shù)為HLS kernel配置參數(shù)。

int32_t xlnx_kernel_start(IVASKernel *handle, int start, IVASFrame *input[MAX_NUM_OBJECT], IVASFrame *output[MAX_NUM_OBJECT])
{
	......
    ivas_register_write(handle, &(input[0]- >props.width), sizeof(uint32_t), 0x40);   /* In width */
    ivas_register_write(handle, &(input[0]- >props.height), sizeof(uint32_t), 0x48);  /* In height */
    ivas_register_write(handle, &(input[0]- >props.stride), sizeof(uint32_t), 0x50);  /* In stride */

    ivas_register_write(handle, &(output[0]- >props.width), sizeof(uint32_t), 0x58);  /* Out width */
    ivas_register_write(handle, &(output[0]- >props.height), sizeof(uint32_t), 0x60); /* Out height */
    ivas_register_write(handle, &(output[0]- >props.width), sizeof(uint32_t), 0x68); /* Out stride */

    ivas_register_write(handle, &(input[0]- >paddr[0]), sizeof(uint64_t), 0x10);      /* Y Input */
    ivas_register_write(handle, &(input[0]- >paddr[1]), sizeof(uint64_t), 0x1C);      /* UV Input */
    ivas_register_write(handle, &(output[0]- >paddr[0]), sizeof(uint64_t), 0x28);      /* Output */
    ivas_register_write(handle, &(kernel_priv- >params- >paddr[0]), sizeof(uint64_t), 0x34);     /* Params */

    ivas_register_write(handle, &start, sizeof(uint32_t), 0x0);                      /* start */
	......
}

xlnx_kernel_deinit()函數(shù)用來(lái)釋放不需要的句柄。

uint32_t xlnx_kernel_deinit(IVASKernel *handle)
{
    ResizeKernelPriv *kernel_priv;
    kernel_priv = (ResizeKernelPriv *)handle- >kernel_priv;
    ivas_free_buffer (handle, kernel_priv- >params);
    free(kernel_priv);
    return 0;
}

xlnx_kernel_done()函數(shù)進(jìn)行超時(shí)檢測(cè)。

int32_t xlnx_kernel_done(IVASKernel *handle)
{
    uint32_t val = 0, count = 0;
    do {
        ivas_register_read(handle, &val, sizeof(uint32_t), 0x0); /* start */
        count++;
        if (count > 1000000) {
            printf("ERROR: kernel done wait TIME OUT !!\\\\n");
            return 0;
        }
    } while (!(0x4 & val));
    return 1;
}

通過(guò)這四個(gè)函數(shù)就完成了VVAS自定義插件的設(shè)計(jì)。在smartcam應(yīng)用運(yùn)行時(shí)，通過(guò)命令行g(shù)st-launch-1.0 -v filesrc XXXXXX ! queue ! vvas_xmultisrc kconfig="/opt/xilinx/kv260-smartcam/share/vvas/facedetect/preprocess.json" ! XXXXXX完成插件的調(diào)用。

其中preprocess.json的內(nèi)容為：

{
  "xclbin-location":"/lib/firmware/xilinx/kv260-smartcam/kv260-smartcam.xclbin",
  "vvas-library-repo": "/opt/xilinx/kv260-smartcam/lib",
  "element-mode": "transform",
  "kernels": [
    {
      "kernel-name": "pp_pipeline_accel:{pp_pipeline_accel_1}",
      "library-name": "libvvas_xpp.so",
      "config": {
        "debug_level" : 1,
        "mean_r": 123,
        "mean_g": 117,
        "mean_b": 104,
        "scale_r": 1,
        "scale_g": 1,
        "scale_b": 1
      }
    }
  ]
}