如何使用OpenVINO C++ API部署FastSAM模型

作者：馮浩遼寧科技大學 研究生

指導教師：張海剛英特爾邊緣計算創(chuàng)新大使深圳職業(yè)技術大學 副教授

當今，深度學習技術在計算機視覺領域取得了巨大的突破，使得各種圖像處理任務變得更加智能化。其中，Semantic Segmentation（語義分割）是一項重要的任務，它有助于計算機理解圖像中不同對象的位置和邊界。本文將介紹如何使用OpenVINOC++ API 部署 FastSAM 模型，以實現(xiàn)快速高效的語義分割。在前文中我們發(fā)表了《基于OpenVINO Python API 部署 FastSAM 模型 | 開發(fā)者實戰(zhàn)》，在該文章中我們向大家展示了基于 OpenVINO Python API 的基本部署流程。在實際部署過程中會考慮到由效率問題，使得我們可能更傾向于采用更高效的部署方式，故今天我們將向大家展示使用OpenVINOC++ API 部署 FastSAM 模型，并且對比預處理、推理、后處理等時間的消耗。

FastSAM 官方倉庫[1]

OpenVINO 官方倉庫[2]

FastSAM 模型部署實現(xiàn)代碼倉庫[3]

首先簡單解釋一下這個 C++ 版本OpenVINO的推理構建流程。首先需要一個 Core 去讀取前面生成的 xml 文件(這個文件包含了模型的網(wǎng)絡結構，與其對應的同名文件 bin 后綴的是模型的權重和偏置)。

讀取完成之后他會返回一個 Model 類，可以通過這個 Model 類來生成生成最終編譯完成的模型。在這里的編譯不是我們常規(guī)意義上的編譯代碼，本質上是在模型中插入一些函數(shù)指針，也就是所謂的預處理和后處理的函數(shù)。當我們有這個 PrePostProcessor 的步驟之后在我們每次調用推理的時候就可以不用自己去手動的處理圖像的一些簡單操作，比如轉換圖像大小、轉換數(shù)據(jù)排列順序、以及顏色編碼順序等等。

拿到這個 CompiledModel 之后可以調用這個 create_infer_request 來創(chuàng)建最終我們需要的推理請求的類。最后調用 infer 進行模型推理。

01模型的轉化和優(yōu)化

在之前的文章我們已經了解到了模型的導出方式，大家可以參考《基于OpenVINO Python API 部署 FastSAM模型 | 開發(fā)者實戰(zhàn)》，或者參考筆者的 GitHub[4] 中的導出部分。

02初始化推理引擎和加載模型

在 C++ 初始化OpenVINO推理引擎和 Python 的基本結構相似，也是使用一個 Ov::Core 來創(chuàng)建 Ov::Model。

m_model = m_core.read_model(xml_path);
m_ppp = std::make_shared(m_model);
 
 
m_ppp->input().tensor()
  .set_element_type(ov::f32) 
  .set_color_format(ov::RGB)
  .set_layout("NCHW");
 
/*

左滑查看更多

還可添加你模型所需要的預處理和后處理的操作

  m_ppp->input().preprocess()
       .convert_layout("NCHW"); //比如排列順序轉換
*/
     
m_model = m_ppp->build();set_shape(ov::Shape({1, 3, 640, 640}))

左滑查看更多

03預處理輸入圖像

本次我們采用的是手動預處理輸出數(shù)據(jù)，需要預處理輸入圖像的大小位模型所需的輸入的大小即 640 x 640，其次我們需要轉換這個由 opencv 讀取來的 BGR 圖像位 RGB，最后需要將這個數(shù)據(jù)排列順序由 NWHC 轉換為 NCWH。實現(xiàn)代碼如下：

ov::Tensor FastSAM::Preprocess(const cv::Mat &image)
{
  float height = (float)image.rows;
  float width = (float)image.cols;
  
  int target_size = input_height;
  float r = std::min(target_size / height, target_size / width);
  int padw = (int)std::round(width * r);
  int padh = (int)std::round(height * r);
  
    
  if((int)width != padw || (int)height != padh) 
    cv::resize(image, m_image, cv::Size(padw, padh));
  else 
    m_image = image.clone();
  
  float _dw = target_size - padw;
  float _dh = target_size - padh;
  _dw /= 2.0f;
  _dh /= 2.0f;
  int top = int(std::round(_dh - 0.1f));
  int bottom = int(std::round(_dh + 0.1f));
  int left = int(std::round(_dw - 0.1f));
  int right = int(std::round(_dw + 0.1f));
  cv::copyMakeBorder(m_image, m_image, top, bottom, left, right, cv::BORDER_CONSTANT,
            cv::Scalar(114, 114, 114));
  
  this->ratio = 1 / r;
  this->dw = _dw;
  this->dh = _dh;
  
  Normalize2Vec(m_image);
  
  return ov::f32, ov::Shape({1, 3, (unsigned long)input_height, (unsigned long)input_width}), input_data.data());  
}

左滑查看更多

04執(zhí)行推理

在執(zhí)行完這個 Preprocess 之后會返回一個 ov::Tensor, 將前面預處理好的 input tensor 設置為輸入數(shù)據(jù)，然后執(zhí)行 infer 即可進行推理。

m_request.set_input_tensor(input_tensor);
m_request.infer();

左滑查看更多

05獲取和處理輸出數(shù)據(jù)

在推理完成之后可以通過調用 get_output_tensor 來獲取指定索引的輸出指針，這里我們采用的模型只有兩個維度的輸出。

auto* p0 = m_request.get_output_tensor(0).data(); // 獲取第一個維度輸出
auto* p1 = m_request.get_output_tensor(1).data(); // 獲取第二個維度輸出

左滑查看更多

當拿我們到這個輸出的數(shù)據(jù)之后我們需要解析后做后處理，首先是對第一個維度的數(shù)據(jù)解析做非極大抑制，將得到的 bbox 的坐標進行還原，使得這個坐標對應的是原始圖像掩碼的坐標而不是輸入圖像掩碼的坐標。最后把還原后的數(shù)據(jù)的最后掩碼維度和模型輸出維度進行矩陣相乘后的到最終的 mask。

std::vector FastSAM::Postprocess(std::vector &preds, const cv::Mat& oriImage)
{
  std::vector result;
 
  std::vector remat;
  NMS(remat, preds[0], 100);
  cv::Mat proto = preds[1];
  cv::Mat box = remat[0];
  cv::Mat mask = remat[1];
  ScaleBoxes(box, oriImage);
 
  return ProcessMaskNative(oriImage, proto, mask, box, oriImage.size());
}

左滑查看更多

06繪制掩碼到原圖上

繪制掩碼就比較簡單了，將原始圖像輸入，和 mask 掩碼矩陣傳入進來。最后會把生成的掩碼添加到 image 上。

void FastSAM::Render(cv::Mat &image, const std::vector& vremat)
{
 
  cv::Mat bbox = vremat[0];
  float *pxvec = bbox.ptr(0);
   
  for (int i = 1; i < vremat.size(); i++) {
 ? ? ? ?cv::Mat mask = vremat[i];
 ? ? ? ?auto color = RandomColor();
 
 ? ? ? ?for (int y = 0; y < mask.rows; y++) {
 ? ? ? ?const float *mp = mask.ptr(y);
    uchar *p = image.ptr(y);
    for (int x = 0; x < mask.cols; x++) {
 ? ? ? ? ? ?if (mp[x] == 1.0) {
 ? ? ? ? ? ?p[0] = cv::saturate_cast(p[0] * 0.5 + color[0] * 0.5);
      p[1] = cv::saturate_cast(p[1] * 0.5 + color[1] * 0.5);
      p[2] = cv::saturate_cast(p[2] * 0.5 + color[2] * 0.5);
      }
      p += 3;
    }
    }
  }
}

左滑查看更多

07實現(xiàn)效果展示

FastSAM With OpenVINO推理時間(未加渲染時間)

使用設備: xBoard、iGPU