深度學(xué)習(xí)中動(dòng)作識(shí)別網(wǎng)絡(luò)學(xué)習(xí)

動(dòng)作識(shí)別網(wǎng)絡(luò)

深度學(xué)習(xí)在人體動(dòng)作識(shí)別領(lǐng)域有兩類主要的網(wǎng)絡(luò)，一類是基于姿態(tài)評(píng)估，基于關(guān)鍵點(diǎn)實(shí)現(xiàn)的動(dòng)作識(shí)別網(wǎng)絡(luò)；另外一類是直接預(yù)測的動(dòng)作識(shí)別網(wǎng)絡(luò)。關(guān)于姿態(tài)評(píng)估相關(guān)的網(wǎng)絡(luò)模型應(yīng)用，我們在前面的文章中已經(jīng)介紹過了。OpenVINO2021.2版本中支持的動(dòng)作識(shí)別網(wǎng)絡(luò)都不是基于關(guān)鍵點(diǎn)輸出的，而是基于Box直接預(yù)測，當(dāng)前支持動(dòng)作識(shí)別的預(yù)訓(xùn)練模型與識(shí)別的動(dòng)作數(shù)目支持列表如下：

表-1

這些網(wǎng)絡(luò)的輸出都是基于SSD檢測頭實(shí)現(xiàn)對(duì)象檢測與動(dòng)作預(yù)測。

輸入與輸出格式

以person-detection-action-recognition-0005模型為例說明它們的輸入與輸出數(shù)據(jù)格式支持，我也不知道什么原因（個(gè)人猜測因?yàn)镃affe框架的原因），網(wǎng)絡(luò)的輸出居然都是SSD原始檢測頭，怎么解析，我有妙招，稍后送上！先看一下輸入與輸出格式說明：

輸入格式：

格式 NCHW=［1x3x400x680］ ，Netron實(shí)際查看：

注意：OpenVINO2021.2安裝之后的文檔上格式說明是NHWC

輸出格式：

輸出有七個(gè)分支頭的數(shù)據(jù)，它們的名稱跟維度格式列表如下：

表-2

關(guān)于輸出格式的解釋，首先是num_priors值是多少，骨干網(wǎng)絡(luò)到SSD輸出頭，是實(shí)現(xiàn)了16倍的降采樣，最終輸出的h x w=25x43然后每個(gè)特征點(diǎn)預(yù)測4個(gè)PriorBox， 每個(gè)特征點(diǎn)預(yù)測動(dòng)作，總計(jì)有三類的動(dòng)作，所以動(dòng)作預(yù)測輸出為： ［b， 3， h， w］ = ［1x3x25x43］，總計(jì)PriorBoxes數(shù)目為：num_priors=25x43x4=4300，這些都是SSD檢測頭的原始輸出，沒有非最大抑制，沒有經(jīng)過轉(zhuǎn)換處理，所以想直接解析它們對(duì)開發(fā)應(yīng)用的人來說是一個(gè)大麻煩！

輸出數(shù)據(jù)解析與處理問題

person-detection-action-recognition-0005網(wǎng)絡(luò)推理之后的輸出數(shù)據(jù)解析跟后處理特別的復(fù)雜，怎么解析原始輸出頭是個(gè)技術(shù)活，我從示例代碼中提取跟整理出來兩個(gè)C++文件，它們是：

action_detector.h

cnn.h

以及它們的實(shí)現(xiàn)文件：

action_detector.cpp

cnn.cpp

這個(gè)其中最重要的就是有個(gè)ActionDetection類，它有幾個(gè)方法，分別是：

void enqueue（const cv：：Mat &frame）

void submitRequest（）

void wait（）

DetectedActions fetchResults（）

這幾個(gè)方法的解釋分別如下：

enqueue方法的就是實(shí)現(xiàn)了推理請求創(chuàng)建與圖像數(shù)據(jù)的輸入設(shè)置，它的代碼實(shí)現(xiàn)如下：

if （！request） {

request = net_.CreateInferRequestPtr（）;

}

width_ = static_cast《float》（frame.cols）;

height_ = static_cast《float》（frame.rows）;

Blob：：Ptr inputBlob = request-》GetBlob（input_name_）;

matU8ToBlob《uint8_t》（frame， inputBlob）;

enqueued_frames_ = 1;

submitRequest方法，就是執(zhí)行推理，支持同步與異步推理執(zhí)行模型，它的代碼實(shí)現(xiàn)如下：

if （request == nullptr） return;

if （isAsync） {

request-》StartAsync（）;

}

else {

request-》Infer（）;

}

wait方法，當(dāng)同步推理時(shí)候無需調(diào)用，異步推理調(diào)用

fetchResults方法，該方法是推理過程中最復(fù)雜的部分，負(fù)責(zé)解析輸出的七個(gè)分支數(shù)據(jù)，生成Box與action標(biāo)簽預(yù)測。簡單的說它的執(zhí)行過程是這樣，首先獲取輸出的七個(gè)輸出數(shù)據(jù)，然后轉(zhuǎn)換為基于Mat的數(shù)據(jù)，然后循環(huán)每個(gè)特征圖的特征點(diǎn)預(yù)測Box與置信得分，大于閾值的置信得分對(duì)應(yīng)的預(yù)測Box與PriorBox計(jì)算真實(shí)的BOX坐標(biāo)，同時(shí)閾值化處理Action的置信得分，最終對(duì)結(jié)果完整非最大抑制之后輸出，得到數(shù)據(jù)結(jié)構(gòu)為：

struct DetectedAction {

/** @brief BBox of detection */

cv：：Rect rect;

/** @brief Action label */

int label;

/** @brief Confidence of detection */

float detection_conf;

/** @brief Confidence of predicted action */

float action_conf;

這樣就完成了對(duì)輸出的數(shù)據(jù)解析。

這個(gè)就是上述四個(gè)相關(guān)依賴文件，我已經(jīng)把其他不相關(guān)的或者非必要的依賴全部去掉，基于這四個(gè)相關(guān)文件，就可以實(shí)現(xiàn)對(duì)表-1中動(dòng)作識(shí)別模型的推理與解析輸出顯示。

動(dòng)作識(shí)別代碼演示

動(dòng)作識(shí)別代碼演示基于person-detection-action-recognition-0005網(wǎng)絡(luò)模型完成，該模型是基于室內(nèi)場景數(shù)據(jù)訓(xùn)練生成的，適合于教育智慧教室應(yīng)用場景。首先需要初始化動(dòng)作檢測類與初始化推理引擎加載，然后配置動(dòng)作檢測類的相關(guān)參數(shù)，這些參數(shù)主要包括以下：

- 模型的權(quán)重文件路徑

- 推理引擎的計(jì)算設(shè)備支持

- 對(duì)象檢測閾值

- 動(dòng)作預(yù)測閾值

- 支持動(dòng)作類別數(shù)目

- 是否支持異步推理

等等。

配置完成之后設(shè)置與初始化ActionDetection類，然后就可以直接調(diào)用上述提到幾個(gè)類方法完成整個(gè)推理與輸出，根據(jù)輸出結(jié)果繪制與顯示即可，這部分的代碼如下：

cv：：Mat frame = cv：：imread（“D:/action_001.png”）;

InferenceEngine：：Core ie;

std：：unique_ptr《AsyncDetection《DetectedAction》》 action_detector;

// Load action detector

ActionDetectorConfig action_config（model_xml）;

action_config.deviceName = “CPU”;

action_config.ie = ie;

action_config.is_async = false;

action_config.detection_confidence_threshold = 0.1f;

action_config.action_confidence_threshold = 0.1f;

action_config.num_action_classes = 3;

action_detector.reset（new ActionDetection（action_config））;

action_detector-》enqueue（frame）;

action_detector-》submitRequest（）;

DetectedActions actions = action_detector-》fetchResults（）;

std：：cout 《《 actions.size（） 《《 std：：endl;

for （int i = 0; i 《 actions.size（）; i++） {

std：：cout 《《 actions［i］.rect 《《 std：：endl;

std：：cout 《《 actions［i］.label 《《 std：：endl;

cv：：rectangle（frame， actions［i］.rect， cv：：Scalar（0， 0， 255）， 2， 8， 0）;

putText（frame， action_text_labels［actions［i］.label］， actions［i］.rect.tl（）， cv：：FONT_HERSHEY_SIMPLEX， 0.75， cv：：Scalar（0， 0， 255）， 2， 8）;

}

cv：：imshow（“動(dòng)作識(shí)別演示”， frame）;

cv：：waitKey（0）;

return 0;

責(zé)任編輯：haq