基于深度圖像的人體關(guān)節(jié)定位算法

人體姿態(tài)估計(jì)是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究問題。對(duì)人體骨架關(guān)節(jié)點(diǎn)進(jìn)行準(zhǔn)確提取并構(gòu)建人體骨架模型，為進(jìn)一步的人體姿態(tài)識(shí)別、實(shí)時(shí)交互游戲等應(yīng)用提供了基礎(chǔ)。但是傳統(tǒng)的基于RGB圖像的方法容易受到光照、陰影、復(fù)雜背景的影響，準(zhǔn)確度不高并且算法復(fù)雜。利用深度圖像技術(shù)可以有效地解決上述問題，利用深度信息可以快速地進(jìn)行背景分割，抗干擾性能好，算法效率高。

本文主要研究基于深度圖像的人體關(guān)節(jié)定位算法。算法對(duì)深度圖像素點(diǎn)周圍區(qū)域的深度進(jìn)行格點(diǎn)化采樣以提取其深度特征，再使用隨機(jī)森林分類器進(jìn)行像素點(diǎn)分類，對(duì)同一類別的點(diǎn)使用Mean Shift算法聚類出中心點(diǎn)，以該中心點(diǎn)作為關(guān)節(jié)點(diǎn)位置。該算法可對(duì)人體全身關(guān)節(jié)點(diǎn)進(jìn)行定位。

局域深度特征提取

本文中采用如圖1所示的局域深度采樣特征。其中藍(lán)色點(diǎn)表示圖像I中給定的像素x，以該像素為中心生成一個(gè)5*5的格點(diǎn)矩陣，紅色的格點(diǎn)表示要進(jìn)行深度采樣的點(diǎn)。

圖1 局域深度采樣示意圖

隨機(jī)森林分類器

分類器是對(duì)樣本進(jìn)行分類的算法的統(tǒng)稱，在機(jī)器學(xué)習(xí)中有許多種分類器可供我們選擇使用，包括邏輯回歸、樸素貝葉斯、支持向量機(jī)（SVM）、決策樹、隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)等算法。綜合考慮分類的精度與效率，本課題中采用的是隨機(jī)森林分類器。

隨機(jī)森林分類器是由多棵決策樹組合而成的分類器，如圖2所示。決策樹的結(jié)構(gòu)類似二叉樹，由分裂結(jié)點(diǎn)和葉結(jié)點(diǎn)構(gòu)成。每一個(gè)分裂結(jié)點(diǎn)包含一個(gè)特征與閾值，像素x從根部開始，根據(jù)特征與閾值劃分進(jìn)入左子樹還是右子樹，這樣不斷地分裂直到葉結(jié)點(diǎn)。在每棵樹的葉結(jié)點(diǎn)能夠得到該像素對(duì)于各個(gè)身體部件的概率分布，將各棵樹得到的結(jié)果相加，得到最終的概率分布，擁有最高概率的一類作為最終的分類結(jié)果。

隨機(jī)森林將多棵決策樹合并在一起，準(zhǔn)確度相較于單棵決策樹有較大提升，并且多棵決策樹可以并行訓(xùn)練，提高了訓(xùn)練效率。

圖2隨機(jī)森林分類器

訓(xùn)練完隨機(jī)森林分類器后，我們利用其對(duì)像素點(diǎn)進(jìn)行分類，判斷其屬于身體的哪個(gè)部位。對(duì)于圖像中的每個(gè)像素，使用分類器對(duì)其分類后得到分類的結(jié)果，以及預(yù)測(cè)結(jié)果的概率。我們只選取圖像中預(yù)測(cè)概率高于80%的點(diǎn)，這樣就能得到密度不同的分類點(diǎn)。越靠近關(guān)節(jié)點(diǎn)位置，預(yù)測(cè)概率越高，點(diǎn)的密度越大，遠(yuǎn)離關(guān)節(jié)點(diǎn)位置的密度則小。

關(guān)節(jié)點(diǎn)位置估計(jì)

在得到像素點(diǎn)分類后，我們使用Mean Shift聚類算法得到屬于同一部位像素點(diǎn)的中心，作為關(guān)節(jié)位置。

Mean Shift算法一般為一個(gè)迭代過程，先計(jì)算感興趣區(qū)域內(nèi)的偏移均值，移動(dòng)區(qū)域中心到計(jì)算出的質(zhì)心處，然后以此處作為新的起點(diǎn)，繼續(xù)移動(dòng)。在迭代過程中，不斷向密度更大的地方偏移，直到移動(dòng)到這類像素點(diǎn)密度最高的中心位置而停止。此時(shí)這個(gè)位置最能代表這一類點(diǎn)，我們將其作為該部位的關(guān)節(jié)點(diǎn)位置。分別對(duì)所有類別的點(diǎn)都運(yùn)行一遍此算法后，我們就能得到全身關(guān)節(jié)點(diǎn)的位置。

但是由于分類結(jié)果并不一定準(zhǔn)確，聚類出的結(jié)果可能與真實(shí)關(guān)節(jié)點(diǎn)的位置有所偏移，這時(shí)我們可以采用人體骨架長度比例約束條件，來矯正一部分偏移較大的關(guān)節(jié)點(diǎn)，對(duì)預(yù)測(cè)結(jié)果進(jìn)行優(yōu)化。

流程介紹

訓(xùn)練流程：對(duì)一幅深度圖，取關(guān)節(jié)附近的點(diǎn)作為訓(xùn)練集，對(duì)這些點(diǎn)提取深度特征，再訓(xùn)練隨機(jī)森林分類器

圖3訓(xùn)練流程示意圖

測(cè)試流程：深度圖背景分割得到人體區(qū)域圖像，使用隨機(jī)森林分類器對(duì)人體的像素點(diǎn)進(jìn)行分類，選取預(yù)測(cè)概率大于設(shè)定閾值的點(diǎn)，則得到疏密不同的各關(guān)節(jié)部位像素點(diǎn)，越接近關(guān)節(jié)點(diǎn)位置，像素點(diǎn)越密，再使用Mean shift算法進(jìn)行聚類，得到關(guān)節(jié)點(diǎn)位置

測(cè)試流程示意圖

運(yùn)行效果

圖4為關(guān)節(jié)定位算法的運(yùn)行效果，(a)為NTU數(shù)據(jù)集中關(guān)節(jié)點(diǎn)的標(biāo)準(zhǔn)位置；(b)是算法對(duì)同一張深度圖中關(guān)節(jié)點(diǎn)的定位結(jié)果；(c)為自制的Kinect測(cè)試集上的運(yùn)行效果；(d)為采用公司研制的TOF相機(jī)模塊拍攝的深度圖的運(yùn)行效果。可以直觀地看出定位效果較為良好。TOF相機(jī)的分辨率為320*240，因此相同距離下人體在畫面中所占比例更大。

(a) (b)

(c) (d)

圖4 算法運(yùn)行效果示例

注：

(a)NTU測(cè)試集真值，25關(guān)節(jié)

(b)NTU測(cè)試集

(c)自制測(cè)試集

(d)TOF相機(jī)拍攝圖像

審核編輯 ：李倩