首發(fā):AIWalker
標(biāo)題&作者團(tuán)隊(duì)
1. 論文簡(jiǎn)要
在這項(xiàng)工作中,視頻中的3D姿態(tài)可以通過全卷積模型來(lái)估計(jì),具體是在二維關(guān)鍵點(diǎn)上通過空洞時(shí)間卷積的模型得到3D姿態(tài)。我們還介紹了一種不帶標(biāo)簽(反向投影)的半監(jiān)督式訓(xùn)練方法。我們先從未標(biāo)注視頻中得到2D姿態(tài),然后估計(jì)3D姿態(tài)和最后反向投影到輸入的2D關(guān)鍵點(diǎn)。在實(shí)驗(yàn)中,全卷積模型相比之前state-of-arts,在Human3.6 M上平均每個(gè)關(guān)節(jié)位置誤差小6mm,對(duì)應(yīng)誤差降低11%,模型在HumanEva-I中也有顯著改進(jìn)。
代碼和模型的下載地址:https://github.com/facebookre...
2. 背景介紹
我們的工作重點(diǎn)是視頻中的三維人體姿態(tài)估計(jì)。我們以最先進(jìn)的方法為基礎(chǔ),然后將問題描述為2D關(guān)鍵點(diǎn)檢測(cè)三維姿態(tài)估計(jì),這種方法可能導(dǎo)致不同的3D姿態(tài)對(duì)應(yīng)相同的2D關(guān)鍵點(diǎn)。早期為解決這一問題主要通過RNN構(gòu)建時(shí)序信息,但是由于RNN的串行結(jié)構(gòu)無(wú)法多幀并行處理,因此本文提出一個(gè)完整的卷積架構(gòu),在二維關(guān)鍵點(diǎn)上執(zhí)行時(shí)序卷積用于視頻中準(zhǔn)確的三維姿態(tài)預(yù)測(cè),該方法兼容任何二維關(guān)鍵點(diǎn)檢測(cè)器,并能通過空洞卷積有效地處理較大的上下文信息。與依賴RNNs的方法相比,它在計(jì)算復(fù)雜度和參數(shù)數(shù)量方面都提供了更高的精度、簡(jiǎn)單性和效率。
在構(gòu)建一個(gè)高度精確和高效的架構(gòu)之后,接下來(lái)需要關(guān)注訓(xùn)練數(shù)據(jù),本文引入了半監(jiān)督訓(xùn)練的方案,因?yàn)?D姿態(tài)的監(jiān)督學(xué)習(xí)需要大量的帶標(biāo)簽的訓(xùn)練數(shù)據(jù),收集3D人體姿態(tài)標(biāo)簽需要昂貴的動(dòng)作捕捉設(shè)備和長(zhǎng)時(shí)間錄制。本文的方法的靈感來(lái)自于無(wú)監(jiān)督機(jī)器翻譯中的循環(huán)一致性,即翻譯到中間語(yǔ)言和翻譯回原始語(yǔ)言的往返應(yīng)該接近恒等函數(shù)。具體地說(shuō),使用現(xiàn)有的2D關(guān)鍵點(diǎn)檢測(cè)器為未標(biāo)記的視頻預(yù)測(cè)2D關(guān)鍵點(diǎn),然后預(yù)測(cè)3D姿態(tài),最后將它們映射回2D空間中。
本文創(chuàng)新點(diǎn)有兩個(gè):(1)在網(wǎng)絡(luò)結(jié)構(gòu)方面,基于空洞時(shí)序卷積將2D關(guān)鍵點(diǎn)軌跡推理出3D人體姿態(tài),在計(jì)算量和模型參數(shù)量上遠(yuǎn)小于基于RNN的模型;(2)在訓(xùn)練數(shù)據(jù)方面,采用半監(jiān)督學(xué)習(xí)解決數(shù)據(jù)量不足的問題,相比于其他方法,該方法僅僅需要相機(jī)內(nèi)部參數(shù)(數(shù)據(jù)增強(qiáng)的過程中需要相機(jī)參數(shù)對(duì)ground-truth姿態(tài)進(jìn)行幾何變換),不需要2D標(biāo)簽或帶有外部攝像機(jī)參數(shù)的多視圖圖像。
image-20201126105219606
3. 相關(guān)工作
在深度學(xué)習(xí)成功之前,大部分的三維姿態(tài)估計(jì)方法都是基于特征工程和骨骼和關(guān)節(jié)靈活性的假設(shè)。目前大多數(shù)的姿態(tài)估計(jì)方法是在二維姿態(tài)估計(jì)器的基礎(chǔ)上,建立了一種新的三維姿態(tài)估計(jì)器,然后 被提升到3D空間中。
視頻姿態(tài)估計(jì),大多數(shù)以前的工作都是在單幀的背景下進(jìn)行的,但最近幾年利用視頻的時(shí)間信息來(lái)產(chǎn)生更可靠的預(yù)測(cè),并降低對(duì)噪音的敏感性。最近,有人提出了LSTM序列到序列學(xué)習(xí)模型,該模型將視頻中的二維姿態(tài)序列編碼為固定大小的向量,然后解碼為三維姿態(tài)序列。然而,輸入和輸出序列具有相同的長(zhǎng)度,2D姿態(tài)的確定性轉(zhuǎn)換是更自然的選擇。用seq2seq模型進(jìn)行的實(shí)驗(yàn)表明,輸出姿勢(shì)在較長(zhǎng)的序列上容易產(chǎn)生漂移。
4. 本文方法
4.1 時(shí)序空洞卷積模型
image-20201126112311029
我們的模型是一個(gè)具有殘差結(jié)構(gòu)的完全卷積的架構(gòu),它將一個(gè)2D姿態(tài)序列作為輸入,并通過時(shí)間卷積對(duì)其進(jìn)行轉(zhuǎn)換。卷積模型允許在批處理維度和時(shí)間維度上并行化,而RNNs不能在時(shí)間維度上并行化。在卷積模型中,無(wú)論序列長(zhǎng)度如何,輸出和輸入之間的梯度路徑都是固定長(zhǎng)度的,這可以緩解影響RNN的消失和爆炸梯度。卷積架構(gòu)也提供了對(duì)時(shí)間感受域的精確控制,這有利于建立三維姿態(tài)估計(jì)任務(wù)的時(shí)間依賴模型。此外,使用空洞卷積能夠?qū)﹂L(zhǎng)期依賴關(guān)系進(jìn)行建模,同時(shí)也保持較高計(jì)算效率。(上圖表示帶有2D關(guān)鍵點(diǎn)的243幀圖像,經(jīng)過網(wǎng)絡(luò)推理得到3D關(guān)節(jié)點(diǎn))
4.2 半監(jiān)督訓(xùn)練方法
image-20201126113555405
本文引入了一種半監(jiān)督訓(xùn)練方法,以提高真實(shí)的標(biāo)記數(shù)據(jù)不足的情況下的模型的準(zhǔn)確性。我們利用未標(biāo)記的視頻,然后結(jié)合一個(gè)現(xiàn)成的2D關(guān)鍵點(diǎn)檢測(cè)器,來(lái)擴(kuò)展監(jiān)督損失函數(shù)一個(gè)反向投影損失項(xiàng)。解決了未標(biāo)記數(shù)據(jù)的自動(dòng)編碼問題:編碼器(位姿估計(jì)器)根據(jù)二維關(guān)節(jié)坐標(biāo)進(jìn)行三維位姿估計(jì),解碼器(投影層)將三維位姿投影回二維關(guān)節(jié)坐標(biāo)。當(dāng)來(lái)自解碼器的二維關(guān)節(jié)坐標(biāo)遠(yuǎn)離原始輸入時(shí),訓(xùn)練就會(huì)受到懲罰。
上圖將監(jiān)督組件與充當(dāng)正則化器的非監(jiān)督組件組合在一起。這兩個(gè)目標(biāo)是共同優(yōu)化的,標(biāo)記數(shù)據(jù)占據(jù)Batch的前半部分,未標(biāo)記數(shù)據(jù)占據(jù)Batch的后半部分一半。對(duì)于標(biāo)記數(shù)據(jù),我們使用真實(shí)三維姿態(tài)作為目標(biāo),訓(xùn)練一個(gè)監(jiān)督損失。未標(biāo)記的數(shù)據(jù)用于實(shí)現(xiàn)自動(dòng)編碼器損失,其中預(yù)測(cè)的3D姿態(tài)被投影回2D,然后檢查與輸入的一致性。
軌跡模型,由于透視投影,屏幕上的2D姿態(tài)都取決于軌跡(人體根節(jié)點(diǎn)整體位置,可以理解成人體中心點(diǎn))和3D姿態(tài)(所有關(guān)節(jié)點(diǎn)相對(duì)于根關(guān)節(jié)的位置)。目標(biāo)函數(shù)為每個(gè)關(guān)節(jié)的加權(quán)平均軌跡的位置誤差(WMPJPE)。
骨骼長(zhǎng)度損失,添加一個(gè)軟約束來(lái)近似匹配未標(biāo)記batch的受試者與已標(biāo)記batch的受試者的平均骨長(zhǎng)度。
5. 實(shí)驗(yàn)論證
5.1 數(shù)據(jù)集與評(píng)價(jià)標(biāo)準(zhǔn)
數(shù)據(jù)集有兩個(gè)分別是Human3.6M,HumanEva-I,評(píng)價(jià)標(biāo)準(zhǔn)是Protocol 1: MPJPE(每個(gè)關(guān)節(jié)點(diǎn)的平均誤差), Protocol 2:P-MPJPE(與標(biāo)簽數(shù)據(jù)對(duì)準(zhǔn)后的平移、旋轉(zhuǎn)、縮放誤差),Protocol 3:N-MPJPE(只在比例上與真實(shí)標(biāo)簽相匹配)
5.2 2D姿態(tài)估計(jì)
2D姿態(tài)估計(jì)網(wǎng)絡(luò)模型:stacked hourglass detector, Mask R-CNN with ResNet-101-FPN,CPN
5.3 3D姿態(tài)估計(jì)
image-20201126140916717
image-20201126141002629
image-20201126141144006
6. 總結(jié)
介紹了一個(gè)簡(jiǎn)單的完全卷積模型用于視頻中三維人體姿態(tài)估計(jì)。網(wǎng)絡(luò)結(jié)構(gòu)利用時(shí)間信息在2D關(guān)鍵點(diǎn)軌跡上進(jìn)行空洞卷積。這項(xiàng)工作的第二個(gè)貢獻(xiàn)是反向投影,這是一種半監(jiān)督訓(xùn)練方法,在標(biāo)記數(shù)據(jù)稀缺的情況下提高性能。該方法適用于未標(biāo)記的視頻,只需要內(nèi)在的攝像機(jī)參數(shù),使其在運(yùn)動(dòng)捕捉具有挑戰(zhàn)性的場(chǎng)景中切實(shí)可行。
7. 論文復(fù)現(xiàn)
推薦閱讀
本文章著作權(quán)歸作者所有,任何形式的轉(zhuǎn)載都請(qǐng)注明出處。更多動(dòng)態(tài)濾波,圖像質(zhì)量,超分辨相關(guān)請(qǐng)關(guān)注我的專欄深度學(xué)習(xí)從入門到精通。
審核編輯:符乾江
-
編碼器
+關(guān)注
關(guān)注
44文章
3552瀏覽量
133783 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5431瀏覽量
120790
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論