Meta用頭顯實現(xiàn)全身動作追蹤！沒有腿部信息，也可準(zhǔn)確估計姿態(tài)

Meta用頭顯整新活了！

這不，就在最新被SIGGRAPH 2023頂會收錄的研究里，研究人員展示：

僅憑Quest傳感器和周圍物體環(huán)境的交互，就可以捕捉一個人的全身運動！

即使是和復(fù)雜環(huán)境進(jìn)行交互也不在話下。

輸入的時候還是這樣嬸兒的，只有三個坐標(biāo)架（沒有攝像頭）：

加上虛擬角色后，胳膊腿的動作都有了（綠點是環(huán)境高度）：

看到腿部的動作效果，網(wǎng)友直接裂開：

這腿部的估計把我驚呆了！

還沒完！在沒有任何關(guān)于下半身信息的情況下，它還可以踩箱子，跨過障礙物，精準(zhǔn)跟蹤人體動作。

通過物理模擬，無需任何后期處理，就能夠生成效果不錯的互動場景：

一個傳感器也能行！去掉手柄后，雖然手的動作是隨機(jī)的，但走起路來也還是有模有樣：

網(wǎng)友看完后滿臉不可思議：

有沒有考慮與Metahuman系統(tǒng)結(jié)合，這樣用戶就可以使用簡單的設(shè)備在家中創(chuàng)作出包含身體和面部表情完整的數(shù)字人動畫了！

目前，現(xiàn)有的大多數(shù)運動跟蹤方法除了腳與地面的接觸外，都盡量避免了與環(huán)境的交互。

那么，這項研究是怎樣利用環(huán)境交互進(jìn)行運動跟蹤的呢？

# 用包含環(huán)境交互的數(shù)據(jù)來訓(xùn)練

我們?nèi)粘Ｉ钪信c環(huán)境進(jìn)行交互是不可避免的。

由首爾大學(xué)（SNU）和Meta Reality Labs Research的研究人員共同完成的這項工作，通過強(qiáng)化學(xué)習(xí)展示了如果將傳感器與物理模擬和環(huán)境觀測相結(jié)合，即使在高度受限制的環(huán)境中，也能復(fù)現(xiàn)逼真的全身動作姿態(tài)。

要做到這一點，首先需要考慮三種方法，包括：

合成具有交互的動作、從稀疏傳感器輸入進(jìn)行運動學(xué)跟蹤以及基于物理的運動追蹤。

本文研究人員使用的策略只需要頭顯和手柄的姿勢作為輸入，沒有關(guān)于下半身的信息，并且沒有借助人力來穩(wěn)定虛擬角色。

該研究中物理模擬可以自動執(zhí)行跟蹤動作姿態(tài)所需的各種約束，使其能夠?qū)崿F(xiàn)高質(zhì)量的交互動作，而不會出現(xiàn)常見的穿透或接觸滑動等問題。

并且使用深度強(qiáng)化學(xué)習(xí)（Deep RL）學(xué)習(xí)控制策略，用減小模擬的虛擬角色和用戶輸入之間的差異來使誤差最小化。

如上圖所示，虛擬的仿真角色具有32個自由度(degrees of freedom)和18個關(guān)節(jié)，并由關(guān)節(jié)力矩驅(qū)動，環(huán)境物體也用一些基本幾何形狀進(jìn)行了仿真復(fù)制。

真人在與環(huán)境物體之間發(fā)生接觸時，具體時間和位置將會被標(biāo)記出來，被用作監(jiān)督信息。

這樣將場景觀察結(jié)果納入策略中，就可以利用環(huán)境進(jìn)行運動跟蹤。

比如說，坐在椅子上會產(chǎn)生椅子的反作用力，從而可以知道要將腿部抬起；當(dāng)踩在放在地面上的盒子時，也會有盒子的反作用力；還可以通過接觸后的反作用力來操縱物體。

有意地與環(huán)境產(chǎn)生接觸力，有利于跟蹤。但另一方面，如果接觸會干擾追蹤，控制策略也可以避免與環(huán)境的接觸。

比如在虛擬仿真環(huán)境中放置了虛擬盒子?？刂撇呗钥梢詫W(xué)會通過高度圖（綠點）觀察周圍的場景，并在跟蹤人的傳感器數(shù)據(jù)時抬高腿以避開障礙物。

當(dāng)然要達(dá)到這種效果，還需要注意三個關(guān)鍵點：適當(dāng)?shù)沫h(huán)境觀察表示、訓(xùn)練中的接觸獎勵（不僅僅包括腳部，還包括其他身體部位），以及訓(xùn)練過程中對象位置的隨機(jī)變化。

研究人員注意到，在沒有接觸獎勵的情況下，成功率會明顯降低。在沒有場景隨機(jī)化的情況下，性能也會顯著下降。

# 坐下，起不來

雖然在大多數(shù)情況下，這項研究所展示的動作跟蹤效果很好，但也有跟蹤失敗的情況：

對于從地板上起身這樣的任務(wù)，由于沒有使用任何人為力量，該控制策略似乎很難學(xué)好這種需要仔細(xì)協(xié)調(diào)接觸的行為。

并且，虛擬角色有時會失去平衡，一旦摔倒中斷，很可能無法繼續(xù)爬起來跟蹤。

還有一點不得不提，當(dāng)前的系統(tǒng)需要為每種交互類型訓(xùn)練單獨的策略。

研究人員表示：

理想情況是能夠?qū)W習(xí)一個涵蓋更廣泛動作庫的單一跟蹤器。這可能需要更復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，如專家混合模型，或更長時間的訓(xùn)練和更大規(guī)模的數(shù)據(jù)集。

另一個有前景的方向是將我們的系統(tǒng)擴(kuò)展到包括動態(tài)移動物體的未知場景。在線系統(tǒng)識別可以作為系統(tǒng)的一部分進(jìn)行結(jié)合。