你知道3D運(yùn)動雕塑嗎？利用AI檢測人體2D圖像并恢復(fù)成3D模型

你知道3D運(yùn)動雕塑嗎？MIT、Google和UC Berkeley的研究人員創(chuàng)建了一個名為MoSculp的AI系統(tǒng)，只需視頻輸入，利用AI檢測人體2D圖像并恢復(fù)成3D模型，就能創(chuàng)造出超現(xiàn)實(shí)主義的3D運(yùn)動雕塑。

雕塑大家都認(rèn)識，3D電影想必大家也都看過，但你知道3D運(yùn)動雕塑嗎？

簡單地說，這是一種獨(dú)特的展示人體如何運(yùn)動的方式。3D運(yùn)動雕塑（3D motion sculpture）可以將任何物體的移動路徑形成3D視圖，物體的形狀、運(yùn)動軌跡都會影響最后的效果。

將雕塑和3D這兩種藝術(shù)混合起來的這些作品，是由MIT計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室、Google Research以及加州大學(xué)伯克利分校的研究人員共同創(chuàng)造的。他們利用AI系統(tǒng)產(chǎn)生了這些超現(xiàn)實(shí)主義的運(yùn)動與姿勢的混合。

作為輸入的運(yùn)動影像

創(chuàng)作3D運(yùn)動雕塑

這個系統(tǒng)被稱為MoSculp，在論文《MoSculp：形狀和時間的交互式可視化》中有詳細(xì)描述。該論文將于下個月在德國柏林的用戶界面軟件與技術(shù)大會（UIST）上發(fā)表。

論文的第一作者、MIT博士生張修明（Xiuming Zhang）認(rèn)為，這一技術(shù)可以用來為想要提高技能的運(yùn)動員提供詳細(xì)的運(yùn)動研究。

3D運(yùn)動雕塑可用作運(yùn)動研究

張修明說：“想象一下，你有一段費(fèi)德勒在網(wǎng)球比賽中發(fā)球的視頻，還有一段你自己練習(xí)打網(wǎng)球的視頻。你可以用MoSculp創(chuàng)建兩種場景的運(yùn)動雕塑，然后進(jìn)行對比，更全面地研究你需要改進(jìn)的地方?！?/p>

具體來說，這個系統(tǒng)的工作有多個步驟：

首先，MoSculp能夠檢測人體及其2D姿態(tài)，利用的是CMU感知計(jì)算實(shí)驗(yàn)室開發(fā)的多人關(guān)鍵點(diǎn)實(shí)時檢測庫OpenPose，估計(jì)每個幀中的關(guān)鍵點(diǎn)（踝關(guān)節(jié)，肘關(guān)節(jié)，髖關(guān)節(jié)等）。

自動檢測關(guān)鍵點(diǎn)

接下來，MoSculp將2D姿態(tài)恢復(fù)成一個3D人體模型，展現(xiàn)人體的整體形狀和人體隨時間運(yùn)動的姿態(tài)。

AI通過3D空間掃描這個模型，以創(chuàng)建初始運(yùn)動雕塑，但正如研究人員指出的那樣，這個模型缺乏紋理和結(jié)構(gòu)細(xì)節(jié)，比如精細(xì)的面部結(jié)構(gòu)、頭發(fā)和衣服。

有沒有聰明的解決方案呢？

研究人員提出將雕塑插入到原始視頻中，而不是將3D內(nèi)容從視頻映射到場景中。

為了防止出現(xiàn)偽影和遮擋，MoSculp估計(jì)出每個幀中人物和雕塑的深度圖（depth map），并將兩者進(jìn)行比較，以確定人是比雕塑更接近攝像機(jī)還是更原理攝像機(jī)。

然后，MoSculp從所有幀中提取主體的前景蒙版，以細(xì)化初始深度圖。

原始視頻

估計(jì)模型

以下是該系統(tǒng)在實(shí)踐中的工作原理：

將視頻加載到系統(tǒng)后，MoSculp將檢測到的關(guān)鍵點(diǎn)覆蓋在輸入幀上，并通過幾個隨機(jī)選擇的幀來驗(yàn)證。（內(nèi)置的校正工具可以讓用戶在必要時進(jìn)行調(diào)整。）在對“暫時不一致的檢測”進(jìn)行校正后，它會生成運(yùn)動雕塑，并將其加載到自定義界面中。

在MoSculp中，用戶可以在雕塑周圍導(dǎo)航，或使用3D打印機(jī)進(jìn)行打印。系統(tǒng)提供工具允許用戶自定義材料、身體部位、場景背景、光照條件和其他美學(xué)特征。

MoSculp的界面

目前，MoSculp只使用于單個主體的視頻，不過研究團(tuán)隊(duì)希望將其擴(kuò)展到多人。未來，他們認(rèn)為這個系統(tǒng)可以用來研究社會障礙、團(tuán)隊(duì)動力和人際互動等。

“舞蹈和高技能運(yùn)動通?？雌饋硐?#39;移動的雕塑'，但它們只能形成稍縱即逝的短暫形狀，”Adobe傳播負(fù)責(zé)人Courtney Brigham說。

“這項(xiàng)工作展示了如何利用動作，并將動作轉(zhuǎn)換為具有客觀運(yùn)動可視化的真實(shí)雕塑，為運(yùn)動員提供了一種分析他們的訓(xùn)練動作的方式，而且成本只需一臺運(yùn)動相機(jī)和一些計(jì)算時間?！?/p>