基于單幀圖像，云從科技3D人體技術(shù)創(chuàng)造最新世界紀(jì)錄

3 月 19 日，根據(jù)官方消息，云從科技基于單幀圖像的 3D 人體重建技術(shù)同時(shí)在 Human3.6M、Surreal 和 UP-3D 三大數(shù)據(jù)集上創(chuàng)造了最新的世界紀(jì)錄，將原有最低誤差記錄大幅降低 30%。

Human3.6M 數(shù)據(jù)集上對(duì)比

Surreal 數(shù)據(jù)集上對(duì)比

UP-3D 數(shù)據(jù)集上對(duì)比

3D 重建領(lǐng)域通常以誤差（Error）作為衡量算法能力的主要指標(biāo)，誤差就是生成模型與實(shí)際圖像的差別。一般來(lái)說(shuō)，誤差越低，精度越高，意味著技術(shù)的性能越好。

云從稱(chēng)，其 3D 人體重建技術(shù)全身精度誤差（Surface Error）在 Surreal 上從 75.4 毫米降低到 52.7 毫米，關(guān)節(jié)精度誤差（3D Joint Error）從 55.8 毫米降低到 40.1 毫米，Human3.6M 上的關(guān)節(jié)精度誤差（3D Joint Error）從 59.9 毫米降低到 46.7 毫米，技術(shù)的執(zhí)行速度從之前的上百毫秒降低到僅需 5 毫秒。

與傳統(tǒng)關(guān)鍵點(diǎn)檢測(cè)、3D 重建的區(qū)別是什么？

傳統(tǒng)的人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)往往以 2D 的人體骨骼關(guān)節(jié)點(diǎn)檢測(cè)形式出現(xiàn)，即通過(guò)技術(shù)預(yù)測(cè) RGB 圖像中人體的十幾個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)，一方面結(jié)果非常稀疏，將人體大為簡(jiǎn)化成骨骼的形式，另一方面結(jié)果往往只包含二維平面上的坐標(biāo)預(yù)測(cè)，不能還原深度信息，因此無(wú)法體現(xiàn)縱深的感覺(jué)。

而基于單幀圖像的 3D 重建技術(shù)不僅能輸出骨骼關(guān)節(jié)點(diǎn)信息，更能同時(shí)預(yù)測(cè)大量的人體表面關(guān)鍵點(diǎn)信息，預(yù)測(cè)結(jié)果更加豐富，而且每個(gè)點(diǎn)的坐標(biāo)都是 3D 的，能夠體現(xiàn)不同軀干的縱深信息。

3D 關(guān)鍵點(diǎn)檢測(cè)

傳統(tǒng) 3D 重建技術(shù)大多需要連續(xù)的圖像序列或是多視角的圖像，在硬件設(shè)備上一般需要采用雙目攝像機(jī)或者結(jié)構(gòu)光攝像機(jī)等設(shè)備，因此在手機(jī)等便攜設(shè)備上往往難以實(shí)現(xiàn)；另一方面，專(zhuān)用設(shè)備還會(huì)增加部署成本，增加大規(guī)模普及 3D 重建技術(shù)的難度。

上述突破是如何實(shí)現(xiàn)的？

據(jù)悉，該論文對(duì)人體具有豐富多樣的姿態(tài)和穿著的特點(diǎn)，提出了一套全新的基于人體 3D 縱深預(yù)測(cè)的 3D 信息表征方式。通過(guò)對(duì)三原色圖像（RGB，不含深度信息）的分析，預(yù)測(cè)人體的 3D 形態(tài)和姿勢(shì)，并用 6 萬(wàn)多個(gè)點(diǎn)完整描繪人體，從而在人體重建技術(shù)上取得速度與精度的雙突破，呈現(xiàn)出來(lái)的模型更精細(xì)，幀率高達(dá)到 200fps，原本由于受實(shí)時(shí)顯示限制而無(wú)法實(shí)現(xiàn)的應(yīng)用可以一一實(shí)現(xiàn)。

不過(guò)，基于單幀圖像的 3D 重建技術(shù)對(duì)原始圖像的需求放松的同時(shí)，對(duì)背后的技術(shù)提出了更難的挑戰(zhàn)：技術(shù)需要從單幀圖像中推理出人體或人臉的 3D 形態(tài)，并通過(guò)光學(xué)透視、陰影疊加等基本光學(xué)原則準(zhǔn)確預(yù)測(cè)出各個(gè)關(guān)鍵點(diǎn)在 3D 空間的位置和朝向，從而得到人體的姿態(tài)或表情信息。

可探索的技術(shù)應(yīng)用方向

人體姿態(tài)和服飾復(fù)雜多樣，精度提升意味著對(duì)復(fù)雜場(chǎng)景的適應(yīng)性更好，模型更接近真實(shí)的情況。如《阿凡達(dá)》、《阿麗塔》、漫威系列等電影中，都需要專(zhuān)用特效設(shè)備與面部貼點(diǎn)來(lái)完成精細(xì)的人像采集，基于單幀圖像的 3D 人體 / 人臉重建技術(shù)，意味著可能顛覆電影視頻的拍攝制作，同時(shí)降低工業(yè)級(jí) 3D 動(dòng)畫(huà)合成的門(mén)檻。

由于對(duì)輸入圖像的要求低，使 3D 重建技術(shù)將可以利用普通光學(xué)攝像頭作為感知設(shè)備。例如，該技術(shù)將會(huì)使美顏 App 無(wú)需結(jié)構(gòu)光攝像頭也能具備高精準(zhǔn)度的瘦身與動(dòng)畫(huà)合成功能。

目前，這項(xiàng)技術(shù)可通過(guò)重要人員影像重建、醫(yī)療仿真肢體打印、虛擬試衣、美顏化妝、表情姿態(tài)動(dòng)畫(huà)合成等應(yīng)用場(chǎng)景在大型商場(chǎng)、直播平臺(tái)、美顏軟件、影視特效制作等行業(yè)普及。