3D人體掃描技術也可以用一種另類的方式達到相似的效果

最近在各社交平臺上大火的《頭號玩家》想必大家都看過，拋開片中大量的彩蛋不提，該片搭配的VR技術，展現(xiàn)出的真實沉浸感也非常吸引人。不過，除了VR技術，3D人體掃描技術或許也可以用一種另類的方式達到相似的效果。

3D人體掃描技術，是利用光學測量技術、計算機技術、圖像處理技術、數(shù)字信號處理技術等進行三維模擬人體表面輪廓的非接觸自動測量。這種技術的應用在現(xiàn)實生活中并不鮮見。前段時間蘋果的Animoji和三星的AR emoji都來源于這種技術，這種技術也可以應用到服裝試穿中，甚至有健身房依靠采用這種技術測量各種關乎健康的關鍵數(shù)值（體重指數(shù)、體脂成分等等）來吸引顧客。

不過，現(xiàn)有的方案有一個缺點，有的掃描裝置需要特殊的照相設備來檢測景深，有的則需要照相機矩陣來探查人體，而最近，德國布倫瑞克工業(yè)大學和 Max Planck Institute for Informatics 的研究人員發(fā)表了一篇論文，提出一種新的算法，可以使用單個角度的標準視頻素材為人體創(chuàng)建 3D 模型，用時僅需數(shù)秒。

這篇論文描述了如何為單目視頻中的移動人體做準確的 3D 建模?；?a target="_blank">參數(shù)化的人體模型，論文提出了穩(wěn)健的處理流程，對穿衣服的人群也能夠獲得 大約5mm 分辨率的 3D 模型。另外，論文中展示了對大量物體的評估結(jié)果，并分析了整體表現(xiàn)?？梢哉f，只需要一個智能手機或者攝像頭，這種方法就能讓每個人都創(chuàng)造自己的全動畫數(shù)字孿生體，并可應用到社交 VR 或者在線時裝購物的虛擬試穿。

圖 1：本論文提出的技術首創(chuàng)從人的單個視頻序列中提取精確的 3D 人體模型，包括頭發(fā)和衣服，這些人在攝像機前面移動，從而保證我們能從各個角度看到他們（圖片來自論文）

具體來說，論文提出的方法由 3 個步驟構(gòu)成：（1）姿勢重建；（2）一致形態(tài)評估；（3）幀精煉和紋理圖生成。其中第一步基本采用以前的研究，第三步中的紋理獲取和時變性細節(jié)是可選性的。

第一步，論文采用標準可視外殼方法從多個視角捕捉靜態(tài)形狀。穿過圖像輪廓點的相機光線可以約束出一個3D人體形狀。本論文中，研究者首先擬合 SMPL 模型和 2D 檢測，估計每一幀的初始人體形狀和 3D 姿勢?；跀M合結(jié)果，研究者將每一幀中的輪廓點與人體模型中的 3D 點結(jié)合起來，根據(jù)每個投影光線的對應 3D 模型點的反向變形模型，變換投影光線；處理所有幀的擬合結(jié)果后，就得到了一個“可視外殼”，即以標準姿勢展示的人體形狀。

在多個 3D 數(shù)據(jù)集上的研究結(jié)果表明本論文提出的方法可以重建 3D 人類形狀，即使單目視頻很模糊的情況下，準確率仍然高達 4.5 mm

為了評估對象的一致形態(tài)，研究者首先計算每個幀的 3D 姿勢。他們擴展了 評估的方法，使其魯棒性更好，以最大化地顯示每幀實例中的輪廓。在評估過程中，由于時間的變化，衣物可能會有微小的變形變形，這些姿勢的一致形態(tài)可能和幀輪廓有輕微的錯配。

在視頻序列中估計幾何圖形時，研究者需要一次優(yōu)化多個姿勢，更重要的是，優(yōu)化過程中需要在內(nèi)存中存儲多個模型，使得計算成本高昂，且可行性不強。

研究者采用基于 SMPL 高效優(yōu)化單個位移面的方法，一次性擬合所有幀，這要求只能在內(nèi)存中存儲一個模型。他們的方法首次實現(xiàn)從單個運動人體視頻（這樣我們可以從各個側(cè)面看到這個人）中提取出準確的 3D人體模型（包括頭發(fā)和衣服）。

最后，為了計算紋理和捕捉時間演化細節(jié)，第三步中將對一致形態(tài)的偏離進行每一幀的優(yōu)化，從而給出精煉的逐幀形態(tài)，以此計算紋理圖。本文的方法依賴于圖像的前景分割。因此，研究者使用了中基于 CNN 的視頻分割方法，并對每個序列用 3-4 個手工分割圖像進行訓練。另外，為了克服在單目時3D人體形態(tài)重構(gòu)中模糊性的問題，研究者使用 SMPL 身體模型作為起始點。

圖 7：定性測試結(jié)果：因為重構(gòu)的模版與 SMPL 人體模型有同樣的拓撲結(jié)構(gòu)，我們可以使用 SMPL 來改變重構(gòu)形體的姿態(tài)和外形。雖然 SMPL 不建模帶衣著人體的變形，但變形模版看起來還是可信的，從質(zhì)量上來看足夠承擔多種應用。

圖 9：輸入圖像（豎線左）與構(gòu)建形象（豎線右）的對比。正如圖像右側(cè)所示，用本文方法構(gòu)建的形體準確地覆蓋了輸入圖像。在右下角還呈現(xiàn)了構(gòu)建模型的側(cè)面視角。

之前我們已經(jīng)提到過一個可以對人體全身進行識別的技術（Facebook新研究為未來全身AR打下基礎），它與這次討論的技術是有差別的，F(xiàn)acebook的新研究識別出的人體是2D而非3D，但它們之間也有聯(lián)系，譬如二者都采用基于CNN的視頻分割方法來識別人體輪廓和紋理。實際上，論文中也說明識別紋理的方法并不是創(chuàng)新性的。

這篇論文中提出的新的人體3D掃描建模技術，完全可以只使用一個攝像頭，因此，它可以大量應用到智能手機上。另外，它不僅可以應用到服裝的試穿中， 同樣可以通過對人體的掃描，讓建立出的模型和其它的虛擬物體互動，算是另類的做到了《頭號玩家》的標準。當然，后者對處理器的計算能力要求會很高，也可能不會有更好的沉浸感。對論文感興趣的同學也可以戳閱讀原文下載。