人體圖像合成制作可信和逼真的人類圖像

技術(shù)和算法的開發(fā)和精進(jìn)讓AI換臉、AI克隆都成了可實(shí)現(xiàn)的事情。近日，上海科技大學(xué)團(tuán)隊(duì)的一項(xiàng)新研究，再一擴(kuò)展了這一領(lǐng)域，其開發(fā)建立了人體圖像合成——人體圖像合成的目的是制作可信和逼真的人類圖像，包括運(yùn)動(dòng)模擬、外觀傳遞和新視圖合成等。

這意味著，模型一旦經(jīng)過訓(xùn)練，就可以用來處理所有這些任務(wù)。只要一張照片、一段視頻，就能讓特朗普跟著明星偶像“唱、跳、Rap”。

研究團(tuán)隊(duì)先是采集了30個(gè)研究對象的數(shù)據(jù)，他們的體型、身高各不相同。每個(gè)研究對象穿著不同的衣服，完成一套指定動(dòng)作和一套隨機(jī)動(dòng)作?；诖耍⒘艘粋€(gè)具有多種樣式、不同人物穿不同衣服的數(shù)據(jù)集，稱為Impersonator（iPER）數(shù)據(jù)集。

隨后，研究人員使用三維人體網(wǎng)格恢復(fù)模塊，以分離姿勢和形狀。值得一提的是，現(xiàn)有任務(wù)特定方法主要利用二維關(guān)鍵點(diǎn)、對人體結(jié)構(gòu)進(jìn)行估計(jì)。但是，它們只表示位置信息沒有能力描述人的個(gè)性化形狀和肢體旋轉(zhuǎn)模型。

而三維人體網(wǎng)格不僅可以對關(guān)節(jié)的位置和旋轉(zhuǎn)進(jìn)行建模，還可以對關(guān)節(jié)的位置和旋轉(zhuǎn)進(jìn)行建模描述個(gè)性化的體型。

為了保存源信息，如紋理、樣式、顏色和人臉標(biāo)識(shí)，研究人員還提出了一種注意型液化GAN。比如，通過降噪卷積自動(dòng)編碼器提取特朗普的身體特征，然后經(jīng)過GAN不斷地訓(xùn)練學(xué)習(xí)、微調(diào)、監(jiān)督、轉(zhuǎn)化，將低分辨率的模型轉(zhuǎn)變成高分辨率的模型，使輸出來的視頻圖像清晰。

人體圖像合成一經(jīng)開發(fā)，將在角色動(dòng)畫、角色再現(xiàn)、虛擬服裝試穿、電影或游戲制作等方面展示其巨大的潛在應(yīng)用前景。當(dāng)然，技術(shù)的使用永遠(yuǎn)需要合理的規(guī)制，“以假亂真”一旦泛濫，將對市場造成難以恢復(fù)的危害。

責(zé)任編輯：PSY