圖像遷移最新成果：人體姿勢和舞蹈動(dòng)作遷移

加州大學(xué)伯克利分校的研究人員，近日在著名預(yù)印本網(wǎng)站 arXive 上，發(fā)布了最新的圖像遷移成果：人體姿勢和舞蹈動(dòng)作遷移。旨在把專業(yè)舞蹈演員的動(dòng)作遷移到不會(huì)跳舞的人身上，算法輸出流暢，還原度極高。小編在感嘆黑科技真厲害的同時(shí)，不禁為該算法的用途捏一把汗。因?yàn)榫驮诓痪们暗?DeepFakes 深度換臉?biāo)惴?，還被人拿來將明星的臉換到***上。

這篇文章的名字叫做：Everybody Dance Now， 是加州大學(xué)伯克利分校的研究人員：Caroline Chan, Shiry Ginosar, TingHui Zhou, Alexei A. Efros 在8月22日提交到 arXiv上的。文章中提出了一個(gè)簡單動(dòng)作遷移的方法：首先選擇一支單人跳舞視頻作為源視頻，將其中的動(dòng)作轉(zhuǎn)換到目標(biāo)視頻中。 只需要幾分鐘，在另一個(gè)目標(biāo)視頻上的目標(biāo)人員（完全不會(huì)跳舞的人）就會(huì)呈現(xiàn)同樣的動(dòng)作。

文章將動(dòng)作姿態(tài)遷移看作是每一幀上圖像到圖像的轉(zhuǎn)換，同時(shí)保證時(shí)間和空間的流暢。用動(dòng)作探測器作為源視頻和目標(biāo)視頻中間的表示，學(xué)習(xí)了一組從舞者動(dòng)作畫面到目標(biāo)物體的映射，并且對這些數(shù)據(jù)進(jìn)行調(diào)整，讓它與視頻完美融合，同時(shí)還加上了真實(shí)的人臉合成。通過這一框架，他們讓很多未經(jīng)訓(xùn)練的人跳出了芭蕾和街舞。

文章設(shè)計(jì)了能體現(xiàn)動(dòng)作的中間表現(xiàn)形式：左圖的火柴人。

從目標(biāo)視頻中，作者用動(dòng)作識別器為每一幀制作了(火柴人, 目標(biāo)人物圖像)的組合。有了這樣相關(guān)的數(shù)據(jù)，作者就能用監(jiān)督方法學(xué)習(xí)火柴人和目標(biāo)人物之間圖像到圖像的轉(zhuǎn)換模型了。之后，為了將源視頻的動(dòng)作遷移到目標(biāo)視頻中，作者把火柴人輸入到經(jīng)過訓(xùn)練的模型后，得到和源視頻中人物相同的目標(biāo)動(dòng)作。

另外，為了提高生成的質(zhì)量，作者添加了兩個(gè)元素：

1. 為了使生成的模型更連貫，作者會(huì)根據(jù)上一幀對目前的幀進(jìn)行預(yù)測；

2. 為了提高生成人臉的真實(shí)性，作者加入了經(jīng)過訓(xùn)練的GAN來生成目標(biāo)人物的臉部。