日前,曠視科技發(fā)布了一項新的開源AI人像視頻生成框架——MegActor。該框架讓用戶只需輸入一張靜態(tài)肖像圖片和一段視頻(如演講、表情包、rap),便可生成一段表情豐富、動作一致的AI人像視頻。生成的視頻長度取決于輸入的視頻長度。與阿里EMO、微軟VASA等最新AI視頻模型不同,曠視MegActor采用開源方式,供開發(fā)者社區(qū)使用。MegActor生成的視頻畫質(zhì)更出色,面部細節(jié)更加豐富自然。
為了展示其泛化性,MegActor甚至可以將VASA中的人物肖像和視頻組合生成,得到生動的表情視頻。即使與阿里EMO的官方案例相比,MegActor也能生成近似的效果。
總的來說,無論是讓肖像開口說話、唱歌、模仿搞怪表情包,MegActor都能生成逼真的效果。
論文鏈接:https://arxiv.org/abs/2405.20851
代碼地址:https://github.com/megvii-research/megactor
項目地址:https://megactor.github.io/
MegActor是曠視研究院的最新研究成果。曠視研究院是曠視公司級研究機構(gòu),旨在通過基礎(chǔ)創(chuàng)新突破AI技術(shù)邊界,以工程創(chuàng)新實現(xiàn)技術(shù)到產(chǎn)品的快速轉(zhuǎn)化。多年來,曠視研究院已成為全球領(lǐng)先的人工智能研究機構(gòu)。
目前的人像視頻生成領(lǐng)域中,許多工作通常使用高質(zhì)量的閉源數(shù)據(jù)進行訓(xùn)練,以追求更好的效果。而曠視研究院始終堅持全面開源,確保實際效果的可復(fù)現(xiàn)性。MegActor的訓(xùn)練數(shù)據(jù)全部來自公開可獲取的開源數(shù)據(jù)集,配合開源代碼,使得感興趣的從業(yè)者可以從頭開始完整復(fù)現(xiàn)這些效果。
為了完全復(fù)刻原始視頻的表情和動作,MegActor采用原始圖像進行驅(qū)動,這與多數(shù)廠商使用的中間表示方法(如sketch、pose、landmark)不同,能夠捕捉到細致的表情和運動信息。
曠視科技研究總經(jīng)理范浩強表示,在AI視頻生成領(lǐng)域,我們發(fā)現(xiàn)目前主流的骨骼關(guān)鍵點控制方式不僅要求用戶提供難以獲取的專業(yè)控制信號,同時生成視頻的保真度也不盡如人意。通過研究發(fā)現(xiàn),使用原視頻進行驅(qū)動,不僅降低了控制信號的門檻,更能生成保真且動作一致的視頻。
具體來說,MegActor主要由兩個階段構(gòu)成:
使用ReferenceNet對參考圖像進行特征提取,獲取參考圖像的外觀和背景信息;
使用PoseGuider對輸入視頻進行運動和表情信息提取,將這些信息遷移到參考圖像上。
雖然使用原始視頻進行驅(qū)動能帶來更豐富的表情細節(jié)和運動信息,但也存在ID泄露和背景干擾等挑戰(zhàn)。為此,MegActor采用了條件擴散模型,引入了合成數(shù)據(jù)生成框架,創(chuàng)建具有一致動作和表情但不同身份ID的視頻,以減輕ID泄露的問題。MegActor還分割了參考圖像的前景和背景,并使用CLIP對背景細節(jié)進行編碼,確保背景的穩(wěn)定性。
在數(shù)據(jù)訓(xùn)練方面,曠視研究院團隊使用公開數(shù)據(jù)集(VFHQ和CeleV)進行訓(xùn)練,總時長超過700小時。為了避免ID泄露問題,團隊還使用換臉和風(fēng)格化方法1:1生成合成數(shù)據(jù),實現(xiàn)表情和動作一致但ID不一致的數(shù)據(jù)。此外,團隊使用注視檢測模型處理數(shù)據(jù),獲取大約5%的高質(zhì)量數(shù)據(jù)進行Finetune訓(xùn)練。
通過新的模型框架和訓(xùn)練方法,曠視研究院團隊僅使用了不到200塊V100顯卡小時的訓(xùn)練時長,最終實現(xiàn)了以下特性:
根據(jù)輸入視頻生成任意持續(xù)時間的模仿視頻,確保角色身份一致性;
支持各種驅(qū)動視頻,如演講、唱歌、表情包等;
支持不同畫風(fēng)(照片、傳統(tǒng)繪畫、漫畫、AI數(shù)字人等);
與音頻生成方法相比,MegActor生成的視頻不僅能確保表情和動作一致,更能達到自然程度。
目前,MegActor已經(jīng)完全開源,供開發(fā)者和用戶即開即用。
審核編輯 黃宇
-
AI
+關(guān)注
關(guān)注
87文章
29383瀏覽量
267679 -
開源
+關(guān)注
關(guān)注
3文章
3185瀏覽量
42241
發(fā)布評論請先 登錄
相關(guān)推薦
評論