阿里云視頻生成技術(shù)創(chuàng)新！視頻生成使用了哪些AI技術(shù)和算法

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）日前，阿里云宣布通義實(shí)驗(yàn)室研發(fā)的視頻生成模型EMO正式上線通義App，免費(fèi)對所有人開放。借助這一功能，用戶可以在歌曲、熱梗、表情包中任選一款模板，然后通過上傳一張肖像照片就能讓 EMO 合成演戲唱歌視頻。

阿里云在視頻生成領(lǐng)域的創(chuàng)新

EMO（Emote Portrait Alive）是一個(gè)由阿里巴巴集團(tuán)智能計(jì)算研究院開發(fā)的框架，一個(gè)音頻驅(qū)動的 AI 肖像視頻生成系統(tǒng)，能夠通過輸入單一的參考圖像和語音音頻，生成具有表現(xiàn)力的面部表情和各種頭部姿勢的視頻。

據(jù)介紹，通義 App 首批上線了80多個(gè) EMO 模板，包括熱門歌曲《上春山》《野狼 Disco》等，還有網(wǎng)絡(luò)熱?！袄徖忞u”“回手掏”等。EMO自2月底公布模型論文以來，在海內(nèi)外引發(fā)廣泛關(guān)注，并與OpenAI的Sora模型相提并論。

具體來看，EMO的功能包括，音頻驅(qū)動的視頻生成，通過輸入一段音頻（如語音、歌曲等）和一張參考圖片（通常是人物的肖像），就能生成一個(gè)動態(tài)的、與音頻內(nèi)容同步的視頻。

阿里EMO使用先進(jìn)的音視頻擴(kuò)散模型和注意力機(jī)制，能夠生成具有高度真實(shí)感和豐富表現(xiàn)力的肖像視頻。肖像的表情和動作會非常自然和流暢，與音頻內(nèi)容緊密同步。

阿里EMO的應(yīng)用場景非常廣泛。它不僅可以用于娛樂和創(chuàng)作領(lǐng)域，如讓歷史人物“復(fù)活”、為電影角色配音等，還可以用于教育、廣告、游戲等多個(gè)領(lǐng)域，為用戶提供更多樣化、個(gè)性化的視頻內(nèi)容。

另外，阿里EMO采用高效的算法和計(jì)算框架，能夠在較短的時(shí)間內(nèi)生成高質(zhì)量的肖像視頻。這為用戶節(jié)省了大量的時(shí)間成本，提高了工作效率。

阿里EMO的框架還具有良好的可擴(kuò)展性和靈活性，可以根據(jù)用戶的具體需求進(jìn)行定制和優(yōu)化。例如，可以通過調(diào)整參數(shù)或添加新的模型組件來優(yōu)化生成視頻的質(zhì)量和性能。

阿里在視頻生成領(lǐng)域做過非常多創(chuàng)新，此前還推出過VideoComposer，這是一個(gè)結(jié)合了空間條件和時(shí)序條件的視頻生成框架。它利用單張圖像或草圖作為空間條件，同時(shí)結(jié)合運(yùn)動矢量和深度序列等時(shí)序條件，來生成具有高度視覺逼真度的視頻。

阿里云還發(fā)布了AtomoVideo模型，這是一種能夠從單一靜態(tài)圖像生成高保真視頻序列的技術(shù)。它結(jié)合了個(gè)性化文本到圖像（T2I）模型，能夠根據(jù)文字描述和靜態(tài)圖片生成符合描述的視頻內(nèi)容。

此外，阿里云視覺智能開放平臺提供了豐富的視頻生產(chǎn)能力，包括視頻摘要、視頻編輯、視頻人臉融合等功能。這些功能可以應(yīng)用于電商、影視、廣告等多個(gè)領(lǐng)域，幫助用戶快速生成高質(zhì)量的視頻內(nèi)容。

視頻生成使用到的AI技術(shù)和算法

視頻生成是一個(gè)涉及多個(gè)步驟和技術(shù)的過程，目前國內(nèi)外有多款視頻生成工具，如Pixverse、Pika、Runway Gen-2、Kaiber、Plaiday、Genmo等。其中，Pika因其高質(zhì)量和穩(wěn)定的畫面生成能力而受到用戶好評，Runway Gen-2則可以將midjourney生成的圖像轉(zhuǎn)換為高質(zhì)量動畫。另外，Sora作為一款新興的視頻生成工具，其獨(dú)特之處在于能夠生成高質(zhì)量的長視頻內(nèi)容，并理解長文本指令以生成詳盡細(xì)節(jié)的視頻內(nèi)容。

從算法的角度來看，視頻生成涉及到一些基本的算法和技術(shù)。例如，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中的GRU和LSTM可以有效避免梯度下降和衰減的問題，而encoder-decoder架構(gòu)則使得機(jī)器翻譯等任務(wù)的效果大幅提升。在視頻生成領(lǐng)域，這些算法和技術(shù)可能用于生成視頻的內(nèi)容、結(jié)構(gòu)、風(fēng)格等方面。

視頻生成采用了相當(dāng)多的技術(shù)，包括深度學(xué)習(xí)模型，這是視頻生成中最為關(guān)鍵的技術(shù)之一。深度學(xué)習(xí)模型，特別是生成對抗網(wǎng)絡(luò)（GANs）和變分自編碼器（VAEs），被廣泛應(yīng)用于視頻生成中。這些模型能夠?qū)W習(xí)并模仿視頻數(shù)據(jù)的分布，從而生成新的、與原始數(shù)據(jù)相似的視頻。

計(jì)算機(jī)圖形學(xué)，它在視頻生成中扮演著重要角色，特別是在創(chuàng)建虛擬場景、角色和特效時(shí)。通過計(jì)算機(jī)圖形學(xué)技術(shù)，可以生成逼真的虛擬場景和角色，并將其與真實(shí)視頻相結(jié)合，創(chuàng)造出獨(dú)特的視覺效果。

物理模擬，為了生成更逼真的視頻，物理模擬技術(shù)被用來模擬物體的運(yùn)動和交互。這包括模擬物體的運(yùn)動軌跡、碰撞效果、光影變化等，以使得生成的視頻更加真實(shí)可信。

自然語言處理，隨著技術(shù)的發(fā)展，自然語言處理（NLP）也被應(yīng)用于視頻生成中。通過解析文本描述，NLP技術(shù)可以指導(dǎo)視頻生成模型生成與文本內(nèi)容相匹配的視頻。這為視頻生成提供了更多的創(chuàng)意和可能性。

還有音頻合成技術(shù)，除了視覺元素外，音頻也是視頻的重要組成部分。音頻合成技術(shù)可以生成與視頻內(nèi)容相匹配的音效和背景音樂，從而提升視頻的觀看體驗(yàn)。此外，還有一些其他的技術(shù)也被用于視頻生成中，如增強(qiáng)學(xué)習(xí)、遷移學(xué)習(xí)等。這些技術(shù)使得視頻生成更加靈活、高效和多樣化。

寫在最后

經(jīng)過近些年的發(fā)展，視頻生成技術(shù)也逐漸成熟，并且在新聞報(bào)道、廣告制作、教育培訓(xùn)、電影與游戲制作、醫(yī)療健康等領(lǐng)域有不少實(shí)際的應(yīng)用案例。未來，娛樂與媒體、廣告與營銷、教育培訓(xùn)、虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)、醫(yī)療健康等都將會成為視頻生成技術(shù)的主流應(yīng)用。