除了刷屏的Sora，國(guó)內(nèi)外還有哪些AI視頻生成工具

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）近日，OpenAI發(fā)布的文生視頻模型Sora全網(wǎng)刷屏。相比之前的文生視頻模型，Sora無論是視頻時(shí)長(zhǎng)，還是畫面精細(xì)度，細(xì)節(jié)完整性，或是多鏡頭拍攝，都更為突出。Sora的發(fā)布也讓AI生成視頻有了突破性進(jìn)展。

過去一年多，全球科技公司都在發(fā)布各種大模型，然而AI生成內(nèi)容更多集中在文本和圖片方面，AI視頻生成方面卻進(jìn)展緩慢。從當(dāng)前的形勢(shì)來看，AI視頻生成在今年或許會(huì)有一番新景象。那么目前國(guó)內(nèi)外都有哪些AI視頻生成工具，效果如何呢？

Sora

OpenAI發(fā)布的新型視頻生成模型Sora，其核心能力是能夠生成長(zhǎng)達(dá)一分鐘的高清視頻，這一時(shí)長(zhǎng)遠(yuǎn)超之前的生成模型。而且，Sora生成的視頻不僅畫質(zhì)卓越，細(xì)節(jié)豐富，而且?guī)矢摺⑦B續(xù)性好，幾乎達(dá)到了無縫銜接的效果。

從OpenAI官網(wǎng)展示的一個(gè)視頻來看，輸入提示詞“一位時(shí)尚女士走在東京的街道上，街道上充滿了溫暖的霓虹燈和動(dòng)畫城市標(biāo)志。她穿著黑色皮夾克、紅色長(zhǎng)裙和黑色靴子，拿著一個(gè)黑色錢包。她戴著太陽鏡，涂著紅色口紅。她走路自信而隨意。街道潮濕且反光，形成了五顏六色燈光的鏡面效果。許多行人四處走動(dòng)?！?br />
生成的視頻，無論是運(yùn)鏡還是人物、地面、背景的細(xì)節(jié)，還有拉進(jìn)鏡頭后人物面部上的皺紋、毛發(fā)、墨鏡上的反光，都幾乎可以以假亂真，畫面穩(wěn)定不錯(cuò)位。在長(zhǎng)達(dá)60秒的視頻里，畫面隨鏡頭的大幅度運(yùn)動(dòng)并沒有出現(xiàn)錯(cuò)位的情況，整體風(fēng)格保持了驚人的一致性。

據(jù)IDC中國(guó)預(yù)測(cè)，Sora將率先在短視頻、廣告、互動(dòng)娛樂、影視制作和媒體等行業(yè)中得到應(yīng)用。在這些領(lǐng)域，利用Sora的多模態(tài)大模型能力，可以輔助內(nèi)容行業(yè)的工作者更高效地創(chuàng)作視頻，不僅加快了生產(chǎn)速度，還提高了產(chǎn)出數(shù)量，并為用戶帶來前所未有的視覺體驗(yàn)。這將助力企業(yè)實(shí)現(xiàn)成本降低、效率提升，并進(jìn)一步優(yōu)化用戶體驗(yàn)。

Pika 1.0

在OpenAI發(fā)布視頻生成模型Sora之前，去年11月29日，美國(guó)AI初創(chuàng)公司Pika labs發(fā)布的文生視頻產(chǎn)品Pika 1.0呈現(xiàn)的效果在當(dāng)時(shí)也相當(dāng)驚艷。Pika labs是一家成立于去年4月份的初創(chuàng)公司，創(chuàng)始人郭文景和聯(lián)合創(chuàng)始人兼CTO Chenlin Meng，都是斯坦福大學(xué)AI Lab博士生。一位專注于NLP（自然語言處理）和圖形學(xué)，另一位主攻計(jì)算機(jī)視覺方向。

據(jù)介紹，該公司推出的視頻生成模型Pika 1.0能夠生成和編輯3D動(dòng)畫、動(dòng)漫、卡通和電影。視頻生成方面，可以通過文字生成視頻，也可以圖片生成視頻。比如，只需輸入提示詞“馬斯克穿著太空服，3D動(dòng)畫”，一個(gè)動(dòng)畫版本、穿著太空服準(zhǔn)備乘坐火箭上太空的馬斯克即可生成，外形、動(dòng)作、背景等元素均十分逼真，可以媲美花大成本制作的3D動(dòng)畫影像。

Pika 1.0還可以通過原有視頻生成更高質(zhì)量的視頻。該公司當(dāng)時(shí)展示了一個(gè)騎馬的黑白原視頻，通過Pika 1.0生成了物種不同風(fēng)格的動(dòng)畫，幾乎涵蓋現(xiàn)有電影和動(dòng)畫大部分風(fēng)格，看上去質(zhì)量效果非常好。除了視頻生成，Pika 1.0還能夠進(jìn)行視頻編輯，用戶只需要選定編輯區(qū)域，就能根據(jù)文本提示詞修改特定區(qū)域。

在當(dāng)時(shí)來看，Pika 1.0的出現(xiàn)可以說效果好于之前的文生視頻模型。然而隨著現(xiàn)在Sora的出現(xiàn)，Pika或許會(huì)感覺到壓力。Pika公司創(chuàng)始人郭文景表示，“我們覺得這是一個(gè)很振奮人心的消息，我們已經(jīng)在籌備升級(jí)中，將直接對(duì)標(biāo) Sora。”

Gen-2

相比于OpenAI和Pika，成立于2018年的AI初創(chuàng)公司Runway應(yīng)該是最早探索視頻生成領(lǐng)域的企業(yè)。2022年2月，Runway發(fā)布了Gen-1，可以對(duì)原視頻進(jìn)行風(fēng)格化的編輯。3月該公司又發(fā)布了生成式AI視頻模型Gen-2，允許用戶輸入文本提示生成四秒長(zhǎng)視頻，8月，Runway添加了一個(gè)選項(xiàng)，可以將 Gen-2 中人工智能生成的視頻延長(zhǎng)至 18 秒。

在隨后的幾個(gè)月，Runway還對(duì)Gen-2 做了幾次更新。之后更是推出動(dòng)態(tài)筆刷Motion Brush，它是Runway視頻生成工具Gen-2的一部分。Runway動(dòng)態(tài)筆刷是一種利用人工智能技術(shù)讓靜止圖片中的物體動(dòng)起來的功能，你只需要在圖片上用畫筆涂抹你想要?jiǎng)悠饋淼牟糠?，Runway就會(huì)自動(dòng)識(shí)別物體的運(yùn)動(dòng)軌跡和特征，生成逼真的動(dòng)態(tài)效果。該工具的發(fā)布引起業(yè)界不小的關(guān)注。

在Pika 1.0和Sora出現(xiàn)之前，Runway的Gen-2模型被認(rèn)為是AI視頻制作的頂尖模型，它制作出來的視頻效果逼真、流暢、高清。隨著OpenAI Sora的發(fā)布，Runway接下來或許會(huì)有新動(dòng)作，在Sora發(fā)布之后，Runway CEO第一時(shí)間在X上發(fā)推特稱“game on（競(jìng)爭(zhēng)開始了）”。

Stable Video Diffusion

在圖片生成領(lǐng)域遙遙領(lǐng)先的Stability AI，去年11月發(fā)布了其最新的AI模型Stable Video Diffusion，這款模型能夠通過現(xiàn)有圖片生成視頻，是基于之前發(fā)布的Stable Diffusion文本轉(zhuǎn)圖片模型的延伸，不過當(dāng)時(shí)，這款模型并不是對(duì)所有人開放的。

據(jù)介紹，Stable Video Diffusion當(dāng)時(shí)還處于Stability AI所謂的“研究預(yù)覽”階段。想要使用這款模型的人必須同意一些使用條款，其中規(guī)定了Stable Video Diffusion的預(yù)期應(yīng)用場(chǎng)景（例如教育或創(chuàng)意工具、設(shè)計(jì)和其他藝術(shù)過程等）和非預(yù)期的場(chǎng)景（例如對(duì)人或事件的事實(shí)或真實(shí)的表達(dá)）。

從網(wǎng)友對(duì)比反饋來看，Stable Video Diffusion生成視頻的效果可以與當(dāng)時(shí)被看好的的Runway 和Pika Labs 的AI生成視頻相媲美。不過局限性在于，Stability AI的視頻生成模型，不能生成沒有運(yùn)動(dòng)或緩慢的攝像機(jī)平移的視頻，也不能通過文本進(jìn)行控制，也不能渲染文字（至少不能清晰地渲染），也不能一致地“正確地”生成人臉和人物。

寫在最后

目前來看，在視頻生成方面，表現(xiàn)比較優(yōu)秀的幾個(gè)模型就是上文提到的OpenAI發(fā)布的Sora，以及Pika labs、Runway、Stability AI發(fā)布的視頻模型。其中Sora無論是在時(shí)長(zhǎng)，還是運(yùn)鏡、畫面細(xì)節(jié)等方面都更為突出。Stability AI的模型目前還不能進(jìn)行文本生成視頻。

除了這幾款視頻生成工具之外，還有一些企業(yè)在文生視頻方面也有動(dòng)作，包括Adobe，該公司宣布已收購(gòu)AI視頻生成創(chuàng)業(yè)公司Rephrase.ai；谷歌，其團(tuán)隊(duì)已經(jīng)發(fā)布發(fā)布了視頻生成模型VideoPoet。

國(guó)內(nèi)的字節(jié)跳動(dòng)、百度、阿里在這方面也有動(dòng)作。字節(jié)跳動(dòng)此前就推出了一款視頻模型Boximator，可以通過文本精準(zhǔn)控制生成視頻中人物或物體的動(dòng)作。不過近日，字節(jié)跳動(dòng)對(duì)此回應(yīng)稱，Boximator是視頻生成領(lǐng)域控制對(duì)象運(yùn)動(dòng)的技術(shù)方法研究項(xiàng)目，目前還無法作為完善的產(chǎn)品落地，距離國(guó)外領(lǐng)先的視頻生成模型在畫面質(zhì)量、保真率、視頻時(shí)長(zhǎng)等方面還有很大差距。

另外值得關(guān)注的是，2月23日消息，谷歌資深科學(xué)家、VideoPoet項(xiàng)目負(fù)責(zé)人蔣路已加入字節(jié)跳動(dòng)旗下短視頻社交平臺(tái)TikTok。字節(jié)跳動(dòng)接下來在視頻生成方面的研究還是可以期待一下。

早前就傳出百度文心大模型視頻生成功能在內(nèi)測(cè)中，不過目前還沒進(jìn)展的消息。阿里在去年底也上線了Animate Anyone模型，通過一張圖片就能生成視頻，當(dāng)時(shí)有網(wǎng)友用一張照片生成了一段跳舞視頻，每一個(gè)動(dòng)作都十分自然，幾乎可以亂真，在網(wǎng)絡(luò)上引起大量傳播。

總的來說，目前國(guó)內(nèi)外已經(jīng)有不少企業(yè)在探索視頻生成領(lǐng)域，包括國(guó)內(nèi)的字節(jié)跳動(dòng)、百度、阿里，雖然已經(jīng)逐漸有一些進(jìn)展。不過相比OpenAI、Pika labs、Runway等的視頻模型，還存在差距。