河套IT TALK——TALK42：（原創(chuàng)）視頻制作的人工智能時(shí)代要到來了，你準(zhǔn)備好了嗎？

關(guān)聯(lián)回顧

（原創(chuàng)）全圖說圖像處理的發(fā)展歷史（下）

（原創(chuàng)）全圖說ChatGPT的前世今生

（原創(chuàng)）全圖說動(dòng)畫技術(shù)的發(fā)展歷史（下）

一幅獲獎(jiǎng)的畫在藝術(shù)界炸了鍋

近幾個(gè)月，關(guān)于圖像生成（Text To Image）的人工智能藝術(shù)創(chuàng)作，成為科技媒體的熱點(diǎn)話題。從DALL-E，到Stable Diffusion，再到Midjourney，我們能明顯看到深度學(xué)習(xí)在圖像生成方面肉眼可見的巨大進(jìn)步。這些人工智能藝術(shù)創(chuàng)作工具在藝術(shù)界更是引發(fā)了不少插畫設(shè)計(jì)師和藝術(shù)家的職業(yè)焦慮。特別是去年9月份，當(dāng)杰森·艾倫 (Jason Allen) 將他的“空間歌劇院”提交給科羅拉多州博覽會(huì)的美術(shù)比賽時(shí)，這幅華麗的印刷品立即大受歡迎，作品中多個(gè)人物的肖像，飄逸的長袍，凝視著明亮的遠(yuǎn)方，復(fù)古風(fēng)和星際風(fēng)混搭的如此完美，且精細(xì)，立即征服了評(píng)委。在“數(shù)字處理攝影”類別中擊敗了其他 20 位藝術(shù)家，贏得了第一名藍(lán)色絲帶和 300 美元的獎(jiǎng)金。

然后，艾倫告訴大家，這件藝術(shù)品是由人工智能工具M(jìn)idjourney 創(chuàng)作的。這無疑在藝術(shù)界炸開了鍋。很多藝術(shù)家開始譴責(zé)艾倫用欺騙的手段獲得了獎(jiǎng)項(xiàng)。甚至上綱上線，認(rèn)為Midjourney這類Text to Image的生成工具，將徹底破壞人們的創(chuàng)造性，模糊藝術(shù)的邊界，甚至扼殺人類的藝術(shù)本身。

但吵歸吵，事情已經(jīng)發(fā)生，而且還有愈演愈烈的趨勢。最近，幾個(gè)文本到視頻（Text to Video）的工具悄然興起，讓生成對(duì)抗網(wǎng)絡(luò)( GAN ) 和擴(kuò)散模型的機(jī)器學(xué)習(xí)技術(shù)突破了圖片生成的邊界，延展到了視頻生成領(lǐng)域。今天我們會(huì)介紹三款近期剛剛萌芽的文本到視頻的生成工具。這些工具或許當(dāng)下看起來都還非常青澀，但也足夠驚艷。根據(jù)文本到圖像的發(fā)展速度，相信今年，最遲明年，這種技術(shù)就會(huì)成熟到爐火純青的程度，不信等著瞧：）

Gen-1

這個(gè)工具有五種使用模式：

風(fēng)格化（Stylization）：將任何圖像或提示的風(fēng)格轉(zhuǎn)移到視頻的每一幀。

故事板（Storyboard）：將模型變成完全風(fēng)格化和動(dòng)畫的渲染。

遮罩（Mask）：隔離視頻中的主題并使用簡單的文本提示對(duì)其進(jìn)行修改。

渲染（Render）：通過應(yīng)用輸入圖像或提示，將無紋理渲染變成逼真的輸出。

定制（Customization）：通過自定義模型以獲得更高保真度的結(jié)果，釋放 Gen-1 的全部功能。

Runway到底是何方神圣？在Runway的主頁上，我們看到他們的slogan是：“Everything you need to make anything you want.”（這里有你制作任何東西所需的一切）?！癕ake the impossible & Move Creativity Forward” （創(chuàng)造可能，推進(jìn)創(chuàng)意）。他們的網(wǎng)站上，你能找到幾十種AI多媒體（圖像、聲音、視頻動(dòng)畫）處理的小工具。Gen-1只是其諸多工具中的一個(gè)。

如果大家熟悉Stable Diffusion的話，就會(huì)明白，Stable Diffusion是由多家聯(lián)合發(fā)布的。Runway就是其中之一。

Stable Diffusion是一種潛在的擴(kuò)散模型（LDM），深度生成神經(jīng)網(wǎng)絡(luò)，代碼和模型權(quán)重已經(jīng)開源，對(duì)外發(fā)布。Stable Diffusion 由 3 部分組成：變分自動(dòng)編碼器(VAE)、U-Net和可選的文本編碼器。Stable Diffusion數(shù)據(jù)訓(xùn)練采用的是Common Crawl數(shù)據(jù)，其中包括 50 億個(gè)圖像-文本對(duì)。

這次Runway發(fā)布的Gen-1，用到的還是Stable Diffusion的能力。

Runway是在2018年，由幾位在紐約大學(xué)Tisch藝術(shù)學(xué)院交互式電信項(xiàng)目（ITP）的研究員：克里斯托弗·巴倫蘇埃拉（Cristóbal Valenzuela）、亞歷杭德羅·馬塔馬拉（Alejandro Matamala ）和阿納斯塔西斯·澤瑪尼迪斯（Anastasis Germanidis）成立的創(chuàng)業(yè)公司。

他們幾位癡迷于藝術(shù)與技術(shù)交集給藝術(shù)創(chuàng)作帶來的幫助。幾位年輕人堅(jiān)信：利用計(jì)算機(jī)圖形學(xué)和機(jī)器學(xué)習(xí)的最新進(jìn)展來突破創(chuàng)造力的極限，進(jìn)而降低內(nèi)容創(chuàng)作的障礙，必然會(huì)開啟新一波講故事的浪潮。

Google Dreamix

就人工智能的龍頭老大而言，我們不得不佩服Google。近期，Google也發(fā)布了一款Text to Video通用視頻編譯器Google Dreamix。這款工具提供三種工具模式：

1. 對(duì)已有視頻的編輯：提供一個(gè)輸入視頻，再給出一段文字描述，并根據(jù)這段文字描述對(duì)圖像進(jìn)行修訂。

2. 提供一張圖片，再對(duì)這張圖片提供一段描述，然后生成一段視頻來來讓這個(gè)圖片動(dòng)起來。

3. 提供一系列圖片，然后再提供一段描述，根據(jù)輸入圖片的素材，產(chǎn)生一個(gè)視頻動(dòng)畫符合描述的含義。

從技術(shù)上來說，對(duì)于視頻編輯，Dreamix 將源圖像加噪并將它們傳遞給視頻擴(kuò)散模型，然后該模型根據(jù)文本提示從噪聲源圖像生成新圖像并將它們組合成視頻。因此，源圖像提供了一種草圖，可以捕捉例如動(dòng)物的形狀或其運(yùn)動(dòng)，同時(shí)留出足夠的變化空間。

Google在人工智能貢獻(xiàn)遠(yuǎn)遠(yuǎn)不是Dreamix這么簡單。這個(gè)世紀(jì)以來至少有幾件事兒，Google是功不可沒的：

1. 2011年，谷歌人工智能研究部門Google AI和斯坦福大學(xué)教授吳恩達(dá)合作，成立了一個(gè)深度學(xué)習(xí)的團(tuán)隊(duì)，取名非常大膽，叫：谷歌大腦（Google Brain），杰夫·迪恩（Jeff" Dean）是負(fù)責(zé)人。目的是將開放式機(jī)器學(xué)習(xí)研究與信息系統(tǒng)和大規(guī)模計(jì)算資源相結(jié)合。2015年，谷歌大腦搞出來一個(gè)TensorFlow。這是一個(gè)在Apache License 2.0下開源的用于機(jī)器學(xué)習(xí)和人工智能的免費(fèi)開源軟件庫。采用于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理。后續(xù)很多機(jī)器學(xué)習(xí)的初創(chuàng)公司都受益于TensorFlow。

2. 針對(duì)TensorFlow，Google開發(fā)了新的硬件Tensor Processing Unit（TPU），這是一種專門為神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)開發(fā)的AI加速器專用集成電路（ASIC）。谷歌于 2015 年開始在內(nèi)部使用 TPU，并于 2018 年將其提供給第三方使用，既作為其云基礎(chǔ)設(shè)施的一部分，也通過出售較小版本的芯片。TPU對(duì)待深度卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算效率要高于GPU。當(dāng)然我們要承認(rèn)，由于TPU僅僅是為了TensorFlow的優(yōu)化，目前主流的人工智能圖像生成領(lǐng)域，硬件還是以GPU為主。2007年，隨著 Nvidia GeForce 8 系列的推出，以及隨后新的通用流處理單元，GPU 成為一種更通用的計(jì)算設(shè)備。GPU 上的通用計(jì)算開始真正進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域，讓標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)在GPU實(shí)施比CPU上的等效實(shí)施快 20 倍。正是因?yàn)檫@種邊際成本的變化，才激發(fā)了很多初創(chuàng)公司開始投身于人工智能的領(lǐng)域。

3. Google工程師 亞歷山大·莫德文采夫（Alexander Mordvintsev ）為2014年ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽（ILSVRC）開發(fā)了一個(gè)深度卷積計(jì)算機(jī)視覺程序DeepDream。這名字來源于電影《盜夢空間》。DeepDream使用卷積神經(jīng)網(wǎng)絡(luò)通過算法錯(cuò)視來查找和增強(qiáng)圖像中的模式，從而在故意過度處理的圖像中創(chuàng)造出一種夢幻般的外觀，讓人聯(lián)想到迷幻體驗(yàn)。2015年7月，程序發(fā)布后，被行業(yè)熱捧，也激發(fā)了很多藝術(shù)界的人士，意識(shí)到用機(jī)器學(xué)習(xí)充實(shí)藝術(shù)創(chuàng)作的巨大潛能。

4. 2017年，Google Brain團(tuán)隊(duì)又搞出來一個(gè)深度學(xué)習(xí)模型Transformer，采用自注意力機(jī)制，對(duì)輸入數(shù)據(jù)的每一部分的重要性進(jìn)行差異加權(quán)。這個(gè)模型直接刺激了預(yù)訓(xùn)練系統(tǒng)的發(fā)展。Transformer在自然語言處理和圖像處理都表現(xiàn)了非凡的優(yōu)勢。后來的OpenAI的GPT，就是基于Transformer的應(yīng)用。

當(dāng)然，除了Google之外，另外一家行業(yè)大佬Meta也沒有閑著。盡管操作了很久的元宇宙并未達(dá)到預(yù)期效果，Meta還是在圖像生成領(lǐng)域做了大膽的嘗試。

Make-a-Video

Meta AI是Meta平臺(tái)公司（原Facebook）的人工智能實(shí)驗(yàn)室（FAIR）。最近Meta AI搞了一個(gè)工具，叫Make-a-Video。是一款通過深度學(xué)習(xí)的方式實(shí)現(xiàn)從文本到視頻。Make-a-Video支持三種用法：

1. 單純的Text to Video，人們可以使用盡可能詳盡的語言來描繪視頻的內(nèi)容，以及選定對(duì)應(yīng)視頻的風(fēng)格（現(xiàn)實(shí)、超現(xiàn)實(shí)主義、風(fēng)格化），然后來生成對(duì)應(yīng)的視頻，比如：

泰迪熊在畫自畫像

2. 從靜到動(dòng)（From Static to Magic）

比如一艘大海航行船的圖像：

可以通過Make-a-Video生成一個(gè)動(dòng)圖：

3. 為視頻添加額外的創(chuàng)意

可以根據(jù)原始視頻創(chuàng)建視頻的變體，比如下面這個(gè)多色的毛茸跳舞者

通過Make-a-Video可以生成多個(gè)變體：?

?從技術(shù)上來看，Meta這個(gè)工具首先可以分解完整的時(shí)間U-Net和注意力張量，并在空間和時(shí)間上進(jìn)行近似。其次，設(shè)計(jì)了一個(gè)通過差值模型來實(shí)現(xiàn)時(shí)空管道來生成高分辨率和幀率的視頻。

幾年前的Image to Image

其實(shí)人工智能在藝術(shù)領(lǐng)域的介入從2015年左右就開始進(jìn)入大眾的視野了。那個(gè)時(shí)候，主要的應(yīng)用場景是通過神經(jīng)網(wǎng)絡(luò)和人工智能應(yīng)用某些藝術(shù)效果來轉(zhuǎn)換已有的圖片。相信大家都有印象包括Prisma、Pikazo、Painnt、Lucid、Artisto、Style和DeepArt等一系列的App出現(xiàn)在應(yīng)用市場上。這些App多半是將人工智能作為特效濾鏡的方式來運(yùn)用，把一張普通的照片，轉(zhuǎn)換為梵高、莫奈、達(dá)利和畢加索等等一系列藝術(shù)畫風(fēng)格的作品，當(dāng)然，高級(jí)一些的，還會(huì)生成視頻。

之所以卡在這個(gè)時(shí)間點(diǎn)突然出現(xiàn)，主要要?dú)w功于伊恩·古德費(fèi)洛（Ian Goodfellow）完成了一項(xiàng)人工智能神經(jīng)網(wǎng)絡(luò)的研究，發(fā)明了生成對(duì)抗網(wǎng)絡(luò)(Generative adversarial network，簡稱GAN)。這種技術(shù)可以讓經(jīng)過照片訓(xùn)練的 GAN 可以生成新照片，這些照片至少在人類觀察者看來是真實(shí)的，具有許多現(xiàn)實(shí)特征。最初GAN是作為無監(jiān)督學(xué)習(xí)的生成模型形式提出來的，但事實(shí)證明，GAN也可以用于半監(jiān)督學(xué)習(xí)、全監(jiān)督學(xué)習(xí)、和強(qiáng)化學(xué)習(xí)。

隨著伊恩·古德費(fèi)洛畢業(yè)加入Google后，他的同事就用他的GAN搞了一個(gè)DeepDream，這種奇幻的效果立即給AI藝術(shù)創(chuàng)作屆打了一針強(qiáng)心劑。緊接著，一堆的初創(chuàng)公司就如春筍般生長起來了。

開源在技術(shù)上迸發(fā)的力量

軟件開源，盡管現(xiàn)在已經(jīng)幾乎眾人皆知的開發(fā)模式，但其實(shí)從前麻省理工學(xué)院人工智能實(shí)驗(yàn)室的研究員理查德·斯托曼（Richard Stallman）不滿閉源軟件的不便，進(jìn)而在Dr. Dobb‘s軟件雜志上憤然發(fā)表《GNU宣言》（The GNU Manifesto），直到2005年，30年過去了，從自由軟件到開源，還一直都是小圈子的事情。

2005年，萊納斯·托沃茲（Linus Torvalds）開發(fā)了Git，進(jìn)而在2007年孵化出GitHub，才徹底改變了局面。GitHub的出現(xiàn)，讓開源項(xiàng)目全球化協(xié)作和軟件版本管理變得無比便捷。

而正是因?yàn)橛糜跈C(jī)器學(xué)習(xí)和人工智能的免費(fèi)開源軟件庫TensorFlow、OpenAI的GPT模型代碼和GPT-2和Google深度學(xué)習(xí)模型Transformer等等這些軟件能力被開源了，才會(huì)被世界上其他心中有藝術(shù)夢想的程序員所獲得，才會(huì)激發(fā)這個(gè)圖像生成產(chǎn)業(yè)的繁榮。

也正是這個(gè)原因，當(dāng)看到OpenAI不再把自回歸語言模型GPT-3繼續(xù)開源之后，我心中開始對(duì)這家公司表示質(zhì)疑，估計(jì)OpenAI會(huì)在短期盈利，但是很難走的長遠(yuǎn)。

優(yōu)質(zhì)的數(shù)據(jù)訓(xùn)練是基礎(chǔ)

2001年，美國法律學(xué)者和政治活動(dòng)家、哈佛大學(xué)教授勞倫斯·萊西格（Lester Lawrence Lessig）拉著哈羅德·阿貝爾森和埃里克·埃爾德雷德在紅帽羅伯特·揚(yáng)（Bob Young）的公共領(lǐng)域中心支持下，成立了一個(gè)非營利組織知識(shí)共享組織（Creative Commons ，簡稱CC ) 。鼓勵(lì)創(chuàng)作者采用“CC授權(quán)”，來推動(dòng)知識(shí)和作品的共享和創(chuàng)新，積極促成學(xué)術(shù)資料、音樂、文學(xué)、電影和科學(xué)作品對(duì)大眾開放， 并向全球各國推廣。

同年，由吉米·威爾士（Jimmy Wales）發(fā)起的多語言的免費(fèi)在線百科全書維基百科啟動(dòng)。內(nèi)容許可遵守CC Attribution 和 Share-Alike 3.0。

2012年，亞馬遜Amazon Web Services開始通過Common Crawl基金會(huì)這個(gè)非營利組織負(fù)責(zé)抓取網(wǎng)絡(luò)并免費(fèi)向公眾提供其檔案和數(shù)據(jù)集。致力于使互聯(lián)網(wǎng)信息訪問民主化的非營利組織。

沒有這些符合CC協(xié)議的優(yōu)質(zhì)內(nèi)容的大型平臺(tái)，GAN的機(jī)器學(xué)習(xí)，算法再好，也是無源之水。比如：也正是有了CC協(xié)議的這些優(yōu)質(zhì)數(shù)據(jù)資源，類似LAION（德國的非營利組織）才能夠去調(diào)用這些數(shù)據(jù)，專門訓(xùn)練很多備受矚目的文本到圖像模型，包括Stable Diffusion和Imagen。

不可阻擋的藝術(shù)平民化

藝術(shù)圈的很多人都明白，藝術(shù)在當(dāng)代社會(huì)的生存空間已經(jīng)被極大地壓縮了。圈內(nèi)人流傳一種說法：藝術(shù)家不會(huì)忙死，不會(huì)焦慮死，但藝術(shù)家會(huì)被餓死。現(xiàn)在很多藝術(shù)創(chuàng)作工具都是商業(yè)化工具，購買軟件要花費(fèi)高昂的成本，對(duì)于很多剛剛踏足藝術(shù)工作的新人來講，這些預(yù)支成本往往帶來巨大的生存壓力。

從最近圖像生成、視頻生成炒作熱度可以看出，藝術(shù)界的這種訴求非常強(qiáng)烈。今天介紹的幾個(gè)工具，應(yīng)該都是深知藝術(shù)圈這種窘境和痛苦的。他們的使命就是讓所有人都能零起步低成本創(chuàng)作內(nèi)容。他們也明白，解決這個(gè)問題的關(guān)鍵在于要擁抱機(jī)器學(xué)習(xí)的AI時(shí)代，他們堅(jiān)信機(jī)器學(xué)習(xí)能讓藝術(shù)創(chuàng)作民主化，平等化，而不是被壟斷在大的廣告公司和特效公司手里。

藝術(shù)平民化的道路，其實(shí)從文藝復(fù)興后，一直都在不停地迭代，從印象派到抽象派到達(dá)達(dá)主義之后到波普藝術(shù)，都是在簡化藝術(shù)創(chuàng)作的難度和門檻上變得越來越容易，而AI讓這個(gè)進(jìn)程又加速了，讓普通人不僅僅可以創(chuàng)作藝術(shù)，而且還能創(chuàng)作出藝術(shù)家才能創(chuàng)造的高品質(zhì)的藝術(shù)作品，這無疑是一種變革。因?yàn)锳I讓普通人站在了藝術(shù)界巨人的肩膀上。

寫在最后

我們經(jīng)常會(huì)為一個(gè)新的技術(shù)熱點(diǎn)出現(xiàn)而興奮，但每個(gè)熱點(diǎn)的背后，都不是憑空產(chǎn)生的。在到達(dá)引爆媒體的臨界點(diǎn)之前的蓄能階段，有很多的技術(shù)和平臺(tái)，都在孵化這個(gè)引爆點(diǎn)。如果用放大鏡去看，都有有軌跡可循的。我們會(huì)洞見到：生態(tài)界和教育界的配合，非營利機(jī)構(gòu)和營利產(chǎn)業(yè)界的配合，某些行業(yè)領(lǐng)袖開放開源的胸懷。而往往每一環(huán)都是關(guān)鍵的助推力量，缺少任何一環(huán)，技術(shù)的引爆點(diǎn)都可能會(huì)延遲數(shù)年，甚至數(shù)十年。但有一點(diǎn)是明確的：是金子，最后一定會(huì)發(fā)光，但天時(shí)地利人和是何時(shí)何地發(fā)光的關(guān)鍵。