復(fù)聯(lián)4特效與它的新武器人工智能的那些事

機(jī)器學(xué)習(xí)、VR、AR等技術(shù)助力電影特效鏡頭的制作，不僅大大改善科幻電影視覺效果，同時(shí)也節(jié)省大量人力與時(shí)間成本?！皬?fù)聯(lián)4”中，使用了大量的機(jī)器學(xué)習(xí)。

首先鄭重聲明，本文不會(huì)涉及任何劇透，請放心享用。

期盼已久的《復(fù)仇者聯(lián)盟：終局之戰(zhàn)》終于上映了！近300萬人在國內(nèi)午夜零點(diǎn)場熬夜觀看。

迄今為止，在電影界有著如此大的吸引力的，恐怕非漫威莫屬了。有人說：「特效始于電影，高至漫威」。因此，除了精彩的劇情，《復(fù)聯(lián)》系列帶來的視覺沖擊也是它實(shí)力圈粉的原因。

據(jù)統(tǒng)計(jì)，《復(fù)聯(lián)3》里包含2680個(gè)特效鏡頭，獲得第 22 屆好萊塢電影最佳視覺效果獎(jiǎng)。而距離3首映僅一年，《復(fù)聯(lián)4》就帶著超過3000個(gè)特效鏡頭趕來。這背后是12家特效公司、上千人團(tuán)隊(duì)以及計(jì)算機(jī)的工作。

今天我們不聊劇情，聊聊特效與它的新武器人工智能的那些事。

假如復(fù)聯(lián)沒有特效

很難想象沒有特效的復(fù)聯(lián)會(huì)是什么效果。而沒有強(qiáng)大的技術(shù)力量，《復(fù)聯(lián)4》可能也不會(huì)這么快與我們見面。要知道，曾經(jīng)以特效驚艷觀眾的《阿凡達(dá)》每幀畫面平均耗費(fèi)了4萬個(gè)人工小時(shí)。

特效是指影視作品拍攝和制作中，利用數(shù)字技術(shù)的手段「制作」出難以完成或者有危險(xiǎn)的畫面。

我們常說的「大場面」就是優(yōu)秀的視覺特效了。

《復(fù)聯(lián) 3 》全片 2680 個(gè)特效鏡頭，只有4個(gè)鏡頭沒使用特效。刷新了當(dāng)時(shí)漫威電影的特效鏡頭紀(jì)錄，這些特效制作成本高達(dá) 2.5 億美元。所以如此打造的視覺盛宴，誰能扛得住。

如果沒有特效，你看到的復(fù)聯(lián)，畫風(fēng)完全是另一個(gè)模樣

但特效的制作一般需要花費(fèi)巨大的心血和財(cái)力，所以特效做的不好的話會(huì)被戲稱「五毛特效」。而隨著機(jī)器學(xué)習(xí)的發(fā)展，以及 VR， AR 技術(shù)的成熟，視覺特效這項(xiàng)工作已經(jīng)在人工智能的幫助下，開啟了新篇章。

特效的 AI 核武器之一：工業(yè)光魔

參與《復(fù)聯(lián) 4 》制作的 12 家特效公司之一，工業(yè)光魔 （ILM，Industrial Light and Magic ），憑《星球大戰(zhàn)》開創(chuàng)了特效新時(shí)代，一舉成為電影特技的「領(lǐng)頭羊」。

迄今為止，工業(yè)光魔已經(jīng)為多達(dá) 300 部的影片制作特效，并獲得過 15 次奧斯卡最佳視覺效果獎(jiǎng)?！都永毡群１I》、《變形金剛》等電影特效都是工業(yè)光魔參與制作。

在《復(fù)聯(lián) 3 》中，瓦坎達(dá)之戰(zhàn)是由工業(yè)光魔參與制作的，包括滅霸飛船、瓦坎達(dá)上的所有戰(zhàn)斗、反浩克裝甲戰(zhàn)斗等片段，共有近 400 位視效藝術(shù)家完成了 600 個(gè)特效鏡頭。

瓦坎達(dá)之戰(zhàn)中的特效

如今，工業(yè)光魔正致力于使用人工智能對光線追蹤產(chǎn)生的圖像進(jìn)行去噪。這將減少 CPU 的負(fù)擔(dān)并大幅度地節(jié)省時(shí)間。

公司負(fù)責(zé)人還介紹說，「我們還在研究以半自動(dòng)方式識(shí)別和替換人臉的技術(shù)，這將會(huì)是一次巨大的飛躍?！顾岬降膿Q臉技術(shù)，便是類似于前段時(shí)間很火的 deepfake 技術(shù)。

工業(yè)光魔制作的綠巨人特效

利用這種技術(shù)，工業(yè)光魔團(tuán)隊(duì)可以將一位演員的樣子映射到表演者臉上，并且制作效率大大提高。

工業(yè)光魔 CTO Rob Bredow 在一次演講中表示，在電影中用一個(gè) deepfake 算法的話，實(shí)現(xiàn)的效果質(zhì)量還不夠高。但是他們已經(jīng)確定了什么是限制所在。不久后，他們會(huì)將類似 deepfake 但是質(zhì)量更高的技術(shù)用在電影中。

特效 AI 武器之二：數(shù)字王國

在《復(fù)聯(lián) 3 》里，滅了一半宇宙的「大紫薯」滅霸，就是著名的特效公司數(shù)字王國（ Digital Domain ） 利用了機(jī)器學(xué)習(xí)等技術(shù)打造而來。

曾有媒體報(bào)道，滅霸的外部形象為這個(gè)人物注入了靈魂。有沒有一種感覺，看到滅霸的樣子，就能感受到他是個(gè)狠人。

數(shù)字王國的一位工作人員說，如果你的特效軟件里沒有用機(jī)器學(xué)習(xí)，那你就會(huì)做錯(cuò)

數(shù)字王國通過全新技術(shù)捕捉了演員 Brolin 的面部表演，并通過機(jī)器學(xué)習(xí)的技術(shù)，將他的表演轉(zhuǎn)化為極具存在感的主角——滅霸。

數(shù)字王國使用 Masquerade 定制機(jī)器學(xué)習(xí)軟件，通過兩個(gè)垂直方向的高清攝像頭捕獲面部數(shù)據(jù)，細(xì)致追蹤面部的 100 到 150 個(gè)跟蹤點(diǎn)。

之后，通過計(jì)算機(jī)視覺的技術(shù)，訓(xùn)練和調(diào)試機(jī)器學(xué)習(xí)模型，自動(dòng)將得到的臉部渲染映射到滅霸這個(gè)角色上，最終得到自然的面部視覺效果。

滅霸扮演者 Brolin 被「特效」后的對比

通過他們的努力，我們看到了這個(gè)偏執(zhí)，兇狠，硬氣，而又帶點(diǎn)柔情的大反派。如果沒有這些技術(shù)，也許滅霸的形象就不會(huì)這么豐滿，也不是那個(gè)為了看日落而實(shí)行「人口控制」的狠角了。

特效的 AI 核武器之三：全面降維打擊

借助于 AI 技術(shù)，視覺特效將不再需要大量斥資，就能得到更好的視覺體驗(yàn)。

同時(shí)利用到云計(jì)算，高性能的 GPU 等硬件，以往需要兩個(gè)小時(shí)渲染的幀，可能只需要兩秒鐘就能完成。

得益于這些技術(shù)，行業(yè)內(nèi)的設(shè)計(jì)師、藝術(shù)家能夠節(jié)約更多時(shí)間去創(chuàng)作更多有趣的東西。

如此一來，只要你有一個(gè)較小的工作室，甚至是獨(dú)立的藝術(shù)家，利用技術(shù)就能獲得蜘蛛俠或者 X 戰(zhàn)警電影中看到的效果。

真實(shí)拍攝和制作后的鏡頭對比

現(xiàn)在機(jī)器學(xué)習(xí)已經(jīng)被用于在基于物理的動(dòng)畫和媒體藝術(shù)中，創(chuàng)造出有趣的效果，但是隨著計(jì)算變得更加高效和新穎的方法，如深度強(qiáng)化學(xué)習(xí)技術(shù)，將會(huì)創(chuàng)建出更具可擴(kuò)展性的模型。

如果這項(xiàng)技術(shù)成為主流，工作室電影和獨(dú)立電影的視覺特效成本將會(huì)大大降低，對于熱愛電影的人士，無異于又一個(gè)福音 。

復(fù)聯(lián) 4 ：驚喜遠(yuǎn)不止特效

相比于《復(fù)聯(lián) 3 》最終收獲了奧斯卡最佳視覺的多項(xiàng)提名，《復(fù)聯(lián) 4 》不知道又會(huì)帶來什么樣的視覺盛宴。

根據(jù)已經(jīng)公布的 12 家參與制作特效公司名單陣容，加之整部電影中超過 3000 個(gè)特效鏡頭?？上攵稄?fù)聯(lián) 4 》絕對是頂級(jí)的制作水準(zhǔn)。

而且漫威對自己這個(gè)系列的收官之作，想必也是不會(huì)掉以輕心，畢竟那么優(yōu)秀的前作 3 ，似乎都是在收著，為了 4 做鋪墊。

所以雷神會(huì)不會(huì)用毀天滅地的大錘爆發(fā)雷霆之力，火箭浣熊怎么繼承格魯特成為搞笑擔(dān)當(dāng)，以及滅霸和聯(lián)盟之間的戰(zhàn)爭能夠壯觀到什么程度，也許只有親自去影院，為信仰充值一下，才能知曉結(jié)果了。

祝愿每一個(gè)要去看電影的小可愛，都沒有在觀影前被強(qiáng)行劇透，然后在影院里看得盡興！