AI助力，老片修復一直在路上

這個視頻來自一位名叫“大谷Spitzer”的博主，據(jù)他所說，接觸老片修復是一個偶然，整個項目也只花了7天時間就順利完成了。

先來一起看看這驚人的修復效果。

老視頻

修復后效果

這樣的畫面大大地滿足了網(wǎng)友們的好奇心。視頻一經(jīng)發(fā)布，在24小時內(nèi)就有了將近50萬的點贊量，10萬+次的轉發(fā)和接近3萬的留言。修復后的視頻把當時的北京城演繹得活靈活現(xiàn)，下邊的片段中，左下角小哥呆呆地看著鏡頭，連細微的表情都清晰可見，青澀中帶有一點可愛。想象一下這位表情憨厚的小哥來自一百年前，不禁讓人感慨萬千。

怪不得網(wǎng)友們紛紛贊嘆。有網(wǎng)友表示，不僅整體氛圍沒話說，連細節(jié)部分也分毫畢顯，“每個人臉上都是新奇又不敢接近的表情”。

甚至有網(wǎng)友留言表示，“博物館應該收藏你的作品”！

博主在視頻最開始就說道，想用技術為社會做一些有意義的事情，懷著仰慕的心情，筆者聯(lián)系到了這位“大谷Spizer”，來看看他是怎么說的吧~

7天完工，難在顯卡

整體滿意，顏色上還有不足

自稱將AI視為業(yè)余愛好的大谷如今身在紐約，他透露說，其實這次接觸老片修復純屬偶然，在搜索其他資料時候，偶然間在YouTube看到了人民日報上傳的一段老北京視頻，在視頻里，100年前的人們恰好也在看鏡頭、和看視頻的人形成了“對視”時，大谷十分有感觸：“有一種穿越時空的感覺”。在這基礎上，他自己又恰好了解相關技術，為何不將老片上色補幀，做成活靈活現(xiàn)的60幀，和大家分享呢？

100年前熟人見面打招呼的方式

具體到操作上，根據(jù)大谷介紹，可以大致分為補幀、擴分辨率、上色三個環(huán)節(jié)，每個環(huán)節(jié)也都用了不同的工具，整體框架的流程則主要參考了Denis Shiryaev在社交媒體上分享的經(jīng)驗貼。

大谷說道，整個項目只用了7天時間，大部分都是硬性的時間消耗，比如補幀需要一到兩天，擴分辨率至少一天，上色也需要花費一天時間，再加上要做到4K60fps，渲染速度很慢。多方考量之下，他把人民日報14分鐘的原片剪到了10分鐘。

相比而言，去年國慶164分鐘修復版《開國大典》為人們還原了三次戰(zhàn)役勝利到開國大典的歷史過程。除了借助AI，膠片的撕裂、劃痕等都是專業(yè)的修復師一幀一幀地修補?！靶迯瓦^程中，我們70%的時間都在完成資料片鏡頭的修復工作，”負責該片修復工作的三維六度公司的首席技術官周蘇岳曾說道。雖然修復時間只用了40天，但這卻是600人每天工作20小時的奮戰(zhàn)結果！

除了硬性的時間消耗，大谷還笑稱，最大的問題就是自己筆記本電腦的顯卡不夠好，“要1070的顯卡才帶得動，否則會out of memory”，迫不得已之下向女朋友求了助。

對于最后的結果，大谷表示：“還是比較滿意的”，不過在顏色上還存在可以改進的地方。

在視頻中，相信大家也會看到時不時會出現(xiàn)顏色跳來跳去的情況，大谷表示，在補幀之前用工具把老電影中經(jīng)常出現(xiàn)的畫面閃爍去掉了，否則會更嚴重，整體的色彩上，AI的渲染效果也明顯偏淡。

除此之外，大谷這次利用的是國外的一套模型，顯然無法直接將其套用到100年前的中國影片修復上，在顏色上就無法做到歷史性的準確，視頻中的上色都是AI學習的成果，雖然膚色大致還原了，但是在紅綠服裝等方面的真實性還有待商榷。

也正是考慮到這些不足，大谷對去年參與《開國大典》修復的工作人員表達了敬意，“AI沒辦法做到藝術家那么準確，尤其是在歷史方面，而《開國大典》對歷史準確性的要求更高”，隨后他也打趣地說道，或許可以“讓AI看看清宮劇，提升一下準確率”。

就像大谷在視頻開頭所說，他想用技術做一些對社會有意義的事，在這次視頻爆紅之后，他表現(xiàn)得相當豁達，“太深刻的大意義倒也說不上，主要是想借此讓人們對歷史有所反思?！辈簧倬W(wǎng)友指出，視頻中幾乎看不到女性，這正是歷史生動性的體現(xiàn)，既有光鮮也有不足，讓大家意識到現(xiàn)在的生活是多么來之不易。

同時，作為老北京人，大谷也想通過視頻分享他的切身感受，讓更多人看到一百年前的民俗，“尤其是上了色幀數(shù)提高之后，感覺確實不一樣，也感慨這一百年的變化”。

對于目前收到得反饋，大谷表示“完全沒想到”，他看了很多評論，也受感觸于一些留言，還有人私信向他表示，給太姥姥看后，也很懷念那個年代。

大谷透露道，這其實是他第一次嘗試做視頻修復，后續(xù)或許會出一期視頻介紹一下具體的操作。對于后續(xù)的視頻更新計劃，他想要介紹一下國內(nèi)已經(jīng)成熟的語音修復技術。

AI助力，老片修復一直在路上

對于這次用到的技術，大谷表示，上色主要還是應用在黑白照片和電影上，補幀技術就可以遍地開花了，比如修復像素動畫的跳幀問題，或者在動畫領域加以應用，因為動畫很多是12幀/秒，甚至6幀/秒，補幀之后效果很好，也終于可以看更流暢的EVA了。

作為一名獨立游戲開發(fā)者，大谷透露他因為做游戲開發(fā)接觸到AI，起初想要了解AI能否為他節(jié)省時間，后來發(fā)現(xiàn)AI能做的不止這些，在社會公益上也有不少應用，比如這次的老片修復。

正如大谷所說，這次的視頻修復技術管線參考自Denis Shiryae的影像修復教程，針對Denis的歐美老片修復，大谷也做過漢化視頻進行了專門的介紹。

【AI高清修復】1906大地震前的舊金山

視頻鏈接：

https://www.bilibili.com/video/BV1Uf4y1m72n

Denis Shiryaev通過神經(jīng)網(wǎng)絡修復老視頻的內(nèi)容今年在油管爆紅了一陣子，他使用Topaz Labs的Gigapixel AI和DAIN圖像編輯應用程序將19世紀的膠片縮放到4K分辨率，不僅將素材增加到4K，還將幀率提高到每秒60幀。

Shiryaev最火的作品是用Gigapixel AI將1896年拍攝的50秒無聲短片《火車進站》(the Arrival of a Train at La Ciotat Station)做成了4K格式，把模糊的原片做成了高清畫質，完全符合當下的高清視頻標準。

盡管存在一些缺陷，如圖像會出現(xiàn)跳躍或某些細節(jié)依舊模糊，但已經(jīng)很棒了！

Gigapixel AI軟件使用一種專有的插值算法來分析圖像，它可以使圖像更清晰——甚至在放大了600%之后。

再來說說DAIN(深度感知視頻幀插值)，它可以將幀想象并插入現(xiàn)有視頻剪輯的關鍵幀之間。換句話說，DAIN首先分析并映射視頻片段，然后插入在現(xiàn)有圖像之間生成填充圖像。

為了在這段1896年的視頻中達到同樣的效果，Shiryaev添加了足夠多的圖像來將速度提高到60幀每秒。因此，DAIN自動生成，然后在最初記錄的24張圖像之外，每秒添加36張額外的圖像。

Shiryaev的“火車”的視頻修復版本看起來像是一部使用智能手機或GoPro拍攝的最新電影。與原始視頻相比，效果非常驚人，尤其是在新版本中獲得了流暢性。列車上的陽光反射和月臺上的女士珠寶都被記錄的很完整，也許是最顯著的改進之一。

Shiryaev也用神經(jīng)網(wǎng)絡對這一修復視頻進行了著色：從一堆彩色照片開始，將它們轉換為黑白，然后訓練神經(jīng)網(wǎng)絡以重建彩色原稿。

修復后的視頻傳送門：

https://youtu.be/EqbOhqXHL7E

Shiryaev的新技術隨之在技術圈火了起來，激發(fā)了包括大谷在內(nèi)的更多技術人，修復珍貴的影像文獻。

除了上文提到的《開國大典》，在老片修復上，AI應用于影視制作的新技術——“中影·神思”系統(tǒng)的開發(fā)，能縮短修復電影所需時間的四分之三，成本可以減少一半，目前已成功應用于《厲害了，我的國》《血色浪漫》《亮劍》等多部影視劇的圖像修復與增強當中。

IDG資本被投企業(yè)愛奇藝也推出了其自主研發(fā)的視頻增強技術Zoom AI，來為電影修復提出解決方案。這是業(yè)內(nèi)第一個利用較低成本、將深度學習技術應用在視頻畫質增強場景中的方案。

但不可否認的是，這種技術如果被有惡意的人使用，例如，可以用于制作“偽造品”并允許視頻中的身份盜用，也會導致巨大的社會問題。