使用深度學(xué)習(xí)和圖像處理技術(shù)復(fù)原和保存藝術(shù)品

Carola-Bibiane Sch?nlieb 在 2005 年開始攻讀數(shù)學(xué)博士學(xué)位，她的第一個項(xiàng)目是幫助復(fù)原維也納的一幅中世紀(jì)壁畫。 這幅壁畫一度隱藏在一間舊公寓的墻壁后，由于幾年前拆除墻壁造成的損壞，壁畫殘跡上布滿了斑斑駁駁的白點(diǎn)。 Sch?nlieb 的復(fù)原工作靠的不是顏料、溶劑或樹脂，而是算法。Sch?nlieb 說，“維也納大學(xué)的一些文物保護(hù)工作者已開始對它進(jìn)行物理復(fù)原。而我們則會以數(shù)字方式進(jìn)行復(fù)原?！?/p>

“MACH 計(jì)劃”集藝術(shù)史學(xué)家、文物保護(hù)工作者、古典學(xué)家和中世紀(jì)學(xué)家之所長，同時結(jié)合數(shù)學(xué)家的專業(yè)知識，旨在推進(jìn)文物復(fù)原和考古工作。

在對受損壁畫拍照后，Sch?nlieb 研究了一些算法，希望基于這些照片來填充壁畫中缺失、受損的部分，創(chuàng)建壁畫原貌的數(shù)字模型。 當(dāng)時，關(guān)于數(shù)學(xué)家和文物保護(hù)工作者合作復(fù)原藝術(shù)品的論文屈指可數(shù)。文物保護(hù)工作者和藝術(shù)史學(xué)家剛剛開始對文物進(jìn)行數(shù)字化存檔，在計(jì)算機(jī)上保存繪畫、手抄本和陶器的數(shù)字版本。

一幅中世紀(jì)壁畫的局部，一度位于維也納一座公寓墻后。圖片所有權(quán)：MACH。 Sch?nlieb

現(xiàn)任劍橋大學(xué)的應(yīng)用數(shù)學(xué)教授，她使用圖像分析和處理來進(jìn)行藝術(shù)品復(fù)原和保護(hù)。當(dāng)前，她與其他數(shù)學(xué)家和人文專家合作開展數(shù)學(xué)在文化遺產(chǎn)中的應(yīng)用 (MACH) 計(jì)劃。該計(jì)劃集藝術(shù)史學(xué)家、文物保護(hù)工作者、考古學(xué)家和中世紀(jì)學(xué)家之所長，同時結(jié)合數(shù)學(xué)家的專業(yè)知識，旨在推進(jìn)文物復(fù)原和物質(zhì)文化研究。

MACH 團(tuán)隊(duì)當(dāng)前正在開展名為“揭秘隱形”的項(xiàng)目。他們使用 MATLAB 算法對古羅馬陶器編目，分析顏料截面以探索文物之間的新關(guān)聯(lián)，并以數(shù)字方式復(fù)原因過于精美而無法物理復(fù)原的泥金手抄本。項(xiàng)目在這三個重點(diǎn)領(lǐng)域已醞釀多年。

復(fù)原泥金手抄本

MACH 始于 2013 年，當(dāng)時 Sch?nlieb 在學(xué)校進(jìn)行一場關(guān)于數(shù)字圖像復(fù)原的講座。劍橋菲茨威廉博物館的工作人員出席了這場講座，這是一家館藏涵蓋古今的藝術(shù)博物館。他們認(rèn)為 Sch?nlieb 的方法對他們手頭的工作很有幫助。 當(dāng)時，菲茨威廉博物館負(fù)責(zé)手抄本和刊本的管理員正致力于尋求非侵入性的手抄本復(fù)原方法，Sch?nlieb 的圖像復(fù)原講座讓她很受啟發(fā)。她找到 Sch?nlieb，提出開展合作。MACH 項(xiàng)目由此誕生。 面對受損的繪畫和工藝品時，文物保護(hù)工作者面臨兩難境地。 他們可以選擇重現(xiàn)文物原貌，但損壞本身也是文物歷史的見證。以中世紀(jì)的泥金手抄本為例，這類書籍是在羊皮紙上手寫而成，具有繪畫裝飾，經(jīng)常采用金銀等貴金屬。一些情況下，手抄本上的部分顏料可能經(jīng)刻意涂改，以消除持有者的標(biāo)記，或掩蓋冒犯性的圖畫。

“借助虛擬的數(shù)學(xué)手段，我們既能維持泥金手抄本的當(dāng)前面貌、保留歷史痕跡，又能獲得接近其本真原貌的復(fù)原版本。這一做法可謂兩全其美?！?—— Suzanne Reynolds，菲茨威廉博物館館長

“通過復(fù)原，我們能得到什么，又將失去什么？”菲茨威廉博物館手抄本和刊本館的管理員 Suzanne Reynolds 問道。Reynolds 是 MACH 團(tuán)隊(duì)的成員，主要負(fù)責(zé)中世紀(jì)泥金手抄本。

細(xì)節(jié)展示。

修復(fù)區(qū)域。

最終結(jié)果。 大面積損壞的手抄本成功得到數(shù)字化復(fù)原。圖片來源： 劍橋費(fèi)茨威廉博物館。

泥金手抄本的復(fù)原工作尤其困難。與其他形式的繪畫相比，泥金手抄本很少得到物理復(fù)原。這類復(fù)原是“揭秘隱形”項(xiàng)目的重要組成部分，為應(yīng)對其中的挑戰(zhàn)，Sch?nlieb 與 Reynolds 合作，同時聯(lián)手劍橋應(yīng)用數(shù)學(xué)與理論物理系及菲茨威廉博物館助理研究員 Simone Parisotto，共同開發(fā)一款 App。 該 App 使用 MATLAB 開發(fā)，服務(wù)于文物保護(hù)工作者，它使用圖像處理方法來識別手抄本的受損區(qū)域，并以虛擬方式重新構(gòu)造圖像。它依賴于“圖像修復(fù)”，該術(shù)語最初指以物理方式重新構(gòu)造一幅畫。在數(shù)學(xué)語境下，圖像修復(fù)意味著以數(shù)字方式復(fù)原圖像。 借助深度學(xué)習(xí)和偏微分方程，MACH 小組的程序可以填補(bǔ)受損手抄本的空白區(qū)域，并預(yù)測不同復(fù)原途徑的結(jié)果。用戶使用來自同一手抄本或相關(guān)手抄本的樣例（越多越好）訓(xùn)練算法，然后用算法重新構(gòu)造待復(fù)原圖像的缺失內(nèi)容。 Reynolds 說，“借助虛擬的數(shù)學(xué)手段，我們既能維持文物的當(dāng)前面貌、保留歷史痕跡，又能獲得接近其本真原貌的復(fù)原版本。這一做法可謂兩全其美?！?在復(fù)原的同時，數(shù)學(xué)方法不僅可以對文物進(jìn)行數(shù)字化存檔，還可以運(yùn)用人工智能讓存檔數(shù)據(jù)更好地服務(wù)于文物保護(hù)工作者、藝術(shù)史學(xué)家和考古學(xué)家。

古羅馬陶器分類

“揭秘隱形”第二大重點(diǎn)領(lǐng)域的構(gòu)思始于 2015 年，當(dāng)時，劍橋大學(xué)古典學(xué)系高級講師 Alessandro Launaro 向 Sch?nlieb 求教一個難題。 作為一名考古學(xué)家，Launaro 專注于古羅馬時期的研究，并一直在意大利西部發(fā)掘遺址。他在該遺址成功發(fā)掘出大量陶器，均為炊器等日用粗陶器，但接下來的任務(wù)相當(dāng)艱巨：他必須分析數(shù)千件陶器的形狀、口沿和底座。 “我面臨一個考古問題，即如何分析大量物證?！盠aunaro 說。對于那些形制較為精美的古羅馬陶器（細(xì)陶器），已經(jīng)有系統(tǒng)、全面的目錄可幫助考古學(xué)家進(jìn)行分析；但對于他要研究了解的日用粗陶器，這類資料還是一片空白。

“我們當(dāng)然可以找人逐一比對這些（陶器碎片的）形狀，但這太過繁重枯燥。人難免疲勞或者犯錯，難免會看漏一些東西。而算法不會感到勞累。” —— Carola-Bibiane Sch?nlieb，劍橋大學(xué)應(yīng)用數(shù)學(xué)教授

考古遺址出土的陶器中大部分都是粗陶器。但是，由于此類陶器形狀各異，出土器物數(shù)量龐大，要確定不同遺址的不同器型之間的關(guān)聯(lián)，可謂一項(xiàng)挑戰(zhàn)。 Launaro 說，“與博物館里那些雕像、馬賽克鑲嵌畫或者繪有精美裝飾的陶器相比，作為日常器物的粗陶器更能反映古代人民的生活狀況?！比绻芙⒁粋€目錄來記錄這些器物以及它們之間的關(guān)聯(lián)，將有助于我們進(jìn)一步了解古代文明的日常生活?！暗斯ず茈y實(shí)現(xiàn)這一點(diǎn)?！彼f。 Sch?nlieb 和 Parisotto 覺得有辦法幫助 Launaro 解決這一難題。Sch?nlieb 說，“我們當(dāng)然可以找人逐一比對這些形狀，但這太過繁重枯燥。人難免疲勞或者犯錯，難免會看漏一些東西。而算法不會感到勞累?！?Parisotto 和 Sch?nlieb 使用 MATLAB 來創(chuàng)建 Launaro 設(shè)想的這種目錄。2016 年，他們試行了一個系統(tǒng)，該系統(tǒng)可將一件陶器的輪廓圖與數(shù)據(jù)庫中的類似圖像進(jìn)行匹配?？脊艑W(xué)家根據(jù)輪廓形狀對古代陶器進(jìn)行分類，并認(rèn)為相似的形狀意味著年代和功能上的某些關(guān)聯(lián)。

古代容器以形狀分類，而形狀以輪廓表示。相似的輪廓意味著某種關(guān)聯(lián)。圖片所有權(quán)：MACH。

但該系統(tǒng)效果不佳。參考陶器圖像整理得并不是很好。團(tuán)隊(duì)需要回過頭來自行整理。Launaro 說，“這項(xiàng)工作涉及數(shù)以千計(jì)各不相同的陶器形狀，因此我們必須借助計(jì)算機(jī)的處理能力?！?為了充實(shí)和整理自己的陶器數(shù)據(jù)庫，該團(tuán)隊(duì)在其中添加了數(shù)以千計(jì)的粗陶器黑白輪廓圖像。到 2020 年底，累計(jì)添加約 6000 個陶器輪廓圖像。Parisotto 正在使用無監(jiān)督深度學(xué)習(xí)算法對存在關(guān)聯(lián)的陶器形狀進(jìn)行分組或聚類。該程序創(chuàng)建分層的樹狀圖，將陶器碎片分組，以更好地向考古學(xué)家揭示不同器型之間的關(guān)系。Parisotto 說，“其原理是從已有器物中提取相關(guān)特征，并找到不同特征之間的關(guān)聯(lián)。” 通過確定粗陶器型之間的關(guān)聯(lián)，考古學(xué)家可以更好地在空間和時間層面梳理粗陶器的發(fā)展和分布脈絡(luò)。這些關(guān)聯(lián)可能提供有關(guān)貿(mào)易、定居模式或飲食習(xí)慣等方面重大發(fā)展的線索。MACH 小組仍在開發(fā)和測試該 App，Launaro 認(rèn)為，“最根本的理念是創(chuàng)建一個工具，幫助考古學(xué)家對其發(fā)掘和研究的遺址進(jìn)行更有效的解讀?！?

顏料色樣探源藝術(shù)創(chuàng)作

Kasia Targonska-Hadzibabic 是 MACH 團(tuán)隊(duì)的助理研究員，也是一位訓(xùn)練有序的物理學(xué)家，她正在從事“揭秘隱形”的一個子項(xiàng)目，其原理類似古羅馬陶器數(shù)據(jù)庫。Targonska-Hadzibabic 正與 Parisotto 合作，為顏料色樣截面的數(shù)字圖像建立一個平臺，以對它們進(jìn)行分類和比較。 在藝術(shù)保護(hù)中，研究一幅畫中的顏料色樣截面可以揭示藝術(shù)家的創(chuàng)作過程。“它可以告訴我們藝術(shù)家使用的技法、繪畫的過程等信息?！盩argonska-Hadzibabic 說。

MACH 團(tuán)隊(duì)還在創(chuàng)建一個系統(tǒng)，它可以識別來自不同的繪畫、藝術(shù)家或時代的顏料色樣截面之間的聯(lián)系，解讀相似之中所包含的信息。

依傳統(tǒng)做法，文物保護(hù)工作者會收集這些截面，保存在樹脂中，并在顯微鏡下仔細(xì)觀察各個顏料層。放大觀察，樹脂包裹的顏料色樣就像彩色多層三明治。Targonska-Hadzibabic 有一位負(fù)責(zé)藝術(shù)保護(hù)的同事，他一直在對自己收集的顏料色樣截面進(jìn)行數(shù)字化存檔，想了解這些顏料色樣除了能反映特定藝術(shù)家的創(chuàng)作技法，還能揭示哪些信息。

從早期大師畫作中提取的顏料截面。圖片所有權(quán)：MACH。

Targonska-Hadzibabic 與 Sch?nlieb 合作開發(fā)了一個系統(tǒng)，可以識別來自不同繪畫、藝術(shù)家或時代的顏料色樣截面之間的聯(lián)系。截面中的各層不是均勻的，不僅顏色不同，紋理、混合方式和拍攝條件也不盡相同。 與古羅馬陶器項(xiàng)目一樣，該團(tuán)隊(duì)正在使用 MATLAB 中的機(jī)器學(xué)習(xí)方法，根據(jù)截面特征對一萬多幅數(shù)字圖像進(jìn)行分組，嘗試從中歸納有用信息。 根據(jù) Targonska-Hadzibabic 的說法，他們還不確定這些算法到底會揭示什么。“這是一個迭代過程，需要與文物保護(hù)工作者交流，找到那些從藝術(shù)史角度來說具有重要意義的相似性?！彼f。 他們希望這款 App 能為文物保護(hù)工作者提供便利，幫助他們比較源截面的層與數(shù)據(jù)庫中其他截面的類似色樣。Targonska-Hadzibabic 還在努力改進(jìn)，讓使用 App 的文物保護(hù)工作者不僅能看到結(jié)果，還能根據(jù)需要輕松修改結(jié)果。

實(shí)用進(jìn)展

考古、藝術(shù)保護(hù)和藝術(shù)史領(lǐng)域?qū)＜业姆答亴@些項(xiàng)目的進(jìn)展至關(guān)重要。Parisotto 說，“只有專家才能引導(dǎo)數(shù)據(jù)科學(xué)工作者始終沿著正確的道路開展工作。” MACH 項(xiàng)目在菲茨威廉博物館的合作者剛剛開始測試這些 App；最終目標(biāo)是讓所有學(xué)者和文物保護(hù)工作者共享這些資源，擴(kuò)充其現(xiàn)有工具箱。對 Launaro 來說，在粗陶器參考目錄的幫助下，他們可以更為細(xì)致地研究這一考古工作中一度為人忽視的領(lǐng)域。 據(jù) Reynolds 稱，MACH 的數(shù)字手抄本復(fù)原工具不僅可以幫助文物保護(hù)工作者，還為教學(xué)和公眾參與提供了新的資源。Reynolds 說，“我們期望它能為教學(xué)提供便利，因?yàn)橛脩艨梢垣@得最佳狀態(tài)的文物圖像?！痹摴ぞ哌€可以增加博物館的虛擬展品數(shù)量，向公眾同時展示真實(shí)文物及其數(shù)字“原件”。

在 MATLAB 中開發(fā)的 INpainting ilLUminated MINiatures App (INLUMINA)。圖片來源： 劍橋費(fèi)茨威廉博物館。

Targonska-Hadzibabic 認(rèn)為，借助可識別色樣關(guān)聯(lián)的顏料截面數(shù)據(jù)庫，專家能夠發(fā)現(xiàn)新的繪畫技法，并揭示畫家和畫作之間尚不為人知的關(guān)聯(lián)。 然而，這些工具都無法取代人文領(lǐng)域?qū)＜业墓ぷ?。Launaro 說：“我們始終需要人來進(jìn)行某些解讀性質(zhì)的工作。不過，也有相當(dāng)一部分工作能由計(jì)算機(jī)完成，可以使我們的工作更為輕松、直接?！?br />
標(biāo)題圖片來源： 劍橋費(fèi)茨威廉博物館。