關(guān)于MATLAB的藝術(shù)鑒賞的能力的分析和介紹

當(dāng)欣賞一幅畫作時(shí)，每個(gè)人都會(huì)有若干推斷或結(jié)論。除了理解主題外，您可能還會(huì)按照時(shí)期、風(fēng)格和藝術(shù)家對(duì)其進(jìn)行分類。那么，計(jì)算機(jī)算法能否像人類一樣深入“理解”一幅畫并輕松地進(jìn)行分類呢？

在羅格斯大學(xué)藝術(shù)與人工智能實(shí)驗(yàn)室，Ahmed Elgammal 教授和他的團(tuán)隊(duì)匯集了過去六個(gè)世紀(jì)幾千幅畫作的數(shù)據(jù)庫(kù)，使用 MATLAB 和 Statistics and MachineLearning Toolbox對(duì)這個(gè)問題進(jìn)行了深入研究，并解決了兩個(gè)關(guān)于 AI 算法的功能和局限的有趣問題：

AI 能否發(fā)現(xiàn)哪些畫作對(duì)后世藝術(shù)家的影響最大

能否僅利用畫作的視覺特征衡量其創(chuàng)造性

通過提取視覺特征對(duì)作品進(jìn)行分類

我們希望開發(fā)出能夠按風(fēng)格（例如立體派、印象派、抽象表現(xiàn)派或巴洛克派）、題材（例如田園、肖像或靜物）和藝術(shù)家來對(duì)畫作進(jìn)行寬泛分類的算法。完成這種分類首先要求能夠識(shí)別顏色、構(gòu)圖、紋理、視角、主題和其它視覺特征。其次，還要選取最能夠展示不同畫作相似性的特征。

借助 MATLAB 和 Image Processing Toolbox，我們開發(fā)出了能夠提取畫作視覺特征的算法。特征提取算法在計(jì)算機(jī)視覺中相當(dāng)常見，且容易實(shí)現(xiàn)。比較困難的任務(wù)是找到最佳的機(jī)器學(xué)習(xí)技術(shù)。我們首先在 Statistics and Machine LearningToolbox 中使用支持向量機(jī) (SVM) 和其它分類算法來識(shí)別可用于風(fēng)格分類的視覺特征。在 MATLAB 中，我們隨后采用距離度量學(xué)習(xí)技術(shù)對(duì)特征進(jìn)行評(píng)估，進(jìn)而提高算法對(duì)畫作的分類能力。

通過數(shù)據(jù)庫(kù)檢測(cè)，我們開發(fā)的按風(fēng)格分類畫作的算法準(zhǔn)確率達(dá)到 60%，其中可能存在 2% 的隨機(jī)性。雖然藝術(shù)歷史學(xué)家的準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于 60%，但算法的準(zhǔn)確率仍高于非專業(yè)人士。

使用機(jī)器學(xué)習(xí)發(fā)掘藝術(shù)的影響力

一旦我們有了可以準(zhǔn)確地對(duì)繪畫之間的相似之處進(jìn)行分類的算法，我們便可以著手處理下一個(gè)挑戰(zhàn)：利用機(jī)器學(xué)習(xí)揭示藝術(shù)的影響力。我們假設(shè)，對(duì)于風(fēng)格分類有用的視覺特征（一個(gè)監(jiān)督式學(xué)習(xí)問題）同樣適用于確定影響力（一個(gè)無監(jiān)督問題）。

藝術(shù)史學(xué)家的理論認(rèn)為藝術(shù)影響力是基于藝術(shù)家在同一時(shí)期如何工作、旅行或者交往決定的。我們基于 MATLAB 的機(jī)器學(xué)習(xí)算法僅使用視覺元素和創(chuàng)作日期進(jìn)行分析。我們認(rèn)為，一個(gè)將畫作中的主題和符號(hào)考慮在內(nèi)的算法會(huì)比僅僅依賴于顏色、紋理等低級(jí)別特征更有效。出于這種考慮，我們使用了通過谷歌圖片訓(xùn)練的分類算法來識(shí)別特定對(duì)象。

我們對(duì) 66 名生活年代相差 550 多年的不同藝術(shù)家創(chuàng)作的 1700 多幅作品進(jìn)行了算法測(cè)試。該算法可以輕松識(shí)別出維拉斯奎茲的《教皇英諾森十世肖像》對(duì)弗朗西斯·培根的《教皇英諾森十世肖像的習(xí)作》的影響（下圖）。

左：維拉斯奎茲的《教皇英諾森十世肖像》。

右：弗朗西斯·培根的《教皇英諾森十世肖像的習(xí)作》。

即使外行也能輕松識(shí)別出這兩幅畫作在構(gòu)圖和主題上的相似性，但該算法也給出了令和我們一起工作的藝術(shù)史學(xué)家們十分驚訝的結(jié)果。例如，我們的算法識(shí)別出法國(guó)印象派畫家弗雷德里克·巴齊耶在 1870 年創(chuàng)作的《巴齊耶的畫室》很有可能影響了諾曼·洛克威爾在 80 年后創(chuàng)作的《沙弗萊頓的理發(fā)店》。

左：弗雷德里克·巴齊耶的《巴齊耶的畫室》。

右：諾曼·洛克威爾的《沙弗萊頓的理發(fā)店》。

黃色圓圈表示相似的物體，紅線表示類似的構(gòu)圖，藍(lán)色方塊表示相似的結(jié)構(gòu)元素。

盡管這兩幅畫作乍看可能不太相似，但仔細(xì)觀察就會(huì)發(fā)現(xiàn)其在構(gòu)圖和主題上的共同點(diǎn)，比如每幅畫中的火爐都在畫的右下方，三個(gè)人在畫面中間，還有左下角的椅子和三角形空間結(jié)構(gòu)。

在我們的數(shù)據(jù)集中，算法正確地識(shí)別出藝術(shù)史學(xué)家認(rèn)同的 55 個(gè)影響點(diǎn)中的 60%，這表明僅視覺相似性即可為算法（可能為人類）提供足夠的信息來確定這些影響。

通過解決網(wǎng)絡(luò)中心性問題衡量創(chuàng)造性

我們的研究還集中在開發(fā)衡量藝術(shù)創(chuàng)造力的算法上。我們的研究基于一個(gè)可識(shí)別主題創(chuàng)意是否新穎和有影響力的常用定義，也就是說，一幅有創(chuàng)造性的繪畫作品應(yīng)該不同于其先期的繪畫（新穎度），但與后世作品具有相似度（影響力）。

為解決這一問題，我們?cè)俅慰吹綉?yīng)用 MATLAB 算法識(shí)別繪畫之間相似性的機(jī)會(huì)。在 MATLAB 中，我們創(chuàng)建了一個(gè)網(wǎng)絡(luò)：頂點(diǎn)是繪畫，每條邊表示頂點(diǎn)位置上兩幅畫之間的相似度。通過在這個(gè)網(wǎng)絡(luò)上的一系列轉(zhuǎn)換，我們發(fā)現(xiàn)根據(jù)這樣一個(gè)圖形進(jìn)行關(guān)于創(chuàng)造力的推斷是一個(gè)網(wǎng)絡(luò)中心性的問題，而這個(gè)問題可以通過 MATLAB 有效解決。

我們使用兩個(gè)包含超過 62,000 幅畫作的數(shù)據(jù)集測(cè)試我們的創(chuàng)造性檢測(cè)算法。該算法給一些藝術(shù)史學(xué)家認(rèn)為新穎且具有影響力的作品打出了很高的分?jǐn)?shù)，包括下圖所示的一些作品。排名高于同期畢加索的《阿維尼翁的少女》(1907) 的是馬列維奇（至上主義運(yùn)動(dòng) —— 最早的抽象藝術(shù)創(chuàng)始人之一）的幾幅繪畫作品。

從1400年到2000年(x軸)繪畫作品的創(chuàng)造力打分(y軸)，表示各個(gè)時(shí)期的最高得分作品。

為了對(duì)算法進(jìn)行基本驗(yàn)證，我們改變了某些藝術(shù)作品的創(chuàng)作時(shí)間，有的時(shí)間提前，有的時(shí)間推后。在這些“時(shí)間機(jī)器”實(shí)驗(yàn)中，我們看到某些時(shí)間提前到十七世紀(jì)的印象派藝術(shù)的創(chuàng)造力分?jǐn)?shù)大幅增加，時(shí)間推后到20世紀(jì)的巴洛克畫作分?jǐn)?shù)大幅降低。算法正確地檢測(cè)出 300 年前創(chuàng)造的什物在今天并不具有創(chuàng)意，而如今一些有創(chuàng)意的作品放在過去創(chuàng)意度將大大提高。

人類與生俱來就有對(duì)藝術(shù)進(jìn)行分類的感知能力，并且擅長(zhǎng)識(shí)別不同畫作之間的共同點(diǎn)，但缺乏時(shí)間和耐心應(yīng)用這些技能對(duì)數(shù)以千計(jì)甚至數(shù)以百萬計(jì)的繪畫作品進(jìn)行分類。處理這種規(guī)模龐大的任務(wù)是計(jì)算機(jī)所擅長(zhǎng)的。通過開發(fā)與人類感知能力相近的機(jī)器學(xué)習(xí)算法，我們的目標(biāo)是為藝術(shù)史學(xué)家提供分類龐大圖像數(shù)據(jù)庫(kù)的工具。

使用 MATLAB 開發(fā)的用來識(shí)別共性和衡量創(chuàng)造性的框架并不只局限于藝術(shù)方面。它可以應(yīng)用到文學(xué)、音樂或任何其它創(chuàng)造性領(lǐng)域，前提是這些單獨(dú)的作品可以被編碼并能被算法識(shí)別。

目前，Ahmed Elgammal 教授的關(guān)注點(diǎn)仍然在視覺藝術(shù)方面：不僅關(guān)心如何確保機(jī)器學(xué)習(xí)算法產(chǎn)生良好結(jié)果，也關(guān)心如何實(shí)現(xiàn)這些結(jié)果。在這個(gè)領(lǐng)域，MATLAB 也具有巨大優(yōu)勢(shì)，因?yàn)樗峁┰S多可快速、輕松地使結(jié)果可視化的方法，幫助理解并利用它們?yōu)椴粩喟l(fā)展的人工智能研究提供信息。