科學(xué)家發(fā)現(xiàn)：人工智能可根據(jù)照片內(nèi)容識別攝影師身份

在日常生活中，我們經(jīng)常會看到一些十分漂亮、構(gòu)思精妙的照片，但某張照片背后的攝影師是誰？我們有時卻并不清楚。

如今，人工智能（AI）可以幫助我們找到圖片背后的攝影師。

在一項新的國際跨學(xué)科研究中，研究人員通過使用人工智能算法分析近 60000 張二戰(zhàn)時期的歷史照片發(fā)現(xiàn)，人工智能可以根據(jù)照片內(nèi)容來識別攝影師的身份。相關(guān)研究成果以論文的形式發(fā)表在科學(xué)雜志 IEEE Access上。

研究人員展示了使用現(xiàn)代神經(jīng)網(wǎng)絡(luò)分析圖像的優(yōu)勢，以使機(jī)器可以自動檢測各種場景中的人和物體，甚至可以根據(jù)圖像中的特征區(qū)分?jǐn)z影師，這些操作比任何人工檢查過程都要快得多。獲得的結(jié)果將有助于歷史學(xué)家、其他研究人員和專業(yè)人員在工作中使用歷史照片檔案來分析和比較特定攝影師的作品。

通過這項工作，研究人員證明了人工智能可以在某些方面幫助學(xué)者“追溯”歷史照片檔案的潛力。

令人驚訝

研究人員選擇了 23 名芬蘭戰(zhàn)地攝影師作為實驗對象。他們中的 20 人是芬蘭戰(zhàn)時照片檔案中圖像總數(shù)最高的攝影師，另外 3 人則是因為有專家認(rèn)為他們的照片對這項攝影新聞研究很有趣。

他們提出并評估了機(jī)器學(xué)習(xí)可以幫助分析歷史圖像的幾個應(yīng)用領(lǐng)域，即分析場景中存在的對象、照片取景評估、攝影師分類以及評估它們的視覺相似性。

他們使用人工智能技術(shù)對這 23 位著名芬蘭攝影師在第二次世界大戰(zhàn)期間拍攝的照片進(jìn)行了識別，所用照片來自公開可用的芬蘭戰(zhàn)時照片檔案庫，其中包含約 160000 張 1939-1945 年間從芬蘭冬季戰(zhàn)爭、延續(xù)戰(zhàn)爭（第二次世界大戰(zhàn)期間芬蘭與蘇聯(lián)之間的兩場戰(zhàn)爭中的第二場戰(zhàn)爭）和拉普蘭戰(zhàn)爭中拍攝的照片。

由于芬蘭戰(zhàn)時照片檔案中的數(shù)千張照片仍然沒有攝影師的名字，所以這項研究中選用的照片總數(shù)為 59000 多張。

這種自動分析可以作為一種工具，以提供基于內(nèi)容的公共照片檔案的文本描述，比如丹麥抵抗博物館的照片檔案。今年 9 月生效歐盟可訪問性指令（DIRECTIVE（EU）2016/2102），要求將圖像內(nèi)容的文字描述添加到網(wǎng)絡(luò)上的所有公共圖像中。

對此，論文作者之一 Alexandros Iosifidis 表示：“這讓我們非常驚訝，人工智能可以根據(jù)照片中的特征（如內(nèi)容和框架）識別攝影師?！?/p>

準(zhǔn)確率最高可達(dá) 69．7%

在這項研究中，研究人員應(yīng)用了最先進(jìn)的目標(biāo)檢測模型和神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，以獲得來自杰出二戰(zhàn)攝影師的統(tǒng)計數(shù)據(jù)和特征。

由于每個攝影師都有一定數(shù)量的重復(fù)圖像，這里研究人員根據(jù)拍攝時間將照片分成訓(xùn)練集和測試集，以確保描述同一事件的照片不會用于訓(xùn)練和測試。

研究中分析的照片顯示，一些攝影師具有非常獨特且容易識別的特征，而另一些則很難被人工智能識別。這一人工智能模型的分類準(zhǔn)確率區(qū)間為 20．1-69．7%，平均為 41．1%。

通過將識別結(jié)果與先前對檢測到的物體的分析進(jìn)行比較發(fā)現(xiàn)，一些攝影師因為有著特定的拍攝物體和喜好很容易被識別。因此，研究人員檢查了每個攝影師照片中的典型物體類別，并分析了他們捕捉和框定人的方式差異。

Roivainen 拍攝的照片中擁有最多的狗、馬和汽車，預(yù)測準(zhǔn)確率為 69．7%;Hollming 拍攝了大量滑雪照片，所有照片中只有幾把椅子出現(xiàn)，即戶外照片多，預(yù)測準(zhǔn)確率為 51．4%;Manninen 拍攝的人物照片中的平均人數(shù)最高，椅子（即室內(nèi)照片）出現(xiàn)率最高，預(yù)測準(zhǔn)確率為 35．5%;SJ Blom 喜歡在城市環(huán)境中拍攝照片，預(yù)測準(zhǔn)確率為 50．4%。

研究結(jié)果證明，除了確定照片的作者身份之外，這些特征代表了模型對這些攝影師的整體視覺相似性和照片風(fēng)格相似性的認(rèn)知。此外，由于卷積神經(jīng)網(wǎng)絡(luò)可以在一定程度上從照片中識別攝影師，某些照片可以被認(rèn)為是特定攝影師的典型。其中最著名的攝影師是 Heikki Roivainen，他是芬蘭植物學(xué)教授，曾在延續(xù)戰(zhàn)爭期間擔(dān)任官方戰(zhàn)地攝影師。

通往更多應(yīng)用的大門

在這項工作中，研究人員只使用了可公開獲得的預(yù)處理對象檢測模型和基本照片信息，但他們認(rèn)為這一模型可用于大多數(shù)照片檔案，且提供了所有代碼、模型和數(shù)據(jù)注釋，以及如何使用它們的詳細(xì)描述。

例如，可以通過考慮攝影師的意圖和他們的照片質(zhì)量來進(jìn)一步增強(qiáng)攝影師分析。此外，可以通過考慮信息融合方法來增強(qiáng)對象檢測性能，以及改善較小尺寸對象的檢測。除了對象級分析，場景識別將有助于進(jìn)一步描述攝影師的特征。

在未來，研究人員將專注于需要更專業(yè)方法的問題，比如識別僅出現(xiàn)在芬蘭歷史照片或二戰(zhàn)期間的對象類別。他們的目標(biāo)是利用原始的文本照片描述來產(chǎn)生更完整的對象標(biāo)簽以及主題和事件識別。

這將有助于人們解決分析戰(zhàn)時照片時面臨的最大挑戰(zhàn)之一，即區(qū)分拍攝對象的不同狀態(tài)——照片中的人是活著的、受傷的還是死亡的。

這些更精細(xì)的結(jié)果最終可以幫助人們更詳細(xì)地描繪出傳統(tǒng)知識攝影師的目標(biāo)、素質(zhì)和性格。這項研究的目標(biāo)是在檔案中公布所有的結(jié)果，以幫助對檔案進(jìn)行不同類型的社會研究。

對于此次研究結(jié)果，作者之一、從事新聞攝影研究已有 25 年以上的 Anssi M？nnist？ 認(rèn)為，“對照片蘊含的內(nèi)容進(jìn)行大數(shù)據(jù)分析是我的一個長期夢想，我對這個項目的結(jié)果非常著迷。人工智能可以識別諸如照片中的框架和內(nèi)容的各個方面，這將在人文科學(xué)和社會科學(xué)領(lǐng)域中有著廣泛的應(yīng)用?！?br /> 責(zé)編AJX