如果你關心手機的攝像頭有多好?不妨留意一下手機制造商對于AI(人工智能)的評價,為什么呢?因為人工智能這項技術在過去的幾年里,已經(jīng)使攝影技術取得了驚人的進步,沒有理由認為這種進步會放緩。
不過目前為止,AI仍然有許多噱頭,但攝影技術最令人印象深刻的進步,實際上歸功于軟件和AI,而不是傳感器和鏡頭,這在很大程度上得益于AI。
Google Photos,利用人工智能+攝像相結合
舉個例子,例如Google Photos,在2015年推出這款應用時,其展示了人工智能和攝影兩者結合的功能多么強大。在此之前,谷歌多年來一直使用機器學習對谷歌上的圖片進行分類,這款圖片應用程序也包含了面向消費者的人工智能功能,用戶無組織的數(shù)千張、沒有標簽的圖片庫,一夜之間就變成了可搜索的數(shù)據(jù)庫,并且可利用人工智能自動創(chuàng)建拼貼、動畫、電影、風格化圖片等等。
圖片來源:Google Photos
2013年谷歌收購了一家專門從事語音和圖像識別研究的公司DNNresearch,以此作為前期的發(fā)展基礎,它建立了一個深度神經(jīng)網(wǎng)絡,對人類標記的數(shù)據(jù)進行訓練,這叫做監(jiān)督學習。這個過程涉及到對數(shù)百萬張圖像進行網(wǎng)絡訓練,使其能夠在像素級別上尋找視覺線索,以幫助識別圖片類別。
隨著時間的推移,該算法在識別方面做得越來越好,例如用來正確識別熊貓的模式,通過進一步的訓練,我們可以搜索更抽象的詞匯,如“動物”或“早餐”,這些詞匯可能沒有共同的視覺指標,但對人類來說仍然是顯而易見的。
圖片來源:Google Photos
當然,訓練這樣的算法需要花費大量的時間和處理能力,但是在數(shù)據(jù)中心完成它們的工作之后,就可以在低功耗的移動設備上輕松運行。繁重的工作已經(jīng)完成,所以一旦你的照片上傳到云端,谷歌就可以使用它的模型來分析和標記整個庫。
大約在Google Photos發(fā)布一年后,蘋果公司宣布了一項照片搜索功能,該功能同樣經(jīng)過了神經(jīng)網(wǎng)絡的訓練,但作為公司對隱私承諾的一部分,實際的分類是在每臺設備的處理器上分別執(zhí)行,而不發(fā)送數(shù)據(jù),這通常需要一到兩天的時間,并在后臺進行設置。
蘋果利用如何利用“計算攝影”?
智能照片管理軟件是一回事,但人工智能和機器學習可以說對最初的圖像采集方式產(chǎn)生了更大的影響。是的,鏡頭、變得更快,傳感器變得更大,但實際上已經(jīng)達到了物理的局限性,比如將光學系統(tǒng)塞進超薄的移動設備。
盡管如此,在某些情況下,手機拍出的照片比很多專用相機設備拍出的照片要好,這在當今并不少見,至少在后期處理之前是這樣。這是因為傳統(tǒng)相機無法在另一類硬件上與之競爭,這類硬件對攝影來說同樣意義深遠:包含CPU、圖像信號處理器、以及越來越多的神經(jīng)處理單元(NPU)的芯片系統(tǒng)。
這就是所謂的“計算攝影”所利用的硬件,“計算攝影”是一個寬泛的術語,涵蓋了從手機人像模式的假景深效果,到幫助驅(qū)動Google Pixel’s圖像質(zhì)量的算法等方方面面。并非所有的計算攝影都涉及人工智能,但人工智能無疑是其中的一個重要組成部分。
圖片來源:蘋果官網(wǎng)
蘋果利用這項技術來驅(qū)動其雙攝像頭手機的人像模式。iPhone的圖像信號處理器使用機器學習技術,用一臺相機識別人,而第二臺相機創(chuàng)建深度地圖,以幫助隔離主題和模糊背景。這種通過機器學習來識別人的功能在2016年推出時并不新鮮,因為照片組織軟件已經(jīng)在這么做了,但以智能手機攝像頭所需的速度進行實時管理它是一個突破。
谷歌仍然是這一領域的明顯領導者,然而,三代Pixel所產(chǎn)生的卓越結果是最令人信服的證據(jù)。HDR+是默認的拍攝模式,它使用了一種復雜的算法,可以將幾個曝光不足的幀合并到一個幀中。
正如谷歌的計算攝影負責人Marc Levoy在《The Verge》雜志上指出的那樣,機器學習意味著系統(tǒng)只會隨著時間的推移而變得更好。谷歌已經(jīng)在一個巨大的標簽照片數(shù)據(jù)集上訓練了它的人工智能,就像Google Photos軟件一樣,這進一步幫助相機曝光。
華為:4800萬像素分辨率最高
不過,硬件仍有發(fā)揮作用的空間,尤其是在有人工智能支持的情況下。華為榮耀的新款View 20手機,以及華為Nova 4,是首款使用索尼IMX586圖像傳感器的手機。它的傳感器比大多數(shù)競爭對手都要大,擁有4800萬像素,是迄今為止所有手機中分辨率最高的。
但這仍然意味著在一個很小的空間中塞入大量的像素,往往會對圖像質(zhì)量造成問題。然而在20次的測試中,榮耀的“AI Ultra Clarity”模式在充分利用分辨率方面表現(xiàn)出色,它消除了傳感器不同尋常的顏色濾鏡,以解鎖額外的細節(jié)。這就使得這款手機拍攝的照片,可清晰到大聚會合照的每一張人臉,并且接近專業(yè)相機的照片解析力。
榮耀總裁趙明在微博曬榮耀V20高清攝影
榮耀V20拍照細節(jié)放大
一段時間以來,圖像信號處理器一直是手機相機性能的重要組成部分,但隨著計算攝影技術的進步,NPU似乎將扮演更重要的角色。華為是第一家宣布采用專用人工智能硬件系統(tǒng)芯片的公司,即麒麟970,這是業(yè)界首顆帶有獨立NPU專用硬件處理單元的手機芯片。
盡管蘋果的A11仿生芯片最終首先到達了消費者手中。高通是全球最大的安卓處理器供應商,該公司尚未將機器學習作為主要關注點,但谷歌已經(jīng)開發(fā)了自己的芯片Pixel Visual Core,以幫助完成與人工智能相關的成像任務。
與此同時,最新款的蘋果A12仿生擁有一個8核神經(jīng)引擎,可以在蘋果的機器學習框架Core ML中運行任務,速度是A11的9倍,而且它首次直接與圖像處理器相連。蘋果公司表示,這讓相機更好地理解焦平面,有助于產(chǎn)生更真實的景深。
攝像頭是基礎,人工智能是改進的最佳手段
這種硬件對于設備上高效、高性能的機器學習將變得越來越重要,因為機器學習對處理器的要求非常高。而支持Google Photos的算法是在擁有強大的GPU和強大的計算機上進行訓練的,之后才在照片庫中得到釋放??梢赃@么說,大部分工作可以“提前”完成,但在移動設備上實時進行機器學習計算的能力仍處于領先地位。
谷歌已經(jīng)展示了一些令人印象深刻的工作,可以減少處理負擔,而神經(jīng)引擎正變得越來越快。但即使是在“計算攝影”的早期階段,圍繞機器學習設計的手機相機也有真正的好處。事實上,在過去幾年人工智能熱潮所帶來的所有可能性和應用中,如今最實用的領域無疑是攝影,攝像頭是任何手機的基本功能,而人工智能是改進攝影的最佳手段。
-
智能手機
+關注
關注
66文章
18372瀏覽量
179512 -
人工智能
+關注
關注
1789文章
46397瀏覽量
236589
原文標題:蘋果、谷歌、華為,如何利用人工智能改進手機攝影技術?
文章出處:【微信號:worldofai,微信公眾號:worldofai】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論