三鏡頭手機時代已經(jīng)到來_三鏡頭到底強在哪?

在雙鏡頭智能手機越來越普及的同時，華為(Huawei)最新推出的P20 Pro揭示三鏡頭手機時代的來臨…三個鏡頭真的有比兩個鏡頭厲害嗎？

在過去兩年，我們已經(jīng)見證到在大眾市場上的大多數(shù)智能手機對雙鏡頭技術(shù)之采用，而且?guī)缀跏强缢惺謾C業(yè)者；雙鏡頭出現(xiàn)在前置或后置攝影機，有不同的配置以及終極目標。

根據(jù)市場研究機構(gòu)的報告指出，2018年有30%的智能手機將采用雙鏡頭，明年該比例將成長至50%。而雖然智能手機市場花了超過十年時間才添加第二個鏡頭，看來第三個鏡頭也馬上要登場了──在雙鏡頭方案被采納的兩年之內(nèi)。

本文將探討智能手機影像系統(tǒng)添加第三個鏡頭的一些動機、所帶來的挑戰(zhàn)，以及一些可能的解決方案。

雙鏡頭發(fā)展回顧

智能手機的厚度一直是移動攝影技術(shù)的挑戰(zhàn)；隨著技術(shù)演進，攝影機光圈尺寸可以非常迷你，像素(pixel)尺寸也越來越小，此外自動對焦與影像穩(wěn)定也仍然需要能放進去。而最近，智能手機廠競相實現(xiàn)不錯的低光線拍照性能、高分辨率、低SNR，甚至還能以僅6mm的攝影機高度來變焦。

雙鏡頭技術(shù)的誕生，除了為相機模組制造商與智能手機業(yè)者帶來救贖，同時也帶來挑戰(zhàn)；它提出的方案是：如果單支攝影機已經(jīng)充分發(fā)揮潛力，為何不合成兩支攝影機的輸出，好讓它們能各自貢獻其特殊優(yōu)勢？

最早搭載雙鏡頭的智能手機是HTC One (M8)，應用于后置攝影機；其唯一目的是提供景深與對焦效果。而雙鏡頭手機發(fā)展的第一階段持續(xù)至2016年中，當時有多家智能手機業(yè)者都在旗艦機種嘗試采用雙鏡頭技術(shù)，利用不同的設定，包括僅支持景深、RGB-單色(Mono) ，以及廣角-超廣角(Wide-Wider)等組合。不過并沒有出現(xiàn)“殺手級拍照應用程式”，也沒有任何一種配置方法勝出。

2016年9月，Apple發(fā)表配備后置雙鏡頭攝影機的iPhone 7 Plus，以“廣角+望遠”(Wide+Tele)的高階雙鏡頭配置，強調(diào)支持兩種消費者最想要的功能：光學變焦( optical zoom)與數(shù)字散景(digital bokeh；或稱“人像模式”)。從那時候起，雙鏡頭智能手機市場地位確立，各家高階與旗艦機種都采用了與Apple類似的配置，中低階手機則仍僅支持景深功能。

Corephotonics (以色列新創(chuàng)公司，本文提供者)是在2014年推出變焦雙鏡頭系統(tǒng)，能在不犧牲攝影機Z軸高度的前提下支持真正的光學變焦

然后是三鏡頭！

雖然雙鏡頭智能手機已經(jīng)在高階市場普及，在近期內(nèi)仍將會有許多新的雙鏡頭拓樸亮相，以強化今日的雙鏡頭方案性能；一個下一代雙鏡頭進化的案例即將發(fā)生，即是可折疊攝影機架構(gòu)的應用，不只能大幅改善變焦倍數(shù)以及低光線拍攝性能，也能實現(xiàn)更低的攝影機模組高度以適應更薄的手機機身。OPPO在2017年MWC就曾發(fā)表過采用這類技術(shù)的初期原型──配備5倍變焦鏡頭的智能手機攝影機技術(shù)。

另一個智能手機攝影機的有趣變化，會是利用三鏡頭組合；不過說比做容易得多，添加第三個攝影機鏡頭會帶來明顯的挑戰(zhàn)(以及獎賞)，也為智能手機制造商開啟了更廣泛的可能性與配置選項。

三鏡頭智能手機可以有很多不同配置

接下來讓我們來看看三鏡頭相機系統(tǒng)面臨的三大挑戰(zhàn)：

挑戰(zhàn)一：“坪數(shù)”與成本

三鏡頭解決方案不但增加了攝影機系統(tǒng)物料清單(BoM)成本，也會因為其他可能整合到手機內(nèi)的技術(shù)(例如紅外線感測、近接感測器、結(jié)構(gòu)光、更大的電池…等等)，而在機體內(nèi)部空間占據(jù)更多“坪數(shù)”。這種“懲罰”幾乎是不可避免的，但廠商必須要以整體金錢價值來衡量，有部分取決于其目標受眾的優(yōu)先性。

第三支攝影機添加的成本會與其配置直接相關(guān)，這點筆者在接下來會進一步解釋；其金額估計在10美元至30美元之間。

挑戰(zhàn)二：校準

為了要達到在視訊/影像預覽的無縫使用者體驗，并避免在影像融合或散景時出現(xiàn)殘影或過長的處理時間，必須要在此三鏡頭成像系統(tǒng)的內(nèi)部與外部屬性上仔細校準，而且要在攝影機的生產(chǎn)線上進行，必須一絲不茍甚至可能以連續(xù)、自動化的執(zhí)行方式來補償物理性動態(tài)變化，例如溫度變化與設備掉落沖擊等。

攝影機系統(tǒng)的校準以及訊框同步(frame-to-frame synchronization)，為攝影機模組制造商以及這種更復雜攝影機系統(tǒng)供應商帶來挑戰(zhàn)；因為如果三個鏡頭每一個都需要完美校準，組裝程序必須要謹慎設計，而良率預期會較低，如此可能會直接影響整體攝影機成本。

挑戰(zhàn)三：固件、算法與功耗

三鏡頭攝影系統(tǒng)在固件方面也會更復雜，新架構(gòu)會必須能像是只運作一支攝影機那樣搞定三支攝影機；處理程序例如電源管理、訊框要求(frame request)、存儲器管理，以及其他攝影機管理員程式內(nèi)部的狀態(tài)機(state-machines)，會需要處理更多的邏輯、更多數(shù)據(jù)并允許在流水線內(nèi)更多的平行處理，同時以更有效率的方式支持應用層以因應即時性能。

在另一方面，算法也面臨相同挑戰(zhàn)，包括確保合理的處理運作時間，以及避免來自多個鏡頭的多輸入影像而導致的殘影；同時還要處理三鏡頭在訊框同步、遮蔽(occlusions )方面的不精準，以及三鏡頭校準數(shù)據(jù)中的缺陷。因為這些復雜性，這種配置的整體系統(tǒng)(包括攝影鏡頭與處理平臺)功耗會大大受影響。

接著讓我們來討論幾種三鏡頭配置方法，這些案例各有優(yōu)缺點，當然也可能還有其他的配置…

支持低光線拍攝的三鏡頭配置

三鏡頭攝影機能讓使用者在光線相對較暗的場景中拍攝照片，而且變焦功能也不會打折扣。在演唱會現(xiàn)場拍攝舞臺上的畫面就是一個很好的例子，這種場景不但需要變焦，而且需要能支持低光線拍攝。

支持低光線拍攝的三鏡頭配置

連續(xù)變焦功能源自于以下幾點：

單色攝影機(Camera I)因為沒有使用通常會配置在彩色攝影機感測器像素中的拜爾濾色鏡陣列(Bayer filter array)，而能提供更高的對角線分辨率(diagonal resolution)；在這種系統(tǒng)中，能使用彩色攝影機(Camera II與Camera III)來實現(xiàn)色彩重現(xiàn)。

單色廣角攝影機與彩色廣角攝影機(Camera I與Camera II)不同的空間取樣尺寸(例如像素尺寸)，也有助于此雙鏡頭子系統(tǒng)的整體放大倍率性能。

第三個攝影機還能支持來自望遠鏡頭之更高的中央分辨率(center resolution)。

強化低光線拍攝性能，源自于與三鏡頭都有相關(guān)的、相對較低的焦比(f/#；鏡頭光圈設定)。將彩色攝影機(Camera II)輸出訊框與單色攝影機(Camera I)輸出訊框融合，會取得是前者兩倍的光線，如此也能大幅改善SNR。

兩倍曝光的效益是不采用彩色濾光片陣列的結(jié)果，因為在彩色濾光片中，每個像素會被過濾為只記錄三種色彩中的一種，以犧牲整體潛在可吸收光線為代價。

RGB/單色(Mono)/望遠(Tele)三鏡頭能支持更佳的光線敏感度以及光學變焦

另一個這種三鏡頭配置方案勝過現(xiàn)有雙鏡頭變焦攝影機的顯著優(yōu)勢，是在Camera I與Camera II之間有較大的重疊視野(field of view，F(xiàn)oV)；這種功能可以在擴增實境(AR)以及數(shù)字散景(淺化背景深度的效果)等多種應用中，支持整體寬廣FoV中的立體深度感測，

而此種配置的一個顯著缺點是在靜態(tài)影像擷取時的快門延遲相對較高，而且在視訊錄影時的低光線拍攝性能就沒有改善；此外很重要的是，這類攝影機系統(tǒng)的功耗必須小心監(jiān)控，以避免當三鏡頭同時運作時發(fā)生懸崖式掉電。

支持廣角拍攝的三鏡頭配置

鏡頭排列順序?qū)ο到y(tǒng)性能會有影響；舉例來說，將廣角彩色攝影機放在中間，能在視訊拍攝時支持較順暢的廣角鏡頭到望遠鏡頭過渡，同時簡化兩相鄰攝影機(彩色與單色)之間的融合程序。但這種配置的代價是犧牲立體深度感測精確度，不過能透過將廣角彩色攝影機與廣角單色攝影機放在相對兩端來改善。

魚眼變焦攝影機配置

這種攝影機配置會非常適合旅游愛好者；舉例來說，在拍攝開闊的景觀時，超廣角鏡頭能避免一般采用影像拼接的拍攝模式。同時非常有助于在變焦時擷取精細的影像細節(jié)；現(xiàn)在的智能手機只能讓使用者在影像品質(zhì)較佳的光學變焦或是超廣角畫面中二選一，但三鏡頭配置就不需要做出這種抉擇。

相較于前一種三鏡頭配置，這種配置能以更經(jīng)濟的方式處理功耗，因為大多數(shù)時間只有一個鏡頭啟動，依據(jù)使用者的變焦倍數(shù)；此外此攝影機陣列順序背后的邏輯會更直接，因為依據(jù)攝影機放大性能，相鄰的兩攝影機之間會一直以連續(xù)模式無縫切換。

這類系統(tǒng)的挑戰(zhàn)在于超廣角鏡頭會有相對較高的影像失真，特別是在視訊平滑過渡、融合兩個影像甚或是工廠校準程序時；不過熱愛攝影的手機使用者，會非常欣賞望遠鏡頭較長的焦距，能讓他們從遠處拍攝到效果更好的目標物特寫。

支持折疊式望遠攝影機的三鏡頭配置

這種三鏡頭配置也能讓使用者享受前所未有的真正5倍光學變焦，不需要妥協(xié)于今日的智能手機外觀(也就是能與無邊框全螢幕顯示器共存的5mm高度攝影機)。而盡管F/#相對較高(例如f/2.8)，望遠鏡頭的低光線拍攝性能也很出色，因為折疊式望遠鏡頭強化了入攝瞳(pupil)，比起標準RGB廣角鏡，能擷取五倍以上的光線；比起前面提到的這種配置中的廣角攝影機，光線擷取量則是超過2.5倍。

采用先進折疊光學技術(shù)的三鏡頭配置

這種超級變焦三鏡頭配置，從1到5倍變焦都能提供無縫、連續(xù)的變焦體驗，無論是拍攝靜態(tài)影像或是4K視訊錄影；結(jié)合多訊框(multi-frame)技術(shù)、影像融合以及多階影像(multi-scaling)，這種攝影機最高能提供25倍變焦。結(jié)合可折疊變焦光學元件與OIS技術(shù)，這種先進的三鏡頭系統(tǒng)能改善今日智能手機攝影機的兩大缺陷：低光線拍攝性能以及光學變焦倍數(shù)不足。

廣角/2倍望遠/5倍望遠拍攝

報酬遞減原則

我們在這篇文章中探討了三鏡頭攝影系統(tǒng)的關(guān)鍵挑戰(zhàn)，以及可能很快會被業(yè)者采用的三種不同攝影機配置方法。

一般來說，報酬遞減原則(Law of Diminishing Returns)也適用于多鏡頭技術(shù)，在雙鏡頭配置中的第二個攝影機在提升使用者體驗上提供了最高的報酬，但任何一種三鏡頭配置中的第三個攝影機，可能需要為整體使用者體驗帶來很明顯的價值，才能抵銷其添加的額外成本、占位面積以及復雜度。

無論如何，三鏡頭配置能充分解決低光線拍攝時的限制(包括靜態(tài)影像與動態(tài)視訊擷取)，同時提供適當?shù)墓鈱W變焦能力(3倍以上)，這在近期之內(nèi)會成為對手機業(yè)者來說最具說服力的解決方案。