雜談光場相機(jī)的不足、優(yōu)勢、應(yīng)用和展望（中）

文章的上篇，主要是簡單回顧了光場相機(jī)的起源歷史、 極大地推動了它發(fā)展的Lytro公司的發(fā)展軌跡， 并簡要分析了這個相機(jī)在To C端市場表現(xiàn)疲軟的三大技術(shù)性原因。

也正如前文指出的那樣，光場相機(jī)因為它獨(dú)特的成像特性，在某些To B端領(lǐng)域得到了落地應(yīng)用，成為在某些特定場景中具有性能優(yōu)勢的一個技術(shù)解決方案。這里的“強(qiáng)”和前面的“弱”，實則為光場相機(jī)同一技術(shù)特性的陰陽兩極。作為“陣列”型傳感器中的一種，它在空間分辨率和角度分辨率中的折衷主義設(shè)計，決定了它性能“兩頭不靠”， 卻又“多面能手”。

光場相機(jī)的定義雖然范疇很小，但是“芥子納須彌”。這個概念上十分簡潔的設(shè)備，即一塊主透鏡、一個微透鏡陣列和一個感光芯片就構(gòu)成了的光場相機(jī)，與很多其他技術(shù)相結(jié)合，誕生了諸多設(shè)備變種，被應(yīng)用在不同場景需求中?？梢哉J(rèn)為它很簡單，簡單到從事計算機(jī)視覺的研究工作者，可以不用過多地去理會成像過程中的光學(xué)內(nèi)涵和物理過程，僅憑借著傍軸近似條件下的幾何光學(xué)，就可以開展應(yīng)用性研究；但是也可以認(rèn)為它很復(fù)雜，從幾何光學(xué)到波動光學(xué)，從相干照明到部分相干照明， 即使是光學(xué)專業(yè)科班出身的科研工作者，對它的成像過程和性質(zhì)，也難以建立一個完備的數(shù)學(xué)描述。

對于作者而言，這個文章的標(biāo)題從一開始，就是超綱和過于龐大的。但是為了盡量給讀者一個清晰的面貌，特別是非專業(yè)領(lǐng)域的讀者一個簡明的介紹， 我將斗膽暢言，繼續(xù)拋磚引玉，闡述下光場相機(jī)在某些特定領(lǐng)域的優(yōu)勢所在，以及這幾年涌現(xiàn)出的基于光場相機(jī)的新型應(yīng)用技術(shù)。

02

優(yōu)勢篇

光場相機(jī)的優(yōu)點(diǎn)，一言以蔽之，它快速、它靈活、它多變。光場相機(jī)最多的應(yīng)用場景，目前主要集中在3D成像領(lǐng)域，特別是深度估計、3D光強(qiáng)場的逆向重構(gòu)兩大方面。3D成像領(lǐng)域，有很多其他技術(shù)方案，多目視覺、激光點(diǎn)陣掃描、TOF飛行時間法、全息術(shù)、相位恢復(fù)、結(jié)構(gòu)光……光場相機(jī)與這些方案對比，成像速度和信息解算速度快，同時保留了被探測物體的灰度值信息（波長、強(qiáng)度）， 同時也記載了多視角信息（空間頻率）。光場相機(jī)由于靈活的特點(diǎn)，也可以和這些方案中的一些技術(shù)進(jìn)行組合， 衍生“混血兒”。它的獨(dú)特之處，在于以下幾個方面：

1.密集的多視角

由于光場相機(jī)中，視角數(shù)目，等于單個微透鏡下的像素數(shù)目，而這一數(shù)字，目前達(dá)到了三位數(shù)的數(shù)量級，因此相較于傳統(tǒng)多目相機(jī)陣列（拋開圖1中斯坦福的極端燒錢案例，一般的多目系統(tǒng)相機(jī)都是個位數(shù)），光場相機(jī)在視角的密集程度（即視角分辨率）上，具有明顯的優(yōu)勢。

圖1相機(jī)陣列和光場相機(jī)的結(jié)構(gòu)對比(by Kurt Akeley，Light-Field Imaging Approaches Commercial Viability, 2015)

密集的視角，既為重聚焦、基于EPI的深度估計提供了技術(shù)上的可行性，成為這些后續(xù)技術(shù)的一個前期鋪墊環(huán)節(jié)， 而且它本身，就有著獨(dú)特的應(yīng)用價值。

比如，在手機(jī)玻璃蓋板的工業(yè)檢測上，為了檢測手機(jī)屏幕上的質(zhì)量瑕疵，一種傳統(tǒng)的解決方法，就是工人利用肉眼、一天八小時對著強(qiáng)光并反復(fù)從各個角度檢查瑕疵。這種To C產(chǎn)品的檢測需要盡可能地降低漏檢率，提高成品率，參見毀掉三星手機(jī)諾大聲名的其實只是百萬塊手機(jī)電池中的一塊。瑕疵由于對光線的反射或者折射特性變得十分隱蔽，只有在特定視角下，才可以顯現(xiàn)。如果利用傳統(tǒng)二維相機(jī)進(jìn)行掃描，視角移動設(shè)備復(fù)雜，也不具備時效性；利用人工肉眼檢測，對工人的健康不人道。豐富的視角屬性，為光場相機(jī)探測這些瑕疵賦予了快捷、準(zhǔn)確的屬性。

2.結(jié)構(gòu)的緊湊性

對比圖1中，兩種光場技術(shù)的系統(tǒng)尺寸大小，光場相機(jī)的結(jié)構(gòu)緊湊性，不言而明。光場相機(jī)結(jié)構(gòu)的緊湊性，帶來兩點(diǎn)收益：光場相機(jī)適合在空間光學(xué)觀察窗口受限條件下對目標(biāo)進(jìn)行觀測；光場相機(jī)容易與其他附加光路結(jié)合，構(gòu)成另外一種應(yīng)用方式。

圖3：光場相機(jī)應(yīng)用于燃?xì)廨啓C(jī)的內(nèi)涵道激光粒子圖像測速（小梅本人畫的）

光學(xué)窗口受限的典型情況，就比如旋轉(zhuǎn)機(jī)械中流場的觀測，為了盡量降低光學(xué)窗口對機(jī)匣中氣體流動的影響，以及降低結(jié)構(gòu)強(qiáng)度，光學(xué)窗口一般數(shù)目都很少，大小有限。

后者的一個典型案例，就是光場相機(jī)在生物顯微方向的應(yīng)用，通過附加光路，不用太復(fù)雜的設(shè)備，即可完成成像系統(tǒng)的改造。

3.快速的寬視場體成像

這一特點(diǎn)，在光場相機(jī)的顯微成像中被反復(fù)提起。由于光場相機(jī)僅需要單次拍攝，就可以記錄光場信息，因此方便快速地完成對被觀測物體的3D圖像采集。在生物顯微領(lǐng)域，光場相機(jī)的應(yīng)用極大地降低了標(biāo)本的活性時間要求。其他很多傳統(tǒng)的3D成像技術(shù)，要求活體標(biāo)本保持位置和姿態(tài)固定（想象下病人去掃描CT核磁共振的時候，一動不動，那帶殼的長壽動物猶不能及），而光場相機(jī)速度快的優(yōu)勢，使得它甚至可以被用來檢測運(yùn)動狀態(tài)下的被檢測活體[1]，比如游動的細(xì)菌、運(yùn)動中的老鼠，這種場景在傳統(tǒng)醫(yī)學(xué)成像領(lǐng)域基本上是不可能出現(xiàn)的。

圖4：基于光場相機(jī)的三維成像顯微鏡 （Prevedel, Simultaneous whole-animal 3D imaging of neuronal activity using light-field microscopy. 2014.）

4.“一魚多吃”，光場信息的多種解讀

光場相機(jī)由于是記錄了光線的方向和坐標(biāo)等四維信息，因此基于對光場的不同解讀方式，可以形成對光場圖像的不同利用方法。典型的解讀方法有：

a.重聚焦，形成了一系列focal stack圖片。這種解讀，可以了解為被觀測物體，在一個定焦透鏡不同軸向位置處的圖像變化。focal stack目前主要的應(yīng)用，是被利用在深度估計上，也可以應(yīng)用它進(jìn)行對被觀測物體的相位恢復(fù)。利用不同軸向位置處的圖像銳度，可以判定被觀測物的空間位置。和其他利用focal stack的技術(shù)相比，比如機(jī)械式的移動被觀測物， 或者最新大火的液體快速變焦透鏡（華為P50預(yù)告），光場相機(jī)獲得focal stack是通過一次拍攝，后續(xù)處理得到的，更具備時效性，所拍即所得 （當(dāng)然空間分辨率上，其他focal stack技術(shù)更好，時間換空間）。

圖5：光場相機(jī)利用重聚焦形成的focal stack (Takahashi, From focal stack to tensor light-field display. 2018.)

b. 多視角圖像，形成了密集分布的不同視角下的圖片。在此情形下，光場相機(jī)即可以退化為傳統(tǒng)的多目視覺，因此主要用途依舊是深度估計，用來觀測物體的形貌。但是由于光場相機(jī)的視角密度很高，因此一個更合理的利用方式，是利用多視角圖像的EPI(epipolar plane image), 探測特定目標(biāo)區(qū)域的EPI的斜率變化，從而得到深度信息。

圖6：光場相機(jī)多視角圖像形成的EPI信息（Teixeira, Epipolar based light field key-location detector. 2017

c. 點(diǎn)擴(kuò)散函數(shù)的利用。光場相機(jī)的點(diǎn)擴(kuò)散函數(shù)PSF，會隨著點(diǎn)光源在軸向的位置而發(fā)生改變。在空間域看，隨著點(diǎn)光源離焦程度的加深，更多的微透鏡被照亮，點(diǎn)光源仿佛散作滿天星。在頻率域看，不同空間頻率分量上的頻譜分布發(fā)生了改變。這種PSF隨著空間位置發(fā)生變化的屬性，與點(diǎn)擴(kuò)散函數(shù)工程領(lǐng)域的方法，有著異曲同工之妙。在點(diǎn)擴(kuò)散函數(shù)工程領(lǐng)域，PSF被人為調(diào)制，使得物點(diǎn)在不同空間位置上的像圖案呈現(xiàn)不同規(guī)律，比如渦旋光束導(dǎo)致圖案會根據(jù)沿光軸位置，旋轉(zhuǎn)不同角度[2]。光場相機(jī)的PSF也呈現(xiàn)出不同特征、但思路相仿的特點(diǎn)，通過探測、校準(zhǔn)PSF, 利用反卷積技術(shù)，可以利用圖像重構(gòu)物方三維空間中的光強(qiáng)分布。這一方法，在光場的顯微三維成像領(lǐng)域中，受到了廣泛的應(yīng)用。

圖7：光場顯微中的PSF和反卷積應(yīng)用（Broxton, Wave optics theory and 3-D deconvolution for the light field microscope. 2013）

d. 波前傳感與相位探測。光場相機(jī)的前身，有另外一個名字，哈特曼-夏克傳感器，這一儀器，主要被用于探測光波的波前和相位分布。這一傳感器的工作原理的簡要介紹，可以參見如下的中文鏈接。但凡波前探測的領(lǐng)域，都可以見到這一相機(jī)的應(yīng)用場景，比如自適應(yīng)光學(xué)中，探測大氣湍流造成的波前畸變，消除像差從而提高天文觀測的成像質(zhì)量，光學(xué)儀器的瑕疵檢測，激光光束的波前探測.于軍于民，基于光場相機(jī)的波前探測也是一個小的研究熱點(diǎn)。

圖8：光場相機(jī)被應(yīng)用于波前探測（Chen, Ni, et al. 3D imaging based on depth measurement technologies. Sensors 18.11 (2018): 3711.）

上面，可以看到利用了上述優(yōu)點(diǎn)，拓展光場相機(jī)應(yīng)用領(lǐng)域的案例。在外觀檢測、被加工零件的形貌誤差等方面，光場相機(jī)都有著獨(dú)特的優(yōu)勢。

盡管光場相機(jī)的空間分辨率較低，但是這一問題，有望隨著感光芯片的技術(shù)進(jìn)步而解決。機(jī)器閱讀并去理解圖像，對空間分辨率的需求不一定需要很高，達(dá)到人審美需求的那種程度。

總的來說，光場相機(jī)具備結(jié)構(gòu)簡單的屬性，使得它可以快速成像、并對光場數(shù)據(jù)進(jìn)行快速解算。同時，由于對光場信息的存在不同解讀方法，光場相機(jī)可以拓展到很多不同應(yīng)用領(lǐng)域， 形成一個復(fù)雜和龐大的成像應(yīng)用系列技術(shù)，這也就是為什么盡管光場相機(jī)已經(jīng)在To C端偃旗息鼓，但仍然有新的火花，在知識森林中被點(diǎn)燃。

你以為這是故事的全部？No, No, No! 下篇將繼續(xù)介紹，大家如何腦洞大開，利用光場相機(jī)，繼續(xù)去干一些神奇而又好玩的事情。盡管有些方向，仍然停留在學(xué)界層面，但是對想要創(chuàng)業(yè)“恰飯”的朋友們，這不是件好事？

審核編輯 ：李倩