面向多功能三維視覺的緊湊型光場(chǎng)攝影

3D成像對(duì)于感知、建模和理解物理世界來說至關(guān)重要，在導(dǎo)航、機(jī)器人以及醫(yī)學(xué)成像等領(lǐng)域有著廣泛的應(yīng)用。然而，3D場(chǎng)景與傳感器之間存在著固有的維度差距，這些傳感器最多可以像曲面?zhèn)鞲衅麝嚵幸粯硬贾迷?D表面。因此，只能從給定角度捕獲場(chǎng)景的2D投影。為了恢復(fù)深度數(shù)據(jù)，必須沿著額外的光軸進(jìn)行補(bǔ)充測(cè)量，例如：多視圖測(cè)量中的角度軸和基于飛行時(shí)間（ToF）傳感的時(shí)間軸。多視圖測(cè)量方法（例如立體視覺方法、結(jié)構(gòu)光方法和光場(chǎng)成像方法）和飛行時(shí)間方法（例如iToF和dToF）具有各自的獨(dú)特優(yōu)勢(shì)和局限性，但長(zhǎng)期以來，兩者分開用于3D成像相機(jī)的設(shè)計(jì)，限制了現(xiàn)有3D視覺解決方案的能力和應(yīng)用范圍。目前，能夠在廣泛的距離范圍內(nèi)實(shí)現(xiàn)高速、準(zhǔn)確的3D成像并自如地應(yīng)對(duì)嚴(yán)重遮擋，仍然極具挑戰(zhàn)性。

據(jù)麥姆斯咨詢報(bào)道，近日，之江實(shí)驗(yàn)室類人感知研究中心與美國(guó)加州大學(xué)洛杉磯分校生物工程系合作在Nature Communications期刊上發(fā)表了以“Compact light field photography towards versatile three-dimensional vision”為題的研究論文。該研究論文通訊作者為之江實(shí)驗(yàn)室類人感知研究中心封曉華和加州大學(xué)洛杉磯分校Liang Gao。封曉華主要從事簡(jiǎn)約光場(chǎng)攝影（compact light field photography，CLIP）、非視域三維視覺、光場(chǎng)層析技術(shù)（LIFT）、超快成像的研究工作。

這項(xiàng)研究提出了一種簡(jiǎn)約光場(chǎng)攝影（CLIP）技術(shù)，以便顯著地提高對(duì)密集光場(chǎng)采樣的效率和靈活性。與以往需要密集采樣2D圖像來恢復(fù)4D光場(chǎng)的壓縮光場(chǎng)相機(jī)不同，CLIP是一個(gè)系統(tǒng)框架，可用于設(shè)計(jì)任意采用非局部數(shù)據(jù)采集的成像模型，并將其轉(zhuǎn)換為高效光場(chǎng)成像的方法。該方法主要通過將設(shè)計(jì)好的或現(xiàn)有的非局部圖像采集過程分布到不同的視圖中，并對(duì)4D光場(chǎng)固有的相關(guān)性進(jìn)行建模；CLIP可以恢復(fù)4D光場(chǎng)，或直接從比單個(gè)子孔徑圖像更小的測(cè)量數(shù)據(jù)集中恢復(fù)重新聚焦的圖像。

CLIP原理圖

在CLIP框架下，通過變換單像素相機(jī)、X射線計(jì)算機(jī)斷層成像以及漫射器（diffuser）相機(jī)等的成像模型，可以利用任意格式的傳感器（如單像素、線性陣列和稀疏2D面探測(cè)器）來進(jìn)行高效的光場(chǎng)成像。此外，CLIP生而為相機(jī)陣列系統(tǒng)打造，提高了對(duì)傳感器測(cè)量缺陷和嚴(yán)重場(chǎng)景遮擋的穩(wěn)定性。通過使用CLIP，該研究還實(shí)現(xiàn)了多視圖測(cè)量方法與飛行時(shí)間方法的無縫協(xié)同，并展示了在擴(kuò)展深度范圍對(duì)無紋理場(chǎng)景進(jìn)行單次3D成像，在嚴(yán)重遮擋情況下的穩(wěn)定3D視覺，以及在彎曲和不連貫墻壁下的實(shí)時(shí)非視域（NLOS）成像，這些對(duì)于現(xiàn)場(chǎng)應(yīng)用來說都是尚未完成的關(guān)鍵任務(wù)。

另外，CLIP對(duì)4D光場(chǎng)的記錄，本質(zhì)上是光學(xué)領(lǐng)域的有效降維，實(shí)現(xiàn)了利用低維傳感器（例如無處不在的1D或0D（單像素）探測(cè)器）獲取高維信息，低維傳感器目前仍是超快時(shí)間維度、紅外以及太赫茲光譜領(lǐng)域成像的主要傳感器類型。該特性有助于將CLIP部署為通用的快照多維成像平臺(tái)，以大規(guī)模并行的方式對(duì)全光學(xué)函數(shù)進(jìn)行采樣。例如，通過將CLIP中的1D超快傳感器擴(kuò)展為百萬像素SPAD等2D面探測(cè)器，額外的空間維度就可以輕易地用于測(cè)量物體的光譜。定量偏振信息也可以通過在像素上覆蓋偏振片層來提取，類似于利用彩色濾光片陣列進(jìn)行彩色攝影。偏振信息通常用于深度感知和細(xì)化，這可能進(jìn)一步增強(qiáng)CLIP的3D視覺性能。

這項(xiàng)研究論文主要介紹了利用簡(jiǎn)單的光學(xué)器件和少量任意格式傳感器（從二維面探測(cè)器到單點(diǎn)探測(cè)器）來獲取大規(guī)模光場(chǎng)的CLIP技術(shù)，并且最終實(shí)現(xiàn)了數(shù)據(jù)量降低幾個(gè)數(shù)量級(jí)的密集多視圖測(cè)量。該研究展示了將CLIP技術(shù)用于高效的多視圖獲取飛行時(shí)間信號(hào)，從而實(shí)現(xiàn)擴(kuò)展深度范圍和嚴(yán)重場(chǎng)景遮擋的快照3D成像。此外，該研究還展示了如何利用CLIP實(shí)現(xiàn)曲面和不連貫表面的實(shí)時(shí)非視域3D視覺。CLIP將為高速3D成像帶來諸多益處，并將在多領(lǐng)域開辟新的應(yīng)用途徑。

有遮擋的3D成像

在擴(kuò)展深度范圍內(nèi)進(jìn)行快照Flash激光雷達(dá)（LiDAR）成像

通過CLIP-ToF實(shí)現(xiàn)NLOS成像

這項(xiàng)研究工作獲得了美國(guó)國(guó)立衛(wèi)生研究院（NIH/NIGMS，授權(quán)號(hào)：R35GM128761(LG)）的支持。

論文鏈接：
https://www.nature.com/articles/s41467-022-31087-9

審核編輯 ：李倩