計算成像發(fā)展現(xiàn)狀、熱點問題以及發(fā)展趨勢

摘要：計算成像是融合光學(xué)硬件、圖像傳感器、算法軟件于一體的新一代成像技術(shù)，它突破了傳統(tǒng)成像技術(shù)信息獲取深度（高動態(tài)范圍、低照度）、廣度（光譜、光場、三維）的瓶頸。本文以計算成像的新設(shè)計方法、新算法和應(yīng)用場景為主線，通過綜合國內(nèi)外文獻和相關(guān)報道來梳理該領(lǐng)域的主要進展。從端到端光學(xué)算法聯(lián)合設(shè)計、高動態(tài)范圍成像、光場成像、光譜成像、無透鏡成像、低照度成像、三維成像、計算攝影等研究方向，重點論述計算成像領(lǐng)域的發(fā)展現(xiàn)狀、前沿動態(tài)、熱點問題和趨勢。端到端光學(xué)算法聯(lián)合設(shè)計包括了可微的衍射光學(xué)模型，折射光學(xué)模型以及基于可微光線追蹤的復(fù)雜透鏡的模型。高動態(tài)范圍光學(xué)成像從原理到光學(xué)調(diào)制，多次曝光，多傳感器融合以及算法等層面闡述不同方法的優(yōu)點與缺點以及產(chǎn)業(yè)應(yīng)用。光場成像闡述了基于光場的三維重建技術(shù)在超分辨、深度估計和三維尺寸測量等方面國內(nèi)外的研究進展和產(chǎn)業(yè)應(yīng)用，以及光場在粒子測速及三維火焰重構(gòu)領(lǐng)域的研究進展。光譜成像闡述了當(dāng)前多通道濾光片，基于深度學(xué)習(xí)和波長響應(yīng)曲線求逆問題，以及衍射光柵，多路復(fù)用，超表面等優(yōu)化實現(xiàn)高光譜的獲取。無透鏡成像包括平面光學(xué)元件的設(shè)計和優(yōu)化，以及圖像的高質(zhì)量重建算法。低照度成像包括低照度情況下基于單幀、多幀、閃光燈、新型傳感器的圖像噪聲去除等。三維成像主要包括針對基于主動方法的深度獲取的困難的最新的解決方案，這些困難包括強的環(huán)境光干擾（比如太陽光），強的非直接光干擾（比如凹面的互反射，霧天的散射）等。計算攝影學(xué)是計算成像的一個分支學(xué)科，它從傳統(tǒng)攝影學(xué)發(fā)展而來，更側(cè)重于使用數(shù)字計算的方式進行圖像拍攝。在光學(xué)鏡片的物理尺寸、圖像質(zhì)量受限的情況下，如何使用合理的計算資源，繪制出用戶最滿意的圖像是其主要研究和應(yīng)用方向。

關(guān)鍵詞：端到端成像；高動態(tài)范圍成像；光場成像；光譜成像；無透鏡成像；低照度成像；三維成像；計算攝影

物理空間中，有著多種維度的信息，例如光源光譜，反射光譜、偏振態(tài)、三維形態(tài)、光線角度，材料性質(zhì)等。而成像系統(tǒng)所最終成得的像最終決定于，光源光譜，光源位置，物體表面材料光學(xué)性質(zhì)如雙向投射/散射/反射分布函數(shù)，物體三維形態(tài)等。然而，傳統(tǒng)的光學(xué)成像依賴于以經(jīng)驗驅(qū)動的光學(xué)設(shè)計，旨在優(yōu)化點擴散函數(shù)（Point Spread Function, PSF)，調(diào)制傳遞函數(shù)（MTF）等指標(biāo)，目的是使得在探測器上獲得更清晰的圖像，更真實的色彩。通?！八娂此谩?，多維信息感知能力不足。隨著光學(xué)、新型光電器件、算法和計算資源的發(fā)展，可將它們?nèi)跒橐惑w的計算成像技術(shù)逐步解放了人們對物理空間中多維度信息感知的能力，與此同時，隨著顯示技術(shù)的發(fā)展，特別是3D甚至6D電影，虛擬現(xiàn)實/增強現(xiàn)實（VR/AR）技術(shù)的發(fā)展，給多維度信息也提供了展示平臺。以目前對物理尺度限制嚴(yán)格的手機為例，使用從目前的趨勢看，手機廠商正跟學(xué)術(shù)界緊密結(jié)合。算法層面如高動態(tài)范圍成像、低照度增強、色彩優(yōu)化、去馬賽克、噪聲去除甚至是重打光逐步應(yīng)用于手機中，除去傳統(tǒng)的圖像處理流程，神經(jīng)網(wǎng)絡(luò)邊緣計算在手機中日益成熟。光學(xué)層面如通過非球面乃至自由曲面透鏡優(yōu)化像差，通過優(yōu)化拜爾（Bayer）濾光片平衡進光量和色彩。

本文圍繞端到端光學(xué)算法聯(lián)合設(shè)計、高動態(tài)范圍成像、光場成像、光譜成像、無透鏡成像、偏振成像、低照度成像、主動三維成像、計算攝影等具體實例全面闡述當(dāng)前計算成像發(fā)展現(xiàn)狀、前沿動態(tài)，熱點問題、發(fā)展趨勢和應(yīng)用指導(dǎo)。任務(wù)框架如圖1所示。

圖 1 計算成像的任務(wù)

端到端光學(xué)算法聯(lián)合設(shè)計（end-to-end camera design）是近年來新興起的熱點分支，對一個成像系統(tǒng)而言，通過突破光學(xué)設(shè)計和圖像后處理之間的壁壘，找到光學(xué)和算法部分在硬件成本、加工可行性、體積重量、成像質(zhì)量、算法復(fù)雜度以及特殊功能間的最佳折中，從而實現(xiàn)在設(shè)計要求下的最優(yōu)方案。端到端光學(xué)算法聯(lián)合設(shè)計的突破為手機廠商、工業(yè)、車載、空天探測、國防等領(lǐng)域提供了簡單化的全新解決方案，在降低光學(xué)設(shè)計對人員經(jīng)驗依賴的同時，將圖像后處理同時自動優(yōu)化，為相機的設(shè)計提供了更多的自由度，也將輕量化、特殊功能等計算攝影問題提供了全新的解決思路。其技術(shù)路線如圖2所示。

圖2端到端光學(xué)算法聯(lián)合設(shè)計技術(shù)路線

高動態(tài)范圍成像（high dynamic range imaging，HDR）在計算圖形學(xué)與攝影中，是用來實現(xiàn)比普通數(shù)位圖像技術(shù)更大曝光動態(tài)范圍（最亮和最暗細(xì)節(jié)的比率）的技術(shù)。攝影中，通常用曝光值（Exposure Value，EV）的差來描述動態(tài)范圍，1EV對應(yīng)于兩倍的曝光比例并通常被稱為一檔（1 stops）。自然場景最大動態(tài)范圍約22檔，城市夜景可達約40檔，人眼可以捕捉約10~14檔的動態(tài)范圍。高動態(tài)范圍成像一般指動態(tài)范圍大于13檔或8000:1（78dB），主要包括獲取、處理、存儲、顯示等環(huán)節(jié)。高動態(tài)范圍成像旨在獲取更亮和更暗處細(xì)節(jié)，從而帶來更豐富的信息，更震撼的視覺沖擊力。高動態(tài)范圍成像不僅是目前手機相機核心競爭力之一，也是工業(yè)、車載相機的基本要求。其技術(shù)路線如圖3所示。

圖3高動態(tài)范圍成像技術(shù)路線

光場成像（light field imaging，LFI）能夠同時記錄光線的空間位置和角度信息，是三維測量的一種新方法。經(jīng)過近些年的發(fā)展，逐漸成為一種新興的非接觸式測量技術(shù)，自從攝影被發(fā)明以來，圖像捕捉就涉及在場景的二維投影中獲取信息。然而，光場不僅提供二維投影，還增加了另一個維度，即到達該投影的光線的角度。光場擁有關(guān)于光陣列方向和場景二維投影的信息，并且可以實現(xiàn)不同的功能。例如，可以將投影移動到不同的焦距，這使用戶能夠在采集后自由地重新聚焦圖像。此外，還可以更改捕獲場景的視角。目前已逐漸應(yīng)用于工業(yè)、虛擬現(xiàn)實、生命科學(xué)和三維流動測試等領(lǐng)域，幫助快速獲得真實的光場信息和復(fù)雜三維空間信息。其技術(shù)路線如圖4所示。

圖4光場成像技術(shù)路線

光譜成像（spectrum imaging）由傳統(tǒng)彩色成像技術(shù)發(fā)展而來，能夠獲取目標(biāo)物體的光譜信息。每個物體都有自己獨特的光譜特征，就像每個人擁有不同的指紋一樣，光譜也因此被視為目標(biāo)識別的“指紋”信息。通過獲取目標(biāo)物體在連續(xù)窄波段內(nèi)的光譜圖像，組成空間維度和光譜維度的數(shù)據(jù)立方體信息，可以極大地增強目標(biāo)識別和分析能力。光譜成像可作為科學(xué)研究、工程應(yīng)用的強有力工具，已經(jīng)廣泛應(yīng)用于軍事、工業(yè)、民用等諸多領(lǐng)域，對促進社會經(jīng)濟發(fā)展和保障國家安全具有重要作用。例如，光譜成像對河流、沙土、植被、巖礦等地物都具有很好的識別效果，因此在精準(zhǔn)農(nóng)業(yè)、環(huán)境監(jiān)控、資源勘查、食品安全等諸多方面都具有重要應(yīng)用。特別地，光譜成像還有望用于手機、自動駕駛汽車等終端。當(dāng)前，光譜成像已成為計算機視覺和圖形學(xué)研究的熱點方向之一。

無透鏡成像（lensless imaging）技術(shù)為進一步壓縮成像系統(tǒng)的尺寸提供了一種全新的思路（Boominathan等，2022)。傳統(tǒng)的成像系統(tǒng)依賴點對點的成像模式，其系統(tǒng)極限尺寸仍受限于透鏡的焦距、孔徑、視場等核心指標(biāo)。無透鏡成像摒棄了傳統(tǒng)透鏡中點對點的映射模式，而是將物空間的點投影為像空間的特定圖案，不同物點在像面疊加編碼，形成了一種人眼無法識別，但計算算法可以通過解碼復(fù)原圖像信息。其在緊湊性方面具有極強的競爭力，而且隨著解碼算法的發(fā)展，其成像分辨率也得到大大提升。因此，在可穿戴相機、便攜式顯微鏡、內(nèi)窺鏡、物聯(lián)網(wǎng)等應(yīng)用領(lǐng)域極具發(fā)展?jié)摿?。另外，其獨特的光學(xué)加密功能，能夠?qū)δ繕?biāo)中敏感的生物識別特征進行有效保護，在隱私保護的人工智能成像方面也具有重要意義。

低光照成像（low light imaging）也是計算攝影里的研究熱點一。手機攝影已經(jīng)成為了人們用來記錄生活的最常用的方式之一，手機的攝像功能也是每次發(fā)布會的看點，夜景模式也成了各大手機廠商爭奪的技術(shù)制高點。不同手機的相機在白天的強光環(huán)境下拍照差異并不明顯，然而在夜晚弱光情況下則差距明顯。其原因是，成像依賴于鏡頭收集物體發(fā)出的光子，且傳感器由光電轉(zhuǎn)換、增益、模數(shù)轉(zhuǎn)換一系列過程會有不可避免的噪聲；白天光線充足，信號的信噪比高，成像質(zhì)量很高；晚上光線微弱，信號的信噪比下降數(shù)個數(shù)量級，成像質(zhì)量低；部分手機搭載使用計算攝影算法的夜景模式，比如基于單幀、多幀、RYYB陣列等的去噪，有效地提高了照片的質(zhì)量。但目前依舊有很大的提升空間。低光照成像按照輸入分類可以分為單幀輸入、多幀輸入( burst imaging)、 閃光燈輔助拍攝和傳感器技術(shù)，技術(shù)路線如圖2所示。技術(shù)路線如圖5所示。

圖5低光照成像技術(shù)路線

主動三維成像（active 3D imaging）以獲取物體或場景的點云為目的，被動方法以雙目立體匹配為代表，但難以解決無紋理區(qū)域和有重復(fù)紋理區(qū)域的深度。主動光方法一般更為魯棒，能夠在暗處工作，且能夠得到稠密的、精確的點云。主動光方法根據(jù)使用的光的性質(zhì)可分為基于光的直線傳播如結(jié)構(gòu)光，基于光速如Time-of-fligt（TOF），包括連續(xù)波TOF（iTOF）和直接TOF（dTOF），和基于光的波的性質(zhì)如干涉儀，其中前兩種方法的主動三維成像已廣泛使用在人們的日常生活中。雖然主動方法通過打光的方式提高了準(zhǔn)確性，但也存在由于環(huán)境光（主要是太陽光）、多路徑干擾（又稱做非直接光干擾）引起的問題，這些都在近些年的研究過程中有了很大的進展，如圖6和圖7所示。

圖6抗環(huán)境光技術(shù)路線

圖7抗非直接光技術(shù)路線

計算攝影學(xué)（computational photography）是計算成像的一個分支學(xué)科，它從傳統(tǒng)攝影學(xué)發(fā)展而來。傳統(tǒng)攝影學(xué)主要著眼于使用光學(xué)器件更好地進行成像，如佳能、索尼等相機廠商對于鏡頭的研究；與之相比，計算攝影學(xué)則更側(cè)重于使用數(shù)字計算的方式進行圖像拍攝。在過去10年中，隨著移動端設(shè)備計算能力的迅速發(fā)展，手機攝影逐漸成為了計算攝影學(xué)研究的主要方向：在光學(xué)鏡片的物理尺寸、成像質(zhì)量受限的情況下，如何使用合理的計算資源，繪制出用戶最滿意的圖像。計算攝影學(xué)在近年來得到了長足的發(fā)展，其研究問題的范圍也所有擴展，如：夜空攝影、人臉重光照、照片自動美化等。受圖像的算法，其中重點介紹：自動白平衡、自動對焦、人工景深模擬以及連拍攝影。篇幅所限，本報告中僅介紹目標(biāo)為還原拍攝真實場景的真實信息的相關(guān)研究。