計(jì)算光學(xué)成像技術(shù)的基本概念、內(nèi)涵和優(yōu)勢(shì)

Part.1、引言

人類感知客觀世界的信息，有90%來(lái)源于視覺(jué)，而光學(xué)成像技術(shù)的發(fā)展則大大擴(kuò)展了人類的視覺(jué)能力，使之能上觀百億光年之外的天體運(yùn)行、下察比頭發(fā)絲直徑還小萬(wàn)倍的分子結(jié)構(gòu)。事實(shí)上，只要大家看看自己的智能手機(jī)，就能意識(shí)到光學(xué)成像技術(shù)與我們工作生活相關(guān)的密切程度。計(jì)算光學(xué)成像是光學(xué)成像與最優(yōu)化算法、人工智能、信息論等多學(xué)科交叉研究方向，吸引著越來(lái)越多學(xué)術(shù)和工業(yè)界人員的興趣。但我們?cè)谂c同行交流的過(guò)程中，也發(fā)現(xiàn)有不少人認(rèn)為這是數(shù)字圖像處理技術(shù)。為了澄清這些誤解，本文將簡(jiǎn)單介紹計(jì)算光學(xué)成像技術(shù)的基本概念、內(nèi)涵和優(yōu)勢(shì)。

Part.2、計(jì)算光學(xué)成像

計(jì)算光學(xué)成像，顧名思義，是把“計(jì)算”融入到光學(xué)圖像形成過(guò)程中任何一個(gè)或者多個(gè)環(huán)節(jié)的一類新型的成像技術(shù)或系統(tǒng)。光學(xué)圖像的形成與場(chǎng)景/物體的照明模式、系統(tǒng)的光學(xué)傳遞函數(shù)、像感器的采樣三個(gè)因素息息相關(guān)。計(jì)算通常以編碼的形式體現(xiàn)在這三個(gè)環(huán)節(jié)當(dāng)中，對(duì)系統(tǒng)的物面、光瞳面和像面（或其共軛面）上的光場(chǎng)進(jìn)行編碼調(diào)制，形成編碼照明、編碼孔徑、編碼像感（圖1）。

圖1. 傳統(tǒng)光學(xué)成像(a)與計(jì)算光學(xué)成像(b)的對(duì)比示意圖

在硬件上，這些編碼通常可以專門制作編碼板（如微透鏡陣列、微偏振片陣列）或者更靈活的可編程控制的空間光調(diào)制器（如DMD、LCOS、MEMS、LED陣列），甚至利用光波本身的物理屬性（如衍射、相干疊加）來(lái)實(shí)現(xiàn)；在功能上，編碼調(diào)制可以作用于光場(chǎng)的光強(qiáng)、相位、偏振、光譜等要素。顯然，這些編碼器件和函數(shù)的引入會(huì)導(dǎo)致幾何光學(xué)意義下光學(xué)成像系統(tǒng)“點(diǎn)到點(diǎn)”物像關(guān)系不再滿足。也即是說(shuō)，在像感器上所成的像并非“所見(jiàn)即所得”的幾何光學(xué)像，而是經(jīng)過(guò)“編碼”后的光強(qiáng)分布，因而需要用適當(dāng)?shù)臄?shù)學(xué)算法來(lái)“計(jì)算重建”場(chǎng)景/物體的圖像。因此，計(jì)算光學(xué)成像系統(tǒng)的設(shè)計(jì)需要根據(jù)具體的成像任務(wù)在光學(xué)和算法兩方面進(jìn)行聯(lián)合優(yōu)化。而數(shù)字圖像處理技術(shù)僅對(duì)傳統(tǒng)光學(xué)成像系統(tǒng)獲取到的圖像進(jìn)行后處理（如去噪、像素超分、背景虛化）以獲得更好的視覺(jué)效果。

Part.3、計(jì)算光學(xué)成像的技術(shù)優(yōu)勢(shì)

通過(guò)光學(xué)與算法的聯(lián)合優(yōu)化設(shè)計(jì)，計(jì)算光學(xué)成像技術(shù)的優(yōu)勢(shì)是全方位的（圖2）。根據(jù)具體的成像任務(wù),計(jì)算光學(xué)成像技術(shù)能擴(kuò)展成像要素，對(duì)光場(chǎng)的相位/傳播方向、相空間、偏振態(tài)、光譜、時(shí)間等參量進(jìn)行成像；也能提升成像性能，可實(shí)現(xiàn)分辨率、視場(chǎng)、景深和動(dòng)態(tài)范圍的提升；也能通過(guò)去除透鏡等方式簡(jiǎn)化成像系統(tǒng)；甚至在低光照、強(qiáng)散射、存在遮擋物等傳統(tǒng)光學(xué)成像技術(shù)難以應(yīng)對(duì)的環(huán)境里，都能獲得出色的表現(xiàn)。

圖2. 計(jì)算光學(xué)成像技術(shù)的優(yōu)勢(shì)列表

Part.4、計(jì)算光學(xué)成像中的逆問(wèn)題及算法

如前所述，因?yàn)榫幋a的引入，像感器探測(cè)的結(jié)果往往不是“所見(jiàn)即所得”的，因而要使用算法從編碼探測(cè)光強(qiáng)計(jì)算重建出物體的圖像。實(shí)際上，編碼探測(cè)過(guò)程即正向過(guò)程可以簡(jiǎn)單描述為：

其中，x表示待測(cè)物體，H(?)表示整個(gè)成像系統(tǒng)的編碼探測(cè)過(guò)程（包含各類噪聲），y為實(shí)際探測(cè)結(jié)果。使用算法重構(gòu)圖像即通過(guò)逆向過(guò)程實(shí)現(xiàn)的推理，這是一個(gè)典型的逆問(wèn)題。

由于探測(cè)過(guò)程不可避免的存在信息丟失，上述逆問(wèn)題往往是病態(tài)的，這將導(dǎo)致解的不唯一性，即直接根據(jù)y無(wú)法唯一確定一個(gè)x。

常見(jiàn)的逆問(wèn)題求解算法可分為以下四類：

1、基于模型的方法

當(dāng)成像的模型已知時(shí)，可以用這類算法來(lái)求解。其核心思路是：通過(guò)迭代優(yōu)化的方式，尋找同時(shí)滿足探測(cè)信號(hào)約束和物體先驗(yàn)約束的結(jié)果。其數(shù)學(xué)表達(dá)式為：

由于逆問(wèn)題的病態(tài)性，滿足探測(cè)信號(hào)約束

（也稱為數(shù)據(jù)擬合項(xiàng)）的結(jié)果有很多，通過(guò)手動(dòng)設(shè)計(jì)正則項(xiàng)引入諸如稀疏、平滑、支持域等先驗(yàn)約束，可以從眾多可行解中挑選“最優(yōu)解”[2]。最小二乘法、壓縮感知算法等都屬于此類方法。

2、數(shù)據(jù)驅(qū)動(dòng)方法

當(dāng)成像的模型難以建立時(shí)，可以利用多層神經(jīng)網(wǎng)絡(luò)Rθ從大量數(shù)據(jù)中學(xué)習(xí)豐富的隱式先驗(yàn)信息，然后利用所得參數(shù)模型完成y到x的映射，即。該方法能夠解決傳統(tǒng)優(yōu)化算法無(wú)法解決的一些極端環(huán)境成像問(wèn)題（如強(qiáng)散射、極弱光），而且這種方法還是非迭代的，能夠?qū)崿F(xiàn)實(shí)時(shí)成像[3]。但是，該方法也面臨數(shù)據(jù)獲取困難、泛化性及可解釋性差等問(wèn)題。

3、數(shù)據(jù)和模型聯(lián)合驅(qū)動(dòng)的方法

當(dāng)成像的模型已知時(shí)，可將其融入深度學(xué)習(xí)算法中，從而聯(lián)合使用物理先驗(yàn)和數(shù)據(jù)先驗(yàn)。一些聯(lián)合驅(qū)動(dòng)方法將數(shù)據(jù)預(yù)訓(xùn)練網(wǎng)絡(luò)作為模型驅(qū)動(dòng)優(yōu)化算法的正則項(xiàng)，包括基于生成網(wǎng)絡(luò)引入數(shù)據(jù)分布先驗(yàn)（僅在該分布下迭代尋優(yōu)）、基于去噪網(wǎng)絡(luò)對(duì)迭代搜索結(jié)果進(jìn)行約束等；也可直接使用模型對(duì)數(shù)據(jù)預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行微調(diào)，此時(shí)網(wǎng)絡(luò)可快速輸出重構(gòu)結(jié)果，若其中出現(xiàn)偽影，再通過(guò)模型驅(qū)動(dòng)的方式微調(diào)網(wǎng)絡(luò)參數(shù)，兼顧數(shù)據(jù)驅(qū)動(dòng)方法的時(shí)效性和模型驅(qū)動(dòng)優(yōu)化算法的普適性[4]。這類方法通過(guò)協(xié)同使用模型與數(shù)據(jù)，有望解決傳統(tǒng)模型驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)方法的瓶頸問(wèn)題，從而促進(jìn)計(jì)算光學(xué)成像技術(shù)的實(shí)際應(yīng)用。

4、光學(xué)神經(jīng)網(wǎng)絡(luò)方法

此前介紹的重構(gòu)算法都是對(duì)數(shù)字信號(hào)進(jìn)行處理，而基于光學(xué)重構(gòu)的方法可直接處理模擬信號(hào)。該方法首先通過(guò)數(shù)字計(jì)算獲得用于處理模擬信號(hào)的光學(xué)模型（如光神經(jīng)網(wǎng)絡(luò)），然后定制加工實(shí)體，再將其置于成像系統(tǒng)中處理光信號(hào)，從而獲得成像結(jié)果。這種基于先數(shù)字設(shè)計(jì)再光學(xué)處理的方法將圖像重構(gòu)速度提升至光速，且在重構(gòu)過(guò)程不需要使用計(jì)算機(jī)，具有低功耗的特點(diǎn)[5]。

Part.5、若干典型的計(jì)算光學(xué)成像技術(shù)

下面，我們將列舉若干典型的計(jì)算光學(xué)成像技術(shù)。

1、透過(guò)散射介質(zhì)成像

傳統(tǒng)成像利用透鏡將物點(diǎn)發(fā)出的光再次匯聚為像點(diǎn)，然而當(dāng)成像路徑上存在云、霧、煙、塵、霾、生物組織等隨機(jī)散射介質(zhì)時(shí)，由于光波前因散射而擾亂，傳統(tǒng)的光學(xué)成像方法難以應(yīng)對(duì)。計(jì)算光學(xué)成像技術(shù)為解決這一難題提供了若干新思路，可以通過(guò)波前編碼、數(shù)字全息、散斑的記憶效應(yīng)、深度學(xué)習(xí)等方法實(shí)現(xiàn)透過(guò)散射介質(zhì)成像（圖3）。

圖3.透過(guò)散射介質(zhì)成像的若干典型方法[6]

2、三維成像

我們生活在三維世界中，而傳統(tǒng)成像會(huì)將場(chǎng)景中不同深度的圖像耦合到一幅二維平面圖像中，丟失了物體距離觀測(cè)面的距離即深度信息（圖4）。三維成像技術(shù)通過(guò)設(shè)計(jì)主動(dòng)（如結(jié)構(gòu)光照明、激光雷達(dá)等）或被動(dòng)（如雙目視覺(jué)、編碼孔徑）的編碼方式，使得位于不同深度的物體具有不同的強(qiáng)度響應(yīng)，從而實(shí)現(xiàn)深度信息的獲取。該技術(shù)在自動(dòng)駕駛、遙感等領(lǐng)域具有廣泛的應(yīng)用前景。

3、多光譜成像

物質(zhì)在不同波段下的響應(yīng)能夠很好的表征其屬性，就像指紋一樣。傳統(tǒng)彩色相機(jī)只能獲得幾個(gè)譜段耦合的圖像，因而無(wú)法準(zhǔn)確獲得物質(zhì)的光譜特征。傳統(tǒng)光譜儀需要進(jìn)行逐點(diǎn)掃描，其信息獲取效率受到了極大地限制。光譜成像技術(shù)通過(guò)棱鏡分光和孔徑編碼，對(duì)不同波段的信息進(jìn)行編碼，然后利用重構(gòu)算法解算不同光譜通道的結(jié)構(gòu)信息，能夠通過(guò)單次曝光就能實(shí)現(xiàn)多譜段圖像重建。

圖5. RGB圖像與多光譜圖像[8]

4、無(wú)透鏡成像

透鏡是傳統(tǒng)成像系統(tǒng)中的基本元件，是導(dǎo)致單反相機(jī)笨重且昂貴、手機(jī)攝像頭凸起的“罪魁禍?zhǔn)住?。無(wú)透鏡成像技術(shù)通過(guò)使用非常規(guī)“透鏡”（也可直接空間自由傳播），如菲涅爾波帶片、優(yōu)化設(shè)計(jì)的透明薄片等，結(jié)合重構(gòu)算法，實(shí)現(xiàn)（逼近）復(fù)雜透鏡組方能實(shí)現(xiàn)的成像效果。該技術(shù)能夠大幅減少系統(tǒng)的空間體積和重量，對(duì)于實(shí)現(xiàn)商業(yè)產(chǎn)品的輕薄化具有重要意義。

5、單像素成像

傳統(tǒng)成像使用千萬(wàn)像素的面陣像感器對(duì)光場(chǎng)強(qiáng)度進(jìn)行采樣，此時(shí)攜帶物體信息的光被分到眾多像素單元，為保證成像質(zhì)量，往往需要保證較高的光照度。此外，由于工藝的限制，在一些特殊波段如X-ray、THz，人們難以制備高像素分辨的面陣像感器。單像素成像通過(guò)使用DMD、SLM、LED、旋轉(zhuǎn)的毛玻璃等調(diào)制器件實(shí)現(xiàn)多次二維空間圖像信息編碼，并使用僅具有單個(gè)像素的探測(cè)器獲得一維時(shí)序光強(qiáng)漲落信號(hào)，然后利用算法重構(gòu)獲得二維圖像。由于所有光子都被一個(gè)像素收集且單個(gè)像素的探測(cè)器容易制備，單像素成像具有探測(cè)靈敏度高、適用于特殊波段成像的優(yōu)勢(shì)。

圖7. 面陣探測(cè)與單像素探測(cè)[10]

Part.6、結(jié)束語(yǔ)

計(jì)算光學(xué)成像新機(jī)制、新算法、新問(wèn)題不斷涌現(xiàn)，已然成為光學(xué)工程領(lǐng)域的一個(gè)熱門研究方向。國(guó)內(nèi)外從事相關(guān)研究的科研工作者越來(lái)越多，也正是在整個(gè)領(lǐng)域的推動(dòng)下，該方向正在逐步邁入實(shí)用化、智能化的發(fā)展階段。本文僅能如蜻蜓點(diǎn)水般交代其基本概念和內(nèi)涵，感興趣的讀者可以閱讀最近出版的一些中外文獻(xiàn)[3, 11,12]，以獲得對(duì)具體的專題更深入的了解。我們也相信在不久的將來(lái)，計(jì)算光學(xué)成像技術(shù)將在光信息感知問(wèn)題中廣泛應(yīng)用，并為科研、醫(yī)療、安防、工業(yè)、交通等領(lǐng)域帶來(lái)新的機(jī)遇。

審核編輯：郭婷