近日,浙江大學(xué)光電科學(xué)與工程學(xué)院的鄭臻榮教授團(tuán)隊(duì)與南京大學(xué)現(xiàn)代工程與應(yīng)用科學(xué)學(xué)院徐挺教授團(tuán)隊(duì)合作,在計(jì)算光譜成像領(lǐng)域取得新進(jìn)展:提出了基于偏振復(fù)用超構(gòu)透鏡的端到端計(jì)算光譜成像框架。該研究通過同時(shí)調(diào)制超構(gòu)透鏡的正交偏振通道,并與后端的神經(jīng)網(wǎng)絡(luò)一起聯(lián)合優(yōu)化,實(shí)現(xiàn)了高保真的光譜重建結(jié)果。這項(xiàng)技術(shù)的發(fā)展不僅打破了前端超構(gòu)透鏡和后端恢復(fù)網(wǎng)絡(luò)的傳統(tǒng)界限,更為光譜成像系統(tǒng)的小型化和性能提升帶來了新的希望。研究成果以“Neural-Optic Co-Designed Polarization-Multiplexed Metalens for Compact Computational Spectral Imaging”為題,于近期發(fā)表于光學(xué)知名期刊《Laser & Photonics Reviews》上。
在數(shù)據(jù)爆炸的今天,人類對(duì)視覺信息的需求不斷增長(zhǎng)。傳統(tǒng)RGB相機(jī)提供的2D圖像已無法滿足人們對(duì)細(xì)節(jié)的追求,而光譜成像技術(shù)能夠捕獲更全面的3D數(shù)據(jù)。隨著移動(dòng)設(shè)備和AR/VR技術(shù)的普及,人們對(duì)便攜式成像技術(shù)的需求日益增加。新一代平面光學(xué)元件——超構(gòu)透鏡,不僅能夠精確調(diào)控光的相位,還能同時(shí)調(diào)節(jié)光的振幅與偏振狀態(tài),為推動(dòng)光譜成像系統(tǒng)向小型化與高效化發(fā)展開辟了新路徑。
該工作提出了一種基于偏振復(fù)用超構(gòu)透鏡的計(jì)算光譜成像系統(tǒng)(圖1a)。該系統(tǒng)利用偏振復(fù)用的超構(gòu)透鏡對(duì)x和y偏振態(tài)下的光進(jìn)行獨(dú)立調(diào)制,將場(chǎng)景的光譜信息差異化地調(diào)制到商用偏振相機(jī)上。通過捕獲正交的x和y偏振狀態(tài)下的RGB圖像,再結(jié)合雙輸入的ResUNet神經(jīng)網(wǎng)絡(luò)進(jìn)行恢復(fù),實(shí)現(xiàn)了光譜圖像的精確重建。
圖1 基于偏振復(fù)用超構(gòu)透鏡的計(jì)算光譜成像示意圖(a)與流程圖(b)
整個(gè)框架(圖1b)主要包含超構(gòu)透鏡調(diào)制、成像模型和圖像恢復(fù)三大模塊,均采用可微分函數(shù)設(shè)計(jì),確保了整個(gè)計(jì)算光譜成像框架的完全可微分性,為光學(xué)元件與恢復(fù)網(wǎng)絡(luò)的聯(lián)合優(yōu)化奠定基礎(chǔ)。采用預(yù)訓(xùn)練的多層感知器(MLP)精確建立超構(gòu)透鏡單元結(jié)構(gòu)與復(fù)振幅響應(yīng)間的映射關(guān)系,結(jié)合菲涅爾衍射原理,推導(dǎo)出適用于偏振復(fù)用的點(diǎn)擴(kuò)散函數(shù)(PSFs)。通過這些PSFs與光譜圖像的卷積,得到特定偏振的光學(xué)響應(yīng)。接著,利用雙輸入神經(jīng)網(wǎng)絡(luò)將模糊的RGB圖像轉(zhuǎn)換回光譜域,并在反向傳播過程中對(duì)超構(gòu)透鏡和恢復(fù)網(wǎng)絡(luò)的參數(shù)進(jìn)行聯(lián)合優(yōu)化,以提高重建光譜圖像的準(zhǔn)確性。
該工作制作了樣機(jī)(圖2)對(duì)原理進(jìn)行驗(yàn)證,對(duì)真實(shí)場(chǎng)景進(jìn)行了高保真度的光譜圖像重建(圖3)。
圖2 加工的超構(gòu)透鏡樣機(jī)與測(cè)量的PSFs
圖3 真實(shí)場(chǎng)景的光譜圖像重建
本研究提出了一種全新的端到端計(jì)算光譜成像系統(tǒng),該系統(tǒng)巧妙利用了偏振復(fù)用超構(gòu)透鏡同步調(diào)制兩個(gè)正交偏振通道的光,輔以偏振相機(jī)捕獲更多編碼信息。利用端到端可微分框架,該系統(tǒng)對(duì)超構(gòu)透鏡和后端恢復(fù)網(wǎng)絡(luò)進(jìn)行了協(xié)同優(yōu)化,實(shí)現(xiàn)了高保真度的光譜成像。這一研究不僅加深了超構(gòu)透鏡與計(jì)算成像領(lǐng)域的融合,也預(yù)示著高性能光譜成像技術(shù)在小型化和性能提升方面的新突破。
浙江大學(xué)光電科學(xué)與工程學(xué)院博士生張強(qiáng)波和南京大學(xué)現(xiàn)代工程與應(yīng)用科學(xué)學(xué)院博士生林沛城為論文共同第一作者,浙江大學(xué)光電科學(xué)與工程學(xué)院鄭臻榮教授和南京大學(xué)現(xiàn)代工程與應(yīng)用科學(xué)學(xué)院徐挺教授為共同通訊作者。該研究得到了科技部重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金等支持。
論文鏈接:
https://doi.org/10.1002/lpor.202400187
審核編輯:劉清
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4722瀏覽量
100307 -
RGB
+關(guān)注
關(guān)注
4文章
794瀏覽量
58299 -
VR技術(shù)
+關(guān)注
關(guān)注
2文章
225瀏覽量
18698 -
光譜成像技術(shù)
+關(guān)注
關(guān)注
0文章
43瀏覽量
3945
原文標(biāo)題:基于偏振復(fù)用超構(gòu)透鏡的緊湊型光譜成像技術(shù)
文章出處:【微信號(hào):MEMSensor,微信公眾號(hào):MEMS】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論