利用光學(xué)超表面實(shí)現(xiàn)人眼的圖像處理能力

使用超表面的幾何圖像變換示意圖

在一個(gè)寒冷晴朗的日子里，你開車行駛在鄉(xiāng)村公路上，周圍是被雪覆蓋的田野。在一瞬間，你的眼睛會(huì)處理場(chǎng)景，挑選出單獨(dú)的物體來(lái)聚焦——一個(gè)停車標(biāo)志，一個(gè)谷倉(cāng)——而場(chǎng)景的其余部分則在外圍模糊。當(dāng)你坐在辦公桌前時(shí)，你的大腦將聚焦和模糊的圖像存儲(chǔ)為記憶，稍后可以在腦海中描繪出來(lái)。

賓夕法尼亞州立大學(xué)電氣工程研究人員模仿人眼的這種簡(jiǎn)單、即時(shí)的圖像處理能力，創(chuàng)造了一種超表面：一種類似于載玻片的光學(xué)元件，使用放置在不同角度的微小納米結(jié)構(gòu)來(lái)控制光。在通訊作者、賓夕法尼亞州立大學(xué)電氣工程與計(jì)算機(jī)科學(xué)Xingjie Ni副教授的帶領(lǐng)下，該團(tuán)隊(duì)在《自然·通訊》上發(fā)表了他們的研究成果。

研究人員表示，人工智能系統(tǒng)需要大量的計(jì)算能力和能量，處理圖像和識(shí)別物體的速度可能很慢。相比之下，超表面可以用于在圖像被相機(jī)捕捉之前對(duì)其進(jìn)行預(yù)處理和變換，從而使計(jì)算機(jī)和人工智能能夠以最小的功率和數(shù)據(jù)帶寬對(duì)其進(jìn)行處理。

超表面的工作原理是將圖像從笛卡爾坐標(biāo)系轉(zhuǎn)換為對(duì)數(shù)極坐標(biāo)系，笛卡爾坐標(biāo)系中圖像像素沿x和y軸排列成直線行和直線列，對(duì)數(shù)極坐標(biāo)系統(tǒng)使用類似牛眼的像素分布。

Xingjie Ni說(shuō)：“就像人眼內(nèi)部光受體的排列一樣，超表面拍攝圖像并將其排列在對(duì)數(shù)極坐標(biāo)系中——中心區(qū)域的像素密度更高，聚焦區(qū)域的像素更稀疏。這使得照片中更重要的部分能夠清晰地顯示出來(lái)，而其他部分則不那么聚焦，從而節(jié)省了數(shù)據(jù)帶寬?！?/p>

超表面被放置在相機(jī)前面，這樣光線首先穿過(guò)它，并將圖像從笛卡爾坐標(biāo)系轉(zhuǎn)換為對(duì)數(shù)極坐標(biāo)，然后由相機(jī)數(shù)字化并傳輸?shù)接?jì)算機(jī)。由于它使用彎曲光的納米結(jié)構(gòu)工作，因此超表面不需要任何功率，以光速工作。

Xingjie Ni說(shuō)：“由于物體的圖像可能在大小或方向上有所不同，因此需要對(duì)圖像進(jìn)行預(yù)處理，使其能夠抵抗縮放和旋轉(zhuǎn)的變化。這種預(yù)處理有助于人工智能應(yīng)用程序更容易地將它們識(shí)別為同一對(duì)象。”

通過(guò)在相機(jī)前放置不同的超表面，研究人員還可以將對(duì)數(shù)極坐標(biāo)圖像轉(zhuǎn)換回笛卡爾坐標(biāo)的原始圖像。

研究人員表示，這項(xiàng)發(fā)明有許多潛在的應(yīng)用，包括用于目標(biāo)跟蹤和監(jiān)視，例如繪制汽車如何在城市中行駛的地圖。

Xingjie Ni說(shuō)：“超表面可以與人工智能系統(tǒng)協(xié)同使用作為預(yù)處理器，從而更容易從多個(gè)街景攝像頭中識(shí)別同一輛車?；蛘撸绻麑⑵鋺?yīng)用于衛(wèi)星，它可能會(huì)跟蹤飛機(jī)從起飛到降落的過(guò)程。”

審核編輯 黃宇