魚眼相機的成像原理與成像模型解析

“800萬像素”，“250m測距能力”等字眼頻繁出現(xiàn)在自動駕駛相關(guān)的宣傳報道中，這源于自動駕駛對感知能力“更遠、更強”的不懈追求。車上不裝十幾個攝像頭，主機廠市場部小姐姐都沒底氣宣傳新車具備真正的高級輔助駕駛功能。而按照這種硬件堆疊的思路，在走到了自動駕駛量產(chǎn)落地的那一刻，平平無奇的車身不知道會不會更名為“攝像頭車身”。

電子電氣架構(gòu)的分久必合，正在將車內(nèi)幾十個ECU往融合為個位數(shù)的域控制器方向發(fā)展，直至最終演變?yōu)橐粌蓚€高性能計算單元。而智駕域內(nèi)的傳感器大佬闊太太們，雖仍處在數(shù)量和性能同時無序增長的階段，但在可預見的時間節(jié)點，也終將走向融合與集中的發(fā)展道路。

對于相機一類傳感器來說，如果視場角足夠大，感知距離也在場景的需求范圍內(nèi)，那么再搭配上訓練有素的感知算法，勢必將大大減少此種場景下相機的需求數(shù)量，同步提高獲取感知關(guān)聯(lián)數(shù)據(jù)的能力。而可能具有此種潛質(zhì)的選手，便是魚眼相機，一種已經(jīng)在環(huán)視和泊車場景中成熟應用，并在ADAS場景中嶄露頭角的希望之星。

在環(huán)視場景中，魚眼相機通過將大角度范圍（180°）內(nèi)的光線，進行壓縮、扭曲之后提供大角度范圍內(nèi)車輛周邊環(huán)境數(shù)據(jù)，并通過將多個相機圖像的拼接，去扭和變形之后實現(xiàn)低速場景下非常實用的360°全景影像功能。而在泊車場景下，通過和超聲波雷達融合，完成對停車線的識別，障礙物的檢測，從而實現(xiàn)不同等級的泊車功能。

伴隨著魚眼相機自身內(nèi)力的提升（支持光流及多目標檢測等）、針對魚眼相機感知算法的突破，以及自動駕駛到了拼價格刺刀的時候，魚眼相機有希望迎來在自動駕駛舞臺上的“鯉魚躍龍門”時刻。自動駕駛?cè)谠挼诙?，延續(xù)作者以往的風格，選取當前平平無奇，但有希望在未來一鳴驚人的魚眼相機來進行一番吹噓。

成像原理

在前面介紹單目相機和雙目相機的文章中，我們了解到這兩位仁兄都是基于透鏡成像原理工作的。在對相機建模時，通常使用形象通俗的小孔成像模型進行描述。 在小孔成像模型中，遵循相似成像準則。物體在經(jīng)過射影變換之后成的像，保持了絕大部分幾何性質(zhì)不變。比如直線經(jīng)過變換之后仍是直線，曲線經(jīng)過變換之后仍是曲線，兩線交點變換過來后仍是兩線交點等等。而由于透鏡制造工藝誤差等原因引入的圖像畸變，我們總是想方設(shè)法校正掉。


另一方面，在小孔成像模型中，如果焦距一定，那么圖像傳感器像素平面的面積直接決定了相機視場角的大小，超過這個視場角范圍的物體不會被鏡頭獲取到。因此基于透鏡成像原理的相機，視場角無法做到足夠大，水平視場角一般小于140°。

但是在一些領(lǐng)域，比如氣象科學（這也是魚眼相機誕生的地方），科技工作者需要對天空天象變化進行觀測，需要有一種相機能將整個半球形天空一次性拍攝下來。而在安防監(jiān)控領(lǐng)域，安保團隊期望有一種相機能從俯視角度一次性拍攝整個監(jiān)控區(qū)域。而為了實現(xiàn)這些目的，就需要相機具有水平180°甚至更大的視場角能力。

就在科研人員陷入苦苦思索的時候，這個時候仿生學義無反顧站了出來?？茖W家們發(fā)現(xiàn)魚的眼睛在往上看的時候，可以看到水面上整個半球形空間。細究原因，科學家發(fā)現(xiàn)由于水的折射率比空氣大，光線由空氣進入水中后會發(fā)生折射，且折射角比入射角要小。同時隨著入射角增加，折射角變小的程度也增加?；谶@個特性，水面上180°半球形空間的物體就可以被扭曲、壓縮到一個有限的成像平面上。



光學上有一個專業(yè)的術(shù)語來描述這種現(xiàn)象，叫“斯內(nèi)爾窗”。斯內(nèi)爾窗更準確的描述為：從水下往上看，180°的視角會被壓成96°的光錐。受此現(xiàn)象啟發(fā)，人們發(fā)明了魚眼鏡頭，一種利用光的折射規(guī)律可以將很大范圍內(nèi)光線進行壓縮和扭曲到一個相對較小空間內(nèi)的鏡頭，從而可以被后面相機圖像傳感器記錄下來，后續(xù)再通過去畸變，還原真實的圖像比例。

魚眼鏡頭設(shè)計的中心思想就是：擁有更大的球面弧度（超廣角），成像平面離透鏡更近（短焦距）。魚眼鏡頭視場角可以達到或者超過180°，因其視角超大，最終成像會有非常大的桶形畸變。魚眼鏡頭一般是由十幾個不同的透鏡組合而成，最前面的幾個透鏡直徑短且呈拋物狀，朝鏡頭前部凸出，主要負責折射，使入射角減小。其余的鏡頭相當于一個成像鏡頭。





所以，魚眼相機是源于斯內(nèi)爾現(xiàn)象而發(fā)明出來的。但在魚眼鏡頭被設(shè)計出來后，人們發(fā)現(xiàn)極凸的造型非常像魚的眼睛。漸漸地，大家一聽到魚眼相機、魚眼鏡頭都以為是仿照魚的眼睛而設(shè)計的，可以說是一個美麗的巧合。

成像模型

前文提到，普通單目/雙目相機成像遵循的是相似成像準則，真實世界中的直線仍被投影為圖像平面上的直線。而魚眼相機為了將盡可能大的真實世界投影到有限的成像平面內(nèi)，魚眼相機允許了畸變的存在，遵循的是非相似成像準則。

在研究魚眼相機成像模型時，一般分解為兩個步驟。第一個步驟，將真實世界中的點投影到一個虛擬單位半球面上（如下圖中的w點投影到q點），球心與魚眼鏡頭坐標系的原點重合；第二個步驟，將單位半球面上的點投影到相機成像平面上，這是一個非線性過程（如下圖q點到rd點）。






從相機成像模型示意圖可以看到，由于單位半球面上的q點投影到相機成像平面上的rd點是一個非線性過程，折射角θd小于入射角θ。而投影模型要表征的就是成像平面的像高rd和入射角θ之間的映射關(guān)系。前人在不斷失敗試錯中，總結(jié)出了幾種投影模型，每種投影模型均對應一種魚眼鏡頭類型。常用的投影模型有四種，分別是等距投影模型、等立體角投影模型、體視投影模型和正交投影模型。

和小孔成像模型一樣，為了便于數(shù)學分析，在投影模型中我們將成像平面對稱到鏡頭坐標系上方區(qū)域。在下文介紹中，f為魚眼相機的焦距，θ為物體在空間中與光軸所成的入射角，rd為成像點到成像平面中心的成像高度。

（1）等距投影模型。

這是最簡單的一種投影模型，成像點到成像平面中心的成像高度rd與入射角度θ成正比，這個比例系數(shù)就是鏡頭焦距f，用公式表達即為 rd=f*θ。在這種投影模型中，入射光線之間的角度相同時，保持其對應各投影點之間的間距相同，這也是這個投影模型名稱的來源。同時這種模型還可以解決在小孔成像下入射角90°時圖像無限拉伸的問題?；兞窟m中，在工程領(lǐng)域被廣泛應用。



（2）等立體角投影模型。

這是魚眼相機常用的一種投影模型，從名字就能領(lǐng)會此種投影模型真諦的一二。在虛擬單位半球形面上兩個相等立體角的入射面，在成像平面上的兩個像的面積相同。用公式表達為rd=2f*sin(θ/2)。



（3）體視投影模型。

這是一種保角不變投影模型，球形物面上的微小面元經(jīng)過體視投影后，其像仍然是一個小圓。因此這種投影模型對微小物體成像具有相似性。但是相似性帶來視場角不足的影響。用公式表示為rd=2f*tan(θ/2)。



（4）正交投影模型。

這種投影方式帶來的畸變最大，對邊緣物體壓縮最厲害近180°處的圖像信息幾乎全部丟失，且無法對180°以外的場景區(qū)域進行描述，因此實際上很少使用。但這種投影模型不會產(chǎn)生透射映射的近大遠小結(jié)果。用公式表達就是rd=f*sin(θ)。




畸變校正

對于相機類傳感器來說，畸變是必然存在的。而畸變校正就是尋找一個重映射矩陣來將原始圖像中的部分像素點或插值點進行重新排列。當然，不同的需求往往對應不同的畸變校正方案。 對于單目相機來說，為了得到相機像素坐標系和三維世界坐標系的對應關(guān)系，我們需要對相機的桶形畸變和枕形畸變進行矯正。而對于雙目相機來說，為了做極線對齊，實現(xiàn)深度估計。我們需要將兩個相機，輸出變換到同一個坐標系下。張正友老師的棋盤標定法是目前上述兩類相機，矯正效果最好的方法。

而對于魚眼相機來說，徑向畸變太為嚴重，以至于我們都可以忽略其他方向的畸變。棋盤標定法、橫向展開法、經(jīng)緯度法是魚眼相機常用的三種畸變校正方法。棋盤標定法只能校正魚眼圖像中間的一部分，靠近圓周的區(qū)域會被拉伸的很嚴重導致視覺效果變差。所以棋盤標定法一般用作簡單測量或圖像拼接的前置任務(wù)。

橫向展開法將俯視視角變?yōu)檎曇暯?，因此可以根?jù)區(qū)域功能，進行切片，再用普通視角的檢測模型，做后續(xù)任務(wù)。但是缺點也一目了然，比如展開圖的左右兩側(cè)，在真實世界中應該是連通的。所以當有目標在魚眼圖中穿過分界線時，在展開圖中該目標會從左側(cè)消失，右側(cè)出現(xiàn)（或者倒過來），看起來不是很自然。

經(jīng)緯度法包含經(jīng)度和緯度兩個方面，對經(jīng)度進行校正時，只對豎直方向進行了校正，水平方向依然是扭曲的。而對緯度進行校正時，水平方向可實現(xiàn)較好的校正，但豎直方向依然是扭曲的。這種方法可謂是魚和熊掌不可兼得。

行業(yè)進展

2020年，華為推出的800萬像素超級魚眼攝像頭，采用自主視覺算法+玻璃模壓非均勻鏡頭，相比市面上200萬像素魚眼攝像頭，檢測距離翻倍、分辨率更高。官方宣稱，4個超級魚眼攝像頭，可以替代傳統(tǒng)4個側(cè)視+4個環(huán)視的高階360度感知方案，支持大FOV視角以及80米的環(huán)視檢測距離。

2021年7月，三星發(fā)布適用于車載環(huán)視系統(tǒng)或后視攝像頭的專用圖像傳感器ISOCELL Auto 4AC。該款圖像傳感器采用1/3.7英寸感光面積，120萬像素分辨率(1280x960) ，3.0μm像素尺寸，并內(nèi)置ISP圖像處理功能，可輸出YUV422，RGB888，RGB565圖像數(shù)據(jù)。同時支持120分貝高動態(tài)范圍圖像，支持發(fā)光二極管閃爍抑制功能，可為自動駕駛系統(tǒng)辨識車燈、交通信號燈提供更加準確的數(shù)據(jù)。

2021年11月，法雷奧公司發(fā)布了世界上第一個面向量產(chǎn)的魚眼相機開源數(shù)據(jù)集WoodScape，整個數(shù)據(jù)集含10000多張圖片，旨在通過提供足夠的相關(guān)數(shù)據(jù)，推動適應自動駕駛行車和泊車領(lǐng)域的魚眼相機視覺算法的深度開發(fā)，而不再停留在傳統(tǒng)的校正算法。

數(shù)據(jù)集是由幾輛法雷奧汽車在歐洲不同地理位置拍攝，每輛車上配備了四個魚眼相機，每個魚眼相機提供100萬像素24位分辨率，30幀/秒的圖像數(shù)據(jù)。數(shù)據(jù)集經(jīng)過人工標注后可用于語義分割、深度估計、2D物體檢測、視覺測距、運動分割、污垢檢測以及端到端駕駛等任務(wù)訓練。

小結(jié)

未來，伴隨著魚眼相機在像素、視場角、感知距離等性能參數(shù)方面的不斷突破，我相信沒有廠家愿意拒絕由此帶來的硬件成本較低和算力資源需求降低。魚眼相機在高速場景的江湖地位還不可預測，但在低速場景的領(lǐng)導能力，已經(jīng)開始凸顯。

審核編輯：劉清