自動環(huán)繞相機(jī)校準(zhǔn)在自動駕駛汽車道路的應(yīng)用

作者：小張Tt?

本文介紹了一種用于道路場景中魯棒的自動多攝像頭校準(zhǔn)和修正的方法。該方法利用了從粗糙到精細(xì)的隨機(jī)搜索策略，可以解決初始外部參數(shù)的較大擾動，并彌補(bǔ)了非線性優(yōu)化方法陷入局部最優(yōu)值的缺陷。通過在實際和模擬環(huán)境中進(jìn)行的定量和定性實驗，結(jié)果表明所提出的方法可以實現(xiàn)準(zhǔn)確性和魯棒性的性能。

1 前言

本文提出了一種基于光度誤差的道路場景下全景相機(jī)外部參數(shù)校準(zhǔn)的全自動無目標(biāo)方法。該方法使用了從粗糙到精細(xì)的隨機(jī)搜索策略，可以適應(yīng)較大的初始外部參數(shù)誤差，同時避免了在非線性優(yōu)化方法中陷入最優(yōu)局部值的問題。在模擬和真實數(shù)據(jù)集上，該方法表現(xiàn)出有希望的性能。

作者的貢獻(xiàn)有三個方面:

提出了一種全自動、無目標(biāo)的方法，基于道路場景下鳥瞰視圖中重疊區(qū)域的光度誤差來進(jìn)行全景相機(jī)外部參數(shù)校準(zhǔn)。

使用了從粗糙到精細(xì)的隨機(jī)搜索策略，可以適應(yīng)較大的初始外部參數(shù)誤差。同時，避免了在非線性優(yōu)化方法中陷入最優(yōu)局部值的問題。

所提出的方法在作者的模擬和真實數(shù)據(jù)集上表現(xiàn)出有希望的性能；同時，基于分析，作者開發(fā)了一款實用的校準(zhǔn)軟件，并在GitHub上開源，以造福社區(qū)。

2 相關(guān)工作

車道線基于的方法依賴于捕捉到兩條平行車道線，而基于里程計的方法將校準(zhǔn)問題納入到視覺里程計或完整SLAM系統(tǒng)的優(yōu)化中。基于光度的方法采用直接圖像對齊的方法，利用局部亮度來確定優(yōu)化步驟。這些方法都存在一些局限性和缺點，例如強(qiáng)依賴平行車道線的方法對SVS情況不適用，而基于里程計的方法需要大量時間和計算資源?；诠舛鹊姆椒m能在稀疏紋理場景下表現(xiàn)出更好的魯棒性，但仍然基于非線性優(yōu)化方法，不能解決較大的干擾。因此，需要進(jìn)一步研究基于SVS的在線校準(zhǔn)方法，以克服上述方法的局限性并提高校準(zhǔn)的魯棒性和效率。

3 ?方法

本節(jié)介紹了作者方法的細(xì)節(jié)，包括紋理關(guān)鍵點提取、優(yōu)化損失和從粗到細(xì)的解決方案。

3.1. Texture points extraction and optimization loss —— 紋理點提取和優(yōu)化損失

本節(jié)將討論如何生成BEV圖像、提取紋理、將紋理像素投射回原始點云，并優(yōu)化損失函數(shù)。

投射模型本節(jié)介紹了如何基于相機(jī)投影模型生成BEV圖像，并從中提取紋理，然后將紋理像素投影回原始點云，并使用損失優(yōu)化方法。投影模型利用相機(jī)的姿態(tài)和內(nèi)參矩陣，將地面坐標(biāo)系的點投影到相機(jī)圖像平面上。然后，將BEV圖像的坐標(biāo)反投影回相機(jī)坐標(biāo)系，以獲得原始相機(jī)圖像上點的坐標(biāo)。最后，通過對映射關(guān)系的應(yīng)用，可以得到每個相機(jī)視角的BEV圖像。

2）紋理點提取

本節(jié)介紹了紋理點提取的方法。根據(jù)相鄰相機(jī)的公共視野，利用多視角幾何先驗知識和初始校準(zhǔn)參數(shù)，將一個相機(jī)的BEV紋理像素投影回另一個相機(jī)的圖像，并通過計算光度損失對其進(jìn)行優(yōu)化，使得兩個相機(jī)的BEV紋理位置重疊。在公共視野區(qū)域，通過計算像素的光度梯度，并與閾值進(jìn)行比較，可以提取紋理像素點。此外，如果相鄰相機(jī)具有不同的曝光條件，需要進(jìn)行處理。

3）計算光度損失

本節(jié)介紹了如何計算光度損失。首先，將相機(jī)的BEV紋理像素點投影到相機(jī)的圖像上，得到對應(yīng)的像素點，并計算這兩個相機(jī)視圖之間的光度損失。光度損失衡量了相機(jī)的BEV圖像和相機(jī)圖像之間的差異。通過將方程展開，可以得到光度損失的計算公式。

通過結(jié)合位姿和相機(jī)投影方程將公式進(jìn)一步展開。

3.2. The coarse-to-fine solution —— 由粗到細(xì)的解決方案

本文介紹了一種旨在生成無縫車輛環(huán)視圖像的校準(zhǔn)方法。首先利用前視攝像頭通過消失點和水平線校準(zhǔn)相機(jī)到車體的外參。然后通過遞歸優(yōu)化相鄰攝像頭的光度損失來優(yōu)化所有其他攝像頭的外參。由于光度損失優(yōu)化的圖像對齊問題是非凸優(yōu)化問題，很難通過凸優(yōu)化技術(shù)進(jìn)行優(yōu)化，因此需要提供合理而穩(wěn)健的初始外參估計。為此，本文采用了粗到精的隨機(jī)搜索策略，通過在當(dāng)前最優(yōu)參數(shù)周圍隨機(jī)搜索參數(shù)空間來優(yōu)化光度損失。該策略類似于非線性優(yōu)化中的梯度下降方法，但可以避免陷入局部最優(yōu)值。在每個階段的隨機(jī)搜索中，通過計算光度損失來評估當(dāng)前姿態(tài)的效果，并根據(jù)評估結(jié)果更新最優(yōu)姿態(tài)。通過多輪隨機(jī)搜索，可以得到相對最優(yōu)的姿態(tài)，從而生成具有較小光度損失的車輛環(huán)視圖像。

4 實驗

本文的實驗部分分為真實實驗和模擬實驗兩個部分。真實實驗在作者的無人駕駛車輛測試平臺上進(jìn)行，而模擬實驗基于Carla引擎進(jìn)行。這樣的設(shè)計使得作者能夠在真實環(huán)境和虛擬環(huán)境下對所提出的方法進(jìn)行全面的測試和評估。

4.1. 實驗設(shè)置

本文的實驗部分介紹了機(jī)器配置和數(shù)據(jù)集的設(shè)置。作者的算法在Ubuntu操作系統(tǒng)上執(zhí)行，使用了特定配置的處理器。實驗使用了Carla模擬數(shù)據(jù)和真實世界的魚眼攝像頭數(shù)據(jù)。為了去除自車占據(jù)的區(qū)域，作者使用了ROI對BEV圖進(jìn)行濾波處理。這樣的實驗設(shè)置可以幫助作者評估和驗證算法的性能和效果。

4.2. 定性結(jié)果

作者的方法通過校準(zhǔn)內(nèi)參和外參參數(shù)，將四個相機(jī)投影到BEV中，以更好地可視化性能。圖5展示了針孔相機(jī)的結(jié)果，而圖6和圖7則展示了魚眼相機(jī)校準(zhǔn)前后的結(jié)果。

?

?

4.3. 定量結(jié)果

本研究通過與現(xiàn)有工作進(jìn)行比較，證明了作者的校準(zhǔn)方法在環(huán)景視圖系統(tǒng)在線外參校正問題上具有較高的精度。在初始誤差超過0.3°后，有些的方法無法繼續(xù)校準(zhǔn)，而作者的方法仍然能夠獲得更好的結(jié)果。作者的校準(zhǔn)算法能夠?qū)⒊跏颊`差控制在3°范圍內(nèi)。

5 總結(jié)

本研究中，作者通過采用分級粗到細(xì)的隨機(jī)搜索方法來解決了環(huán)景視圖相機(jī)的在線校準(zhǔn)問題，并克服了傳統(tǒng)特征或直接方法的一些局限性。作者的方法在處理失真和非線性優(yōu)化問題時表現(xiàn)良好，并且能夠有效處理較大的初始誤差。未來的研究方向包括優(yōu)化算法的實時性能，并在紋理不明顯的環(huán)境中進(jìn)一步提升算法性能。

編輯：黃飛

?