?綜述導(dǎo)讀：深度學(xué)習(xí)驅(qū)動(dòng)下的相機(jī)標(biāo)定技術(shù)

相機(jī)標(biāo)定在計(jì)算機(jī)視覺和機(jī)器人等領(lǐng)域中占據(jù)舉足輕重的地位，它為后續(xù)場景理解及決策推斷提供了標(biāo)準(zhǔn)化的成像空間和精準(zhǔn)的幾何先驗(yàn)。然而，傳統(tǒng)的相機(jī)標(biāo)定技術(shù)常常依賴于繁瑣的人工干預(yù)和特定的場景假設(shè)，因此難以靈活拓展至不同的相機(jī)模型和標(biāo)定場景。近年來，基于深度學(xué)習(xí)的解決方案展現(xiàn)出代替手動(dòng)操作、擺脫場景假設(shè)的潛力，實(shí)現(xiàn)了全自動(dòng)化的相機(jī)標(biāo)定技術(shù)。在這些方案中，各種各樣的學(xué)習(xí)機(jī)制、網(wǎng)絡(luò)架構(gòu)、先驗(yàn)知識、優(yōu)化函數(shù)、數(shù)據(jù)集等方面均得到了廣泛的研究。

論文鏈接： https://arxiv.org/pdf/2303.10559.pdf 本綜述總結(jié)的方法細(xì)節(jié)、數(shù)據(jù)集和構(gòu)建的評測基準(zhǔn)已在線公開并將定期更新，詳情請見： https://github.com/KangLiao929/Awesome-Deep-Camera-Calibration

本綜述首次系統(tǒng)性地概述了深度學(xué)習(xí)驅(qū)動(dòng)下的相機(jī)標(biāo)定技術(shù)，涵蓋了深度學(xué)習(xí)時(shí)代以來（8年時(shí)間跨度）各類相機(jī)模型標(biāo)定及其應(yīng)用的最新研究進(jìn)展。主要探索的標(biāo)定類別包括標(biāo)準(zhǔn)針孔相機(jī)模型、畸變相機(jī)模型、跨視角模型和跨傳感器模型等。該路線緊密契合了基于深度學(xué)習(xí)的相機(jī)標(biāo)定的研究趨勢和實(shí)際市場需求。在每個(gè)類別中，相應(yīng)技術(shù)發(fā)展的貢獻(xiàn)點(diǎn)、優(yōu)勢、局限性得到了充分論述，具體的未來研究技術(shù)點(diǎn)也進(jìn)行了一定展望。此外，本文還整合、構(gòu)建了一個(gè)公開且全面的評測基準(zhǔn)數(shù)據(jù)集，可作為開放平臺用于不同研究方法的性能評測。該數(shù)據(jù)集包括了不同仿真環(huán)境下生成的合成數(shù)據(jù)，以及不同場景下由各類真實(shí)相機(jī)采集到的圖像和視頻序列。每一個(gè)數(shù)據(jù)樣本均提供了準(zhǔn)確的標(biāo)定結(jié)果、相機(jī)參數(shù)、或視覺線索。最后，我們討論了整個(gè)基于深度學(xué)習(xí)的相機(jī)標(biāo)定領(lǐng)域仍然存在的挑戰(zhàn)以及未來可能的研究方向。

一、相機(jī)模型及標(biāo)定目標(biāo)

相機(jī)模型描述了從三維世界坐標(biāo)中的點(diǎn)到其在二維圖像平面上投影的成像過程。其中，不同的相機(jī)和傳感器系統(tǒng)對應(yīng)不同類型的參數(shù)模型。在本綜述中，我們首先回顧了標(biāo)準(zhǔn)的針孔相機(jī)模型涉及的內(nèi)外相機(jī)參數(shù)以及幾何表征。隨后，我們根據(jù)基于深度學(xué)習(xí)的相機(jī)標(biāo)定技術(shù)發(fā)展和市場需求回顧了更加復(fù)雜的模型，如廣角/魚眼相機(jī)模型、卷簾門模型、跨視角模型和相機(jī)-雷達(dá)聯(lián)合模型。特別地，考慮到傳統(tǒng)相機(jī)標(biāo)定中部分標(biāo)定目標(biāo)的隱式性和異質(zhì)性，我們還歸納總結(jié)了該領(lǐng)域利于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的新標(biāo)定目標(biāo)。這些新目標(biāo)能夠加速訓(xùn)練損失收斂并有助于提高標(biāo)定性能。更多細(xì)節(jié)詳見本綜述補(bǔ)充材料的第二部分。

本綜述涵蓋了目前市場主流的相機(jī)模型、標(biāo)定目標(biāo)及其拓展應(yīng)用

二、基于深度學(xué)習(xí)的相機(jī)標(biāo)定范式及策略

在工業(yè)界和學(xué)術(shù)界中，有一些標(biāo)準(zhǔn)的相機(jī)標(biāo)定技術(shù)可供選擇（如OpenCV、Kalibr），因此這個(gè)過程通常在計(jì)算機(jī)視覺的最新發(fā)展中被忽視。然而，使用傳統(tǒng)方法對單個(gè)或自然圖像和序列（in the wild）進(jìn)行標(biāo)定仍然極具挑戰(zhàn)，特別是當(dāng)待標(biāo)定數(shù)據(jù)來自互聯(lián)網(wǎng)或未知的相機(jī)模型。近年來，深度學(xué)習(xí)為相機(jī)標(biāo)定技術(shù)帶來了新的靈感，實(shí)現(xiàn)了無需人工干預(yù)的全自動(dòng)標(biāo)定過程。本綜述首先從學(xué)習(xí)范式和學(xué)習(xí)策略這兩個(gè)方面對基于深度學(xué)習(xí)的相機(jī)標(biāo)定進(jìn)行分類總結(jié)。

學(xué)習(xí)范式

受不同神經(jīng)網(wǎng)絡(luò)架構(gòu)的啟發(fā)，研究人員開發(fā)出了兩種主流的深度學(xué)習(xí)相機(jī)標(biāo)定范式。

第一種稱為回歸范式，使用具有卷積和全連接層的神經(jīng)網(wǎng)絡(luò)從輸入中回歸標(biāo)定目標(biāo)。隨后，回歸得到的相機(jī)參數(shù)用于進(jìn)行后續(xù)任務(wù)，如畸變矯正、相機(jī)定位、三維重建等。這種學(xué)習(xí)范式在該領(lǐng)域內(nèi)最早得到研究，各類標(biāo)定模型的第一個(gè)深度學(xué)習(xí)工作均屬于回歸范式，如內(nèi)參標(biāo)定（Deepfocal[21]），外參標(biāo)定（PoseNet[22]），廣角相機(jī)標(biāo)定（Rong[23]），卷簾門標(biāo)定（URS-CNN[23]），相機(jī)-雷達(dá)聯(lián)合標(biāo)定（RegNet[27]）等。

第二種稱為重建范式，它拋棄了傳統(tǒng)的參數(shù)回歸思想，使用全卷積網(wǎng)絡(luò)直接從初始輸入學(xué)習(xí)像素級的映射函數(shù)，將待標(biāo)定域映射到標(biāo)定域上。這種方式專注于像素級重建并與后續(xù)任務(wù)聯(lián)合學(xué)習(xí)，可以實(shí)現(xiàn)無參數(shù)、一階段標(biāo)定。該范式下經(jīng)典的標(biāo)定算法有：針孔相機(jī)（MisCaliDet[108]），廣角相機(jī)（DR-GAN[31]），卷簾門模型（DeepUnrollNet[46]），相機(jī)-雷達(dá)模型（CFNet[153]）等。

學(xué)習(xí)策略

在基于深度學(xué)習(xí)的相機(jī)標(biāo)定發(fā)展中，多種學(xué)習(xí)策略得以探索，其中有監(jiān)督學(xué)習(xí)占絕大多數(shù)（超過90%）?？紤]到標(biāo)記工作費(fèi)時(shí)費(fèi)力，越來越多的研究者探索使用半監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)來降低神經(jīng)網(wǎng)絡(luò)對參數(shù)標(biāo)簽的訓(xùn)練需求。這些學(xué)習(xí)策略的研究重心也從數(shù)據(jù)量、網(wǎng)絡(luò)層數(shù)的堆疊等逐漸轉(zhuǎn)變?yōu)閷?shù)據(jù)本身先驗(yàn)知識的挖掘。

在相機(jī)標(biāo)定技術(shù)中，幾何先驗(yàn)具有高效利用數(shù)據(jù)的特點(diǎn)，因?yàn)樗鼈兿藦臄?shù)據(jù)中學(xué)習(xí)這些信息的必要性，這使得網(wǎng)絡(luò)框架易于解釋，并且更好地適用于相近的數(shù)據(jù)分布。此外，強(qiáng)化學(xué)習(xí)也被用于動(dòng)態(tài)解決相機(jī)標(biāo)定問題。我們注意到，該領(lǐng)域仍然有很多學(xué)習(xí)策略尚未被開發(fā)研究，如主動(dòng)學(xué)習(xí)、少樣本學(xué)習(xí)、零樣本學(xué)習(xí)等。這些學(xué)習(xí)策略可以進(jìn)一步提高標(biāo)定算法的效率和魯棒性，從而擴(kuò)展相機(jī)標(biāo)定的應(yīng)用場景，例如在醫(yī)療圖像處理、軍事偵察和自動(dòng)駕駛等領(lǐng)域。

三、具體研究進(jìn)展及討論

本綜述的結(jié)構(gòu)和層次分類如下圖所示，其中每個(gè)部分對應(yīng)標(biāo)定不同的相機(jī)模型或拓展模型的研究進(jìn)展。在第三章中，我們介紹了標(biāo)準(zhǔn)針孔相機(jī)標(biāo)定，其中按標(biāo)定目標(biāo)分為內(nèi)參標(biāo)定、外參標(biāo)定、內(nèi)外參聯(lián)合標(biāo)定。在第四章中，我們介紹了畸變相機(jī)模型標(biāo)定，其中按畸變類型分為徑向畸變和卷簾門畸變。對于徑向畸變，我們按學(xué)習(xí)范式進(jìn)行分類概述；對于卷簾門畸變，我們按數(shù)據(jù)類型進(jìn)行逐一分析。在第五章中，我們介紹了跨視角模型應(yīng)用，其中按算法流程分為直接方案、級聯(lián)方案和迭代方案。在第六章中，我們介紹了跨傳感器模型標(biāo)定，特別是相機(jī)-雷達(dá)聯(lián)合標(biāo)定，其中按標(biāo)定目標(biāo)分為像素級、語義級和物體/關(guān)鍵點(diǎn)級標(biāo)定。在每一章節(jié)中，我們還歸納了對應(yīng)標(biāo)定模型下的深度學(xué)習(xí)研究趨勢，并展望了未來研究的技術(shù)路徑。

有趣的是，我們發(fā)現(xiàn)雖然不同模型標(biāo)定算法之間的發(fā)展鮮有關(guān)聯(lián)，但是它們的研究趨勢均呈現(xiàn)出從回歸范式到重建范式的拓展。新的標(biāo)定目標(biāo)的發(fā)展也不謀而合。此外，部分方案根據(jù)傳統(tǒng)標(biāo)定的流程重新設(shè)定了每個(gè)學(xué)習(xí)模塊的結(jié)構(gòu)和功能，在靈活整合幾何求解算法的同時(shí)大大提高了網(wǎng)絡(luò)的可解釋性。更多分析和討論詳見綜述的第三章至第六章。

本綜述的結(jié)構(gòu)和層次分類，其中每個(gè)類別下列出了一些經(jīng)典的方法

四、評測基準(zhǔn)

由于在基于深度學(xué)習(xí)的相機(jī)標(biāo)定領(lǐng)域中還沒有公開且統(tǒng)一的評測基準(zhǔn)，因此我們整合、構(gòu)建了一個(gè)數(shù)據(jù)集，以用于評估不同方法的泛化性能。在這個(gè)數(shù)據(jù)集中，圖像和視頻是由不同的相機(jī)在各種場景下拍攝的，包括模擬環(huán)境和真實(shí)世界的場景。此外，我們基于不同的條件提供了標(biāo)定的真實(shí)結(jié)果、參數(shù)標(biāo)簽和視覺線索等，如下圖所示。特別地，對于畸變相機(jī)模型，我們使用大約40種廣角相機(jī)采集室內(nèi)的原始數(shù)據(jù)。其中每個(gè)數(shù)據(jù)均配有標(biāo)定獲得的內(nèi)參、外參和畸變系數(shù)。為了豐富場景多樣性，我們還用一輛配備了不同標(biāo)定相機(jī)的車載系統(tǒng)來采集街景環(huán)境下的視頻序列，涵蓋了白天、黑夜以及不同的天氣。

本綜述整合、構(gòu)建的評測基準(zhǔn)數(shù)據(jù)集

五、未來研究展望

相機(jī)標(biāo)定是計(jì)算機(jī)視覺和機(jī)器人領(lǐng)域中一個(gè)基礎(chǔ)但具有挑戰(zhàn)性的研究課題。從以上的技術(shù)回顧和趨勢洞察，我們發(fā)現(xiàn)目前的深度學(xué)習(xí)方案仍有很大的提升空間。從第三章到第六章，本綜述討論了各類相機(jī)模型未來研究的技術(shù)路徑。在本節(jié)中，我們將提出整個(gè)研究社區(qū)可能關(guān)心的一些更為宏觀的未來研究方向。

· 序列標(biāo)定的拓展

現(xiàn)有的深度學(xué)習(xí)研究側(cè)重于單個(gè)圖像的標(biāo)定，而忽略了采集序列中的時(shí)空相關(guān)性。將現(xiàn)有方法應(yīng)用于第一幀并傳播到后續(xù)幀是一種直接的解決方法，但是無法確保完美標(biāo)定每個(gè)輸入，因此標(biāo)定誤差將貫穿整個(gè)序列。學(xué)習(xí)時(shí)空相關(guān)性可以為網(wǎng)絡(luò)提供運(yùn)動(dòng)結(jié)構(gòu)相關(guān)的知識，同時(shí)在一定程度契合了傳統(tǒng)相機(jī)標(biāo)定的思想。

· 標(biāo)定目標(biāo)的革新

傳統(tǒng)的標(biāo)定目標(biāo)由于與圖像特征之間的隱式關(guān)系，很難通過神經(jīng)網(wǎng)絡(luò)準(zhǔn)確學(xué)習(xí)。為此，一些研究開發(fā)了新穎的學(xué)習(xí)目標(biāo)來替代傳統(tǒng)的標(biāo)定目標(biāo)，為神經(jīng)網(wǎng)絡(luò)提供了更加友好的學(xué)習(xí)表征。此外，一些中間的幾何表示方法也被提出，以彌合圖像特征和標(biāo)定目標(biāo)之間的差距，例如反射振幅系數(shù)圖、矯正流、表面幾何和法向流等。展望未來，我們認(rèn)為仍有很大的潛力設(shè)計(jì)更明確和合理的標(biāo)定目標(biāo)學(xué)習(xí)方法。

· 預(yù)訓(xùn)練策略的探索

在深度學(xué)習(xí)中，使用ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練已成為一種廣泛使用的策略。然而，近期研究表明，這種方法對于特定的相機(jī)標(biāo)定任務(wù)（如廣角相機(jī)標(biāo)定）會起到負(fù)面作用。這主要由兩個(gè)原因造成：數(shù)據(jù)差距和任務(wù)差距。此外，據(jù)我們所知，對于超過單個(gè)圖像和單個(gè)模態(tài)的標(biāo)定預(yù)訓(xùn)練策略，相關(guān)領(lǐng)域尚未進(jìn)行深入研究。因此，我們認(rèn)為探索面向相機(jī)標(biāo)定的深度學(xué)習(xí)預(yù)訓(xùn)練策略是一個(gè)有趣且有價(jià)值的研究方向。

· 隱式、統(tǒng)一模型的構(gòu)建

基于深度學(xué)習(xí)的相機(jī)標(biāo)定方法大多使用傳統(tǒng)的參數(shù)化相機(jī)模型，這種模型缺乏適應(yīng)復(fù)雜情況的靈活性。非參數(shù)化相機(jī)模型將每個(gè)像素與其對應(yīng)的三維入射光線相關(guān)聯(lián)，克服了參數(shù)化模型的限制。此外，它們允許隱式和統(tǒng)一的標(biāo)定，通過像素級回歸適配所有相機(jī)類型，避免了顯式特征提取和幾何求解等過程。深度學(xué)習(xí)方法顯示出對重建式標(biāo)定任務(wù)的潛力，使得非參數(shù)化模型值得重新審視，并有可能在未來代替參數(shù)化模型。

另一方面，研究人員將隱式、統(tǒng)一表示的優(yōu)勢與神經(jīng)輻射場（NeRF）相結(jié)合，用于重建三維結(jié)構(gòu)和合成新視角。其中，自標(biāo)定NeRF方法可用于具有任意非線性畸變的通用相機(jī)，探索了無需標(biāo)定目標(biāo)學(xué)習(xí)深度和自運(yùn)動(dòng)的端到端流程。

本綜述認(rèn)為，隱式和統(tǒng)一相機(jī)模型在未來可以用于優(yōu)化基于學(xué)習(xí)的標(biāo)定算法，也可集成到下游的三維視覺任務(wù)中。同時(shí)，該領(lǐng)域中精心設(shè)計(jì)的幾何先驗(yàn)、標(biāo)定策略、優(yōu)化方式、學(xué)習(xí)表征等也可用于啟發(fā)NeRF等領(lǐng)域的發(fā)展，以進(jìn)一步擺脫對相機(jī)參數(shù)和相機(jī)模型的依賴。

更多的未來研究方向，特別是相機(jī)標(biāo)定的實(shí)際應(yīng)用研究點(diǎn)，詳見本綜述補(bǔ)充材料的第三章。

六、總結(jié)

我們提供了一份深度學(xué)習(xí)驅(qū)動(dòng)的相機(jī)標(biāo)定技術(shù)綜述，涵蓋了傳統(tǒng)相機(jī)模型、新的學(xué)習(xí)范式和學(xué)習(xí)策略、現(xiàn)有方法的詳細(xì)回顧、公開的基準(zhǔn)測試以及未來研究方向。為了展示發(fā)展過程和現(xiàn)有工作之間的聯(lián)系，我們提供了一種新的精細(xì)分類法，通過同時(shí)考慮相機(jī)模型和拓展應(yīng)用來對文獻(xiàn)進(jìn)行分類。此外，在每個(gè)類別中，我們都對研究方法的貢獻(xiàn)點(diǎn)、優(yōu)勢和局限性進(jìn)行了深入地討論。我們將維護(hù)一個(gè)開放的github倉庫并定期更新最新的工作和數(shù)據(jù)集。我們希望本綜述能夠?yàn)橄嚓P(guān)研究和從業(yè)者提供一個(gè)重要參考，并推動(dòng)這個(gè)領(lǐng)域未來的研究發(fā)展。

審核編輯 ：李倩