本文摘自于:鄭太雄, 黃帥, 李永福, 馮明馳. 基于視覺的三維重建關(guān)鍵技術(shù)研究綜述. 自動化學(xué)報(bào), 2020, 46(4): 631-652. doi:?10.16383/j.aas.2017.c170502 ?
三維重建經(jīng)過數(shù)十年的發(fā)展, 已經(jīng)取得巨大的成功?;谝曈X的三維重建在計(jì)算機(jī)領(lǐng)域是一個(gè)重要的研究內(nèi)容, 主要通過使用相關(guān)儀器來獲取物體的二維圖像數(shù)據(jù)信息, 然后, 再對獲取的數(shù)據(jù)信息進(jìn)行分析處理, 最后, 利用三維重建的相關(guān)理論重建出真實(shí)環(huán)境中物體表面的輪廓信息。
基于視覺的三維重建具有速度快、實(shí)時(shí)性好等優(yōu)點(diǎn), 能夠廣泛應(yīng)用于人工智能、機(jī)器人、無人駕駛、SLAM (Simultaneous localization and mapping)、虛擬現(xiàn)實(shí)和3D打印等領(lǐng)域。三維重建技術(shù)的分類方法如下圖所示:
基于主動視覺的三維重建技術(shù)主要包括激光掃描法、結(jié)構(gòu)光法、陰影法和TOF技術(shù)、雷達(dá)技術(shù)、Kinect技術(shù)等。 ?
1? 激光掃描法
激光掃描法其實(shí)就是利用激光測距儀來進(jìn)行真實(shí)場景的測量。
首先, 激光測距儀發(fā)射光束到物體的表面, 然后, 根據(jù)接收信號和發(fā)送信號的時(shí)間差確定物體離激光測距儀的距離, 從而獲得測量物體的大小和形狀。
2?? 結(jié)構(gòu)光法
結(jié)構(gòu)光法的原理是首先按照標(biāo)定準(zhǔn)則將投影設(shè)備、圖像采集設(shè)備和待測物體組成一個(gè)三維重建系統(tǒng); 其次, 在測量物體表面和參考平面分別投影具有某種規(guī)律的結(jié)構(gòu)光圖; 然后再使用視覺傳感器進(jìn)行圖像采集, 從而獲得待測物體表面以及物體的參考平面的結(jié)構(gòu)光圖像投影信息; 最后, 利用三角測量原理、圖像處理等技術(shù)對獲取到的圖像數(shù)據(jù)進(jìn)行處理, 計(jì)算出物體表面的深度信息, 從而實(shí)現(xiàn)二維圖像到三維圖像的轉(zhuǎn)換。按照投影圖像的不同, 結(jié)構(gòu)光法可分為:點(diǎn)結(jié)構(gòu)光法、線結(jié)構(gòu)光法、面結(jié)構(gòu)光法、網(wǎng)絡(luò)結(jié)構(gòu)光和彩色結(jié)構(gòu)光。
3?? 陰影法
陰影法是一種簡單、可靠、低功耗的重建物體三維模型的方法。這是一種基于弱結(jié)構(gòu)光的方法, 與傳統(tǒng)的結(jié)構(gòu)光法相比, 這種方法要求非常低, 只需要將一臺相機(jī)面向被燈光照射的物體, 通過移動光源前面的物體來捕獲移動的陰影, 再觀察陰影的空間位置, 從而重建出物體的三維結(jié)構(gòu)模型。
4?? TOF技術(shù)
TOF (Time of flight)法是主動測距技術(shù)的一種, 可從發(fā)射極向物體發(fā)射脈沖光, 遇到物體反射后, 接收器收到反射光時(shí)停止計(jì)時(shí), 由于光和聲在空氣中的傳播速度是不變的, 從而通過發(fā)射到接收的時(shí)間差來確定物體的距離, 進(jìn)而確定產(chǎn)生的深度信息, 其原理如下式所示: 其中,?λ表示脈沖的波長;?表示波長的個(gè)數(shù);?表示脈沖返回時(shí)的相位;?表示物體離發(fā)射之間的距離。 ? 5?? 雷達(dá)技術(shù) 雷達(dá)作為一種很常見的主動視覺傳感器, 可以通過發(fā)射和接收的光束之間的時(shí)間差來計(jì)算物體的距離、深度等信息。原理如下式所示: 式中,?c為光速;?Δt為發(fā)射與接受的時(shí)間間隔;?表示雷達(dá)到物體之間的距離。 ?
6?? Kinect技術(shù)
Kinect傳感器是最近幾年發(fā)展比較迅速的一種消費(fèi)級的3D攝像機(jī), 它是直接利用鐳射光散斑測距的方法獲取場景的深度信息,Kinect傳感器如下圖所示.Kinect傳感器中間的鏡頭為攝像機(jī), 左右兩端的鏡頭被稱為3D深度感應(yīng)器, 具有追焦的功能, 可以同時(shí)獲取深度信息、彩色信息、以及其他信息等。Kinect在使用前需要進(jìn)行提前標(biāo)定, 大多數(shù)標(biāo)定都采用張正友標(biāo)定法。?
基于被動視覺的三維重建技術(shù)
1?? 根據(jù)相機(jī)數(shù)目分類
基于被動視覺的三維重建技術(shù)是通過視覺傳感器(一臺或多臺相機(jī))獲取圖像序列, 進(jìn)而進(jìn)行三維重建的一種技術(shù)。這種技術(shù)首先通過視覺傳感器(一臺或多臺相機(jī))獲取圖像序列, 然后提取其中有用的信息, 最后, 對這些信息進(jìn)行逆向工程的建模, 從而重建出物體的三維結(jié)構(gòu)模型。 ?
1.1? ?單目視覺法
單目視覺是僅使用一臺相機(jī)進(jìn)行三維重建的方法,為了進(jìn)一步表示空間中任意一個(gè)三維點(diǎn)P在世界坐標(biāo)系轉(zhuǎn)換到二維圖像坐標(biāo)系之間的關(guān)系, 關(guān)系坐標(biāo)可以表示為:
其中,?(XW,YW,ZW)為空間中的三維點(diǎn);?(R??t)稱為旋轉(zhuǎn)矩陣和平移向量;?fx和fy是攝像機(jī)在兩個(gè)方向上的焦距;?(u0,v0)是攝像頭主點(diǎn)在圖像坐標(biāo)系下的坐標(biāo);?(u,v)是圖像坐標(biāo)系下的坐標(biāo); 從而通過上式可以求解出任意空間一點(diǎn)的三維坐標(biāo).基于單目視覺的三維重建流程如下圖所示。
1.2?? 雙目視覺法
雙目視覺的工作原理來源于人類的雙目視覺系統(tǒng), 也就是說從不同的視角通過兩個(gè)相同的相機(jī)捕獲同一個(gè)位置下的左右兩側(cè)圖像, 然后再利用三角測量原理獲取物體的深度信息, 通過這些深度信息重建出物體的三維模型。目前, 基于雙目視覺的三維重建方法是三維重建技術(shù)中的熱點(diǎn)和難點(diǎn)。
1)?平行式光軸雙目視覺系統(tǒng)是比較理想的一種系統(tǒng).在平行式光軸視覺系統(tǒng)中, 左右相機(jī)互相對齊, 它們的光軸也要互相平行, 形成一個(gè)共面的成像平面.由于左右相機(jī)只在軸上的位置不同, 而焦距等其他參數(shù)是相同的, 因此, 左右相機(jī)拍攝的同一物點(diǎn)所成的像分別在左右兩圖像上對應(yīng)的對集線上, 可以較好的實(shí)現(xiàn)立體匹配。
2)?匯聚式光軸雙目視覺系統(tǒng)是將平行式光軸雙目視覺系統(tǒng)中的左右相機(jī)分別繞光心順時(shí)針和逆時(shí)針旋轉(zhuǎn)一定角度, 從而形成匯聚式雙目視覺系統(tǒng)。
1.3?? 多目視覺法
多目視覺是雙目視覺的一種延伸, 它是在雙目視覺的基礎(chǔ)上, 增加一臺或者多臺攝像機(jī)作為輔助進(jìn)行測量, 從而獲得不同角度下同一物體的多對圖像。多目視覺法大多數(shù)的理論與雙目視覺法是相同的, 唯一不同的是, 多目視覺采用了三個(gè)或三個(gè)以上的攝像頭進(jìn)行環(huán)境中目標(biāo)物體的獲取.多目視覺的優(yōu)點(diǎn)是當(dāng)測量物體的表面傾斜的角度太大導(dǎo)致其中的一個(gè)或兩個(gè)CCD攝像機(jī)不能接收到漫反射光時(shí), 其他的攝像機(jī)可繼續(xù)工作。
2? ?根據(jù)匹配方法分類
三維環(huán)境重建技術(shù)一直是機(jī)器視覺和數(shù)字圖像處理領(lǐng)域的重點(diǎn)研究對象, 眾多學(xué)者針對三維環(huán)境重建提出了很多不同的算法。而圖像特征信息匹配的質(zhì)量在三維環(huán)境重建過程中起著十分關(guān)鍵的作用。圖像特征信息的匹配首先提取待重建圖像的匹配信息, 并使用相應(yīng)的算法在提取出的匹配信息集中尋找最佳匹配集, 根據(jù)最佳匹配集求解變換模型。根據(jù)匹配的方法不同可以分為區(qū)域視覺法和特征視覺法。
2.1?? 區(qū)域視覺法
區(qū)域視覺法就是基于區(qū)域立體匹配算法的三維重建技術(shù)。該算法利用對極幾何約束和連續(xù)性, 提高了稠密匹配的效率和三維重建的質(zhì)量。 ?
2.2?? 特征視覺法
基于特征視覺的三維重建技術(shù)其實(shí)就是通過相機(jī)獲取二維圖像, 然后提取圖像中的角點(diǎn)作為特征點(diǎn),?以雙目立體視覺理論為基礎(chǔ), 利用匹配算法, 獲得特征點(diǎn)匹配對, 再通過三角測量原理獲取深度值, 從而獲得物體表面的三維模型。
3?? 根據(jù)應(yīng)用方法分類
基于被動視覺的三維重建技術(shù)根據(jù)所選取方法不同, 所重建的效果有明顯差別, 但每種方法都有不同的優(yōu)點(diǎn)和缺點(diǎn)。因此, 根據(jù)應(yīng)用方法可以分為運(yùn)動恢復(fù)結(jié)構(gòu)法和機(jī)器學(xué)習(xí)法。 ?
3.1?? 運(yùn)動恢復(fù)結(jié)構(gòu)法
如果獲取的圖像是從多個(gè)視點(diǎn)捕獲的多張圖像, 可以通過匹配算法獲得圖像中相同像素點(diǎn)的對應(yīng)關(guān)系, 再利用匹配約束關(guān)系, 結(jié)合三角測量原理, 獲得空間點(diǎn)的三維坐標(biāo)信息, 進(jìn)而重建出物體的三維模型。這個(gè)過程被稱為運(yùn)動恢復(fù)結(jié)構(gòu)法, 即SfM (Structure from motion)。運(yùn)動恢復(fù)結(jié)構(gòu)法是通過三角測量原理來恢復(fù)場景的三維結(jié)構(gòu).這種方法不僅是三維重建的一種重要手段, 而且也是一種結(jié)構(gòu)測量的方法, 能夠廣泛地應(yīng)用在測繪、軍事偵查等領(lǐng)域.目前SfM主要分為兩類:增量式SfM 和全局式SfM 。 ?
3.2?? 機(jī)器學(xué)習(xí)法
機(jī)器學(xué)習(xí)其實(shí)就是使機(jī)器具有學(xué)習(xí)的能力, 從而不斷獲得新知識以及新技能得到有效提升.機(jī)器學(xué)習(xí)在三維環(huán)境重建中一直是重點(diǎn)研究對象, 因此, 根據(jù)機(jī)器學(xué)習(xí)可以分為常用的三種方法, 分別是統(tǒng)計(jì)學(xué)習(xí)法、神經(jīng)網(wǎng)絡(luò)法和深度學(xué)習(xí)與語義法。
1)?統(tǒng)計(jì)學(xué)習(xí)法:就是需要通過不斷地學(xué)習(xí)再學(xué)習(xí)的過程.該方法是以大型數(shù)據(jù)庫為基礎(chǔ), 例如, 人臉數(shù)據(jù)庫、場景數(shù)據(jù)庫等.首先, 這種方法需要對數(shù)據(jù)庫中的每一個(gè)目標(biāo)進(jìn)行特征統(tǒng)計(jì), 這些特征主要包括亮度、紋理、幾何形狀、深度等, 然后, 再對重建目標(biāo)的各種特征建立概率函數(shù), 最后, 計(jì)算重建目標(biāo)與數(shù)據(jù)庫中相似目標(biāo)的概率大小, 取概率最大的目標(biāo)深度為重建目標(biāo)的深度, 再使用差值計(jì)算和紋理映射進(jìn)行目標(biāo)的三維重建。
2) 神經(jīng)網(wǎng)絡(luò)法:基于神經(jīng)網(wǎng)絡(luò)法的三維重建是利用神經(jīng)網(wǎng)絡(luò)具有較好的泛函逼近能力, 能夠以任意的精度逼近任何非線性關(guān)系的優(yōu)點(diǎn)來進(jìn)行三維重建。
3) 深度學(xué)習(xí)與語義法:基于深度學(xué)習(xí)的三維重建最近幾年取得了非常大進(jìn)展, 是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域比較流行的方法之一。學(xué)習(xí)系統(tǒng)是由多層卷積層和多層全連接層組成的卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行學(xué)習(xí)圖像的層次化特征表示, 這種方法能夠精確地重建出物體的幾何形狀?;谡Z義的三維重建可以運(yùn)用在移動的行人或車輛等大的場景, 這種方法能夠精確地對環(huán)境中的目標(biāo)物體進(jìn)行識別, 而深度學(xué)習(xí)技術(shù)也是最近幾年剛剛興起的比較有優(yōu)勢的識別方法, 因此, 深度學(xué)習(xí)和語義相結(jié)合的三維重建是未來幾年的研究趨勢, 也會受到該領(lǐng)域的研究者們廣泛關(guān)注。
編輯:黃飛
?
評論
查看更多