視覺(jué)SLAM的技術(shù)資料總結(jié)

SLAM是Simultaneous Localization and Mapping的縮寫，意為“同時(shí)定位與建圖”。它是指運(yùn)動(dòng)物體根據(jù)傳感器的信息，一邊計(jì)算自身位置，一邊構(gòu)建環(huán)境地圖的過(guò)程。目前，SLAM的應(yīng)用領(lǐng)域主要有機(jī)器人、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)。其用途包括傳感器自身的定位，以及后續(xù)的路徑規(guī)劃、場(chǎng)景理解。

1、SLAM（同步定位與建圖）

隨著傳感器種類和安裝方式的不同，SLAM的實(shí)現(xiàn)方式和難度會(huì)有很大差異。按傳感器來(lái)分，SLAM主要分為激光、視覺(jué)兩大類。其中，激光SLAM研究較早，理論和工程均比較成熟。視覺(jué)方案目前大部分實(shí)驗(yàn)室研究階段，實(shí)際產(chǎn)品應(yīng)用很少。SLAM研究自1988年提出以來(lái)，已經(jīng)過(guò)了近三十年。早期SLAM研究側(cè)重于使用濾波器理論，最小化運(yùn)動(dòng)體位姿和地圖的路標(biāo)點(diǎn)的噪聲。21世紀(jì)之后，學(xué)者們開(kāi)始借鑒SfM(Structure from Motion)中的方式，以優(yōu)化理論為基礎(chǔ)求解SLAM問(wèn)題。這種方式取得了一定的成就，并且在視覺(jué)SLAM領(lǐng)域中取得了主導(dǎo)地位。

激光傳感器：激光傳感器可以直接獲得相對(duì)于環(huán)境的直接距離信息，從而實(shí)現(xiàn)直接相對(duì)定位，對(duì)于激光傳感器的絕對(duì)定位及軌跡優(yōu)化可以在相對(duì)定位的基礎(chǔ)上進(jìn)行。

視覺(jué)傳感器：視覺(jué)傳感器很難直接獲得相對(duì)于環(huán)境的直接距離信息，而必須通過(guò)兩幀或多幀圖像來(lái)估計(jì)自身的位姿變化，再通過(guò)累積位姿變化計(jì)算當(dāng)前位置。這種方法更類似于直接用里程計(jì)進(jìn)行定位，即視覺(jué)里程計(jì)（Visual Odometry）。里程計(jì)的測(cè)量積分后才相當(dāng)于激光傳感器直接獲得的定位信息，這就是圖優(yōu)化SLAM框架中的前端。而后端對(duì)定位和位姿軌跡的優(yōu)化本質(zhì)上與激光傳感器的優(yōu)化相同，都基于最優(yōu)估計(jì)的理論框架進(jìn)行。

2、視覺(jué)SLAM發(fā)展

視覺(jué)定位

機(jī)器人運(yùn)動(dòng)過(guò)程中構(gòu)建環(huán)境模型和地標(biāo)，打造室內(nèi)“視覺(jué)GPS”系統(tǒng)

地圖構(gòu)建

通過(guò)多傳感器融合技術(shù)實(shí)時(shí)構(gòu)建高精度，可持久使用的室內(nèi)地圖

語(yǔ)義地圖

使用深度神經(jīng)網(wǎng)絡(luò)對(duì)地圖信息進(jìn)行分割理解，形成具有豐富語(yǔ)義信息的室內(nèi)地圖

應(yīng)用場(chǎng)景

AR、機(jī)器人、無(wú)人機(jī)、無(wú)人駕駛等領(lǐng)域， 就像移動(dòng)互聯(lián)網(wǎng)時(shí)代的手機(jī)定位一樣。

有理解力的SLAM：語(yǔ)義SLAM，精準(zhǔn)感知并適應(yīng)環(huán)境。將語(yǔ)義分析與SLAM有效融合，增強(qiáng)機(jī)器對(duì)環(huán)境中相互作用的理解能力，為機(jī)器人賦予了復(fù)雜環(huán)境感知力和動(dòng)態(tài)場(chǎng)景適應(yīng)力。

有廣度的SLAM：100萬(wàn)平米強(qiáng)大建圖能力。借助高效的環(huán)境識(shí)別、智能分析技術(shù)，室內(nèi)外全場(chǎng)景范圍高達(dá)100萬(wàn)平米的地圖構(gòu)建能力。

有精度的SLAM：高精度定位領(lǐng)先算法?？稍谌魏蔚攸c(diǎn)進(jìn)行開(kāi)機(jī)識(shí)別、全局定位，精準(zhǔn)度高達(dá)±2cm。

有時(shí)效的SLAM：動(dòng)態(tài)地圖實(shí)時(shí)更新。根據(jù)傳感器回傳數(shù)據(jù)，與原有地圖進(jìn)行分析比對(duì)，完成動(dòng)態(tài)實(shí)時(shí)更新，實(shí)現(xiàn)life-long SLAM。

視覺(jué)SLAM系統(tǒng)分為五個(gè)模塊：傳感器數(shù)據(jù)、視覺(jué)里程計(jì)、后端、建圖、回環(huán)檢測(cè)。

3、視覺(jué)SLAM未來(lái)趨勢(shì)

導(dǎo)航定位與建圖

視覺(jué)SLAM

SLAM快速識(shí)別地圖坐標(biāo)， 實(shí)現(xiàn)設(shè)備、特定目標(biāo)長(zhǎng)時(shí)間、高精度定位

高精度SLAM

基于視覺(jué)+慣性傳感器的高精度SLAM算法，媲美激光雷達(dá)的定位精度

實(shí)時(shí)稠密地圖構(gòu)建

通過(guò)攝像頭獲取場(chǎng)景中的稠密點(diǎn)云信息，建立場(chǎng)景的柵格占用地圖

路徑規(guī)劃

基于實(shí)時(shí)構(gòu)建的場(chǎng)景地圖，讓機(jī)器感知現(xiàn)實(shí)場(chǎng)景，實(shí)現(xiàn)自主最優(yōu)路徑規(guī)劃

導(dǎo)航避障

通過(guò)攝像頭獲取場(chǎng)景中的稠密點(diǎn)云信息，建立場(chǎng)景的柵格占用地圖，基于智能避障算法，滿足機(jī)器人精準(zhǔn)避障的需求

高精度語(yǔ)義地圖

深度學(xué)習(xí)圖像語(yǔ)義

輕量化模型精準(zhǔn)識(shí)別百余類物體

稠密地圖語(yǔ)義分割及匹配

將稠密地圖按照物體的語(yǔ)義信息進(jìn)行分割及匹配，幫助機(jī)器理解圖像內(nèi)容，以實(shí)現(xiàn)通行區(qū)域感知及避障

語(yǔ)義SLAM

SLAM結(jié)合深度學(xué)習(xí)，實(shí)現(xiàn)精準(zhǔn)的場(chǎng)景環(huán)境語(yǔ)義分析，提升SLAM系統(tǒng)精度

物體識(shí)別及環(huán)境語(yǔ)義

基于輕量化深度學(xué)習(xí)模型的物體識(shí)別，并結(jié)合場(chǎng)景地圖提供環(huán)境語(yǔ)義

多傳感器融合及標(biāo)定

多傳感器融合

視覺(jué)、慣性、里程計(jì)、GNSS等多傳感器融合，滿足不同場(chǎng)景信息需求，優(yōu)勢(shì)互補(bǔ)，提高系統(tǒng)精度

傳感器誤差建模

分析傳感器誤差源，對(duì)傳感器進(jìn)行高精度誤差建模

快速、低成本傳感器標(biāo)定

大幅降低傳感器標(biāo)定成本，實(shí)現(xiàn)快速高精度傳感器標(biāo)定

高性能低成本硬件

消費(fèi)級(jí)傳感器及低成本計(jì)算單元即可滿足高精度前端解算

4、SLAM與視覺(jué)里程計(jì)（Visual Odometry）

人們有時(shí)候會(huì)混淆SLAM和視覺(jué)里程計(jì)的概念。應(yīng)該說(shuō)，視覺(jué)里程計(jì)是SLAM的一個(gè)模塊，其目的在于增量式地估計(jì)相機(jī)運(yùn)動(dòng)。然而，完整的SLAM還包括添加回環(huán)檢測(cè)和全局優(yōu)化，以獲得精確的、全局一致的地圖。

視覺(jué)里程計(jì)通常作為SLAM系統(tǒng)的前端。它增量式的計(jì)算方法能估計(jì)鄰近幀間的相機(jī)運(yùn)動(dòng)，但這也意味著鄰近幀間的誤差會(huì)影響之后的軌跡估計(jì)，意味著它會(huì)隨著時(shí)間推移，產(chǎn)生漂移。同時(shí)，視覺(jué)里程計(jì)也不含有建圖模塊。一個(gè)完整的SLAM系統(tǒng)會(huì)關(guān)心相機(jī)軌跡和地圖的全局一致性，但這也意味著需要更多的計(jì)算資源來(lái)計(jì)算全局的優(yōu)化。在資源有限、不關(guān)心全局路徑的場(chǎng)合（如無(wú)人機(jī)的著陸、短時(shí)間控制中），可以考慮只使用視覺(jué)里程計(jì)，而不必使用完整的SLAM。

5、SLAM和SFM

視覺(jué)SLAM中大量使用了SFM中的方法，如特征點(diǎn)跟蹤、捆集優(yōu)化(Bundle Adjustment)等，以至于許多研究者把它們視為同一個(gè)研究領(lǐng)域。然而，盡管方法上很相似，SLAM和SFM的側(cè)重點(diǎn)是不同的。SLAM的應(yīng)用場(chǎng)合主要在機(jī)器人和VR/AR，計(jì)算資源有限，需要很強(qiáng)的實(shí)時(shí)性，故側(cè)重點(diǎn)在于，如何在有限的資源里快速地對(duì)相機(jī)進(jìn)行定位。而SFM方法通常是離線的，可以調(diào)用大量計(jì)算資源進(jìn)行長(zhǎng)時(shí)間的計(jì)算，側(cè)重于重建出更精確、美觀的場(chǎng)景。

6、開(kāi)源SLAM方案

視覺(jué)傳感器

稀疏法(特征點(diǎn)):

ORB-SLAM(單目，雙目，RGBD)

Stereo DSO

ProSLAM

PTAM(單目)

MonoSLAM(單目)

半稠密法:

LSD-SLAM(單目，雙目，RGBD)

DSO(單目)

SVO(單目, 僅VO)

稠密法:

DTAM(RGBD)

Elastic Fusion(RGBD)

BundleFusion

Kintinous(RGBD)

DVO

RGBD-SLAM-V2

RTAB-MAP

MLM:(單目)

激光傳感器

HectorSLAM

Gmapping

KartoSLAM

CoreSLAM

LagoSLAM

cartographer

視覺(jué)與IMU融合：

OKVIS

VINS

VINS-Fusion

回環(huán)檢測(cè)：

DBoW2

DLoopDetector

Dlib

后端：

Ceres-solver

G2o

Gtasm

Vertigo

構(gòu)圖：

Grid_map

Octomap

常用數(shù)據(jù)集：

１、TUM RGB-D SLAM Dataset and Benchmark

德國(guó)慕尼黑理工大學(xué)計(jì)算機(jī)視覺(jué)組制作的數(shù)據(jù)集，使用Kinect相機(jī)采集的數(shù)據(jù)集，包括IMU數(shù)據(jù)，并且用高精度運(yùn)動(dòng)采集系統(tǒng)提供了groundtruth（真值）。提供測(cè)試腳本，可以方便的實(shí)現(xiàn)量化評(píng)估。

２、KITTI Vision Benchmark Suite

德國(guó)卡爾斯魯厄理工學(xué)院和豐田工業(yè)大學(xué)芝加哥分校一起合作制作的用于自動(dòng)駕駛的數(shù)據(jù)集。

３、EuRoC MAV Dataset

世聯(lián)邦理工大學(xué)制作的數(shù)據(jù)集，采用裝備了雙目相機(jī)和IMU的四旋翼無(wú)人機(jī)采集數(shù)據(jù)。