實時SLAM的未來以及深度學(xué)習(xí)與SLAM的比較

SLAM (simultaneous localization and mapping),也稱為CML (Concurrent Mapping and Localization), 即時定位與地圖構(gòu)建，或并發(fā)建圖與定位。問題可以描述為：將一個機器人放入未知環(huán)境中的未知位置，是否有辦法讓機器人一邊逐步描繪出此環(huán)境完全的地圖，所謂完全的地圖（a consistent map）是指不受障礙行進到房間可進入的每個角落。SLAM最早由Smith、Self和Cheeseman于1988年提出。由于其重要的理論與應(yīng)用價值，被很多學(xué)者認為是實現(xiàn)真正全自主移動機器人的關(guān)鍵。

詞語解釋

Simultaneous Localization and Mapping

Simultaneous Localization and Mapping, 同步定位與建圖。

SLAM問題可以描述為: 機器人在未知環(huán)境中從一個未知位置開始移動,在移動過程中根據(jù)位置估計和地圖進行自身定位,同時在自身定位的基礎(chǔ)上建造增量式地圖，實現(xiàn)機器人的自主定位和導(dǎo)航。

Scanning Laser Acoustic Microscope

Scanning Laser Acoustic Microscope, 激光掃描聲學(xué)顯微鏡。

激光掃描聲學(xué)顯微鏡是一種強有力的廣泛應(yīng)用于諸如工業(yè)用材料和生物醫(yī)學(xué)領(lǐng)域的無損檢測工具，其使用的頻率范圍為10MHz ~ 500MHz。

Lymphocyte Activation Molecule

Lymphocyte Activation Molecule, 醫(yī)學(xué)用語。

Supersonic Low Altitude Missile

SLAM — Supersonic Low Altitude Missile（超音速低空導(dǎo)彈）的縮寫，是美國的一項導(dǎo)彈研制計劃。

Symmetrically Loaded Acoustic Module

SLAM是Symmetrically Loaded Acoustic Module的英文縮寫 [1] ，中文意思是平衡裝載聲學(xué)模塊。

Satellite Link Attenuation Model

SLM是Satellite Link Attenuation Model的英文縮寫 [2] ，中文意思是衛(wèi)星鏈路衰減模型。

實時SLAM的未來以及深度學(xué)習(xí)與SLAM的比較

第一部分：為什么 SLAM 很重要？

視覺 SLAM 算法可以實時構(gòu)建世界的 3D 地圖，并同時追蹤攝像頭（手持式或增強現(xiàn)實設(shè)備上的頭戴式或安裝在機器人上）的位置和方向。SLAM 是卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的補充：SLAM 關(guān)注于幾何問題而深度學(xué)習(xí)是感知、識別問題的大師。如果你想要一個能走到你的冰箱面前而不撞到墻壁的機器人，那就使用 SLAM。如果你想要一個能識別冰箱中的物品的機器人，那就使用卷積神經(jīng)網(wǎng)絡(luò)。

SfM/SLAM 基本原理：一個場景的 3D 結(jié)構(gòu)是根據(jù)點觀察和固有的攝像頭參數(shù)，從攝像頭的估計的運動中計算出來的.

SLAM 是 SfM（運動恢復(fù)結(jié)構(gòu)：Structure from Motion）的一種實時版本。視覺 SLAM 或基于視覺的 SLAM 是 SLAM 的一種僅使用攝像頭的變體，放棄了昂貴的激光傳感器和慣性測量單元。單眼 SLAM僅使用單個攝像頭，而非單眼 SLAM通常使用一個預(yù)校準的固定基線的立體相機套件。SLAM 是計算機視覺領(lǐng)域所謂的幾何方法中最好案例。事實上，卡內(nèi)基梅隆大學(xué)的機器人研究所將研究生水平的計算機視覺課程分成了一個基于學(xué)習(xí)的視覺方法和一個單獨的基于幾何的視覺方法的課程。

1.運動恢復(fù)結(jié)構(gòu) vs 視覺 SLAM

運動恢復(fù)結(jié)構(gòu)（SfM）和 SLAM 所解決的問題非常相似，但 SfM 傳統(tǒng)上是以離線形式進行的，而 SLAM 則已經(jīng)慢慢走向了低功耗/實時/單 RGB 相機的運行模式。今天許多運動恢復(fù)結(jié)構(gòu)方面的專家都在為世界上一些最大的科技公司，幫助打造更好的地圖。如果沒有關(guān)于多視圖幾何、SfM 和 SLAM 的豐富知識，像谷歌地圖這種成功的地圖產(chǎn)品根本就不可能出現(xiàn)。典型的 SfM 問題遵循：給定一個單個室外結(jié)構(gòu)（如大劇場/大體育館）的大型照片集合，構(gòu)建該結(jié)構(gòu)的 3D 模型并確定每個相機的姿勢。這個照片集合以離線形式處理，而且大型結(jié)構(gòu)重建所需時間從幾小時到幾天不等。

SfM 軟件：Bundler 是最成功的 SfM 開源庫之一

這里給出一些流行的 SfM 相關(guān)的軟件庫：

Bundler：一個開源的運動恢復(fù)結(jié)構(gòu)工具包

Libceres：一個非線性最小二乘極小化工具（對束調(diào)整（bundle adjustment）問題很有用）

Andrew Zisserman 的多視圖幾何 MATLAB 函數(shù)

2.視覺 SLAM vs 自動駕駛

研討會的組織者之一 Andrew Davison 表示，盡管自動駕駛汽車是 SLAM 最重要的應(yīng)用之一，但用于自動化載具的 SLAM 應(yīng)該有其自己的研究軌道。（而且正如我們所見，研討會的展示者中沒有一個談到了自動駕駛汽車。）在接下來的許多年里，獨立于任何一個圣杯級的應(yīng)用而繼續(xù)在研究的角度上研究 SLAM 是有意義的。盡管在自動化載具方面存在著太多的系統(tǒng)級細節(jié)和技巧，但研究級的 SLAM 系統(tǒng)所需的不過是一個網(wǎng)絡(luò)攝像頭、算法知識和一點辛勞而已。視覺 SLAM 作為一個研究課題對數(shù)以千計的博士生的早期階段要友好得多，他們將首先需要好幾年的使用 SLAM 的實驗室經(jīng)驗，然后才能開始考慮無人駕駛汽車等昂貴的機器人平臺。

谷歌無人駕駛汽車的感知系統(tǒng)

第二部分：實時 SLAM 的未來

現(xiàn)在是時候正式總結(jié)和評論實時 SLAM 的未來研討會上的演講了。Andrew Davison 以一個名叫基于視覺的 SALM 的十五年的精彩歷史概述開篇，他的幻燈片中還有一個介紹機器人學(xué)課程的好內(nèi)容。

你也許不知道 Andrew 是誰，他是倫敦帝國學(xué)院獨一無二的 Andrew Davison 教授。他最知名的成就是其 2003 年的 MonoSLAM 系統(tǒng)，他是第一個展示如何在單個攝像頭上構(gòu)建 SLAM 系統(tǒng)的人，而那時候其他所有人都還認為打造 SLAM 系統(tǒng)需要一個立體的雙目攝像頭套件。最近，他的研究成果已經(jīng)對戴森（Dyson）等公司的發(fā)展軌跡和他們的機器人系統(tǒng)的能力產(chǎn)生了影響（如全新的 Dyson360）。

我還記得 Davidson 教授曾在 2007 年的 BMVC（英國機器視覺大會）上給出了一個視覺 SLAM 教程。讓人驚訝的是，和主要的視覺大會上其它機器學(xué)習(xí)技術(shù)的紛繁成果相比，SLAM 的變化真是非常之少。過去八年里，對象識別已經(jīng)經(jīng)歷了兩三次小型變革，而今天的 SLAM 系統(tǒng)和其八年前的樣子看起來并沒有多大不同。了解 SLAM 的進展的最好方法是看最成功和最讓人難忘的系統(tǒng)。在 Davidson 的研討會介紹演講中，他討論了一些過去 10-15 年里科研界所打造的典范系統(tǒng)：

MonoSLAM

PTAM

FAB-MAP

DTAM

KinectFusion

1.Davison vs Horn：機器人視覺的下一篇章

Davison 還提到他正在寫一本關(guān)于機器人視覺的新書，這對計算機視覺、機器人和人工智能領(lǐng)域的研究者來說應(yīng)該是一個激動人心的好消息。上一本機器人視覺的書是由 B.K. Horn 寫的（出版于 1986 年），現(xiàn)在也到該更新的時候了。

機器人視覺的一本新書？

盡管我很樂意閱讀一本重在機器人視覺原理的巨著，但我個人希望該書關(guān)注的是機器人視覺的實用算法，就像 Hartley 和 Zissermann 的杰作《多視圖幾何》或 Thrun、Burgard 和 Fox 所著的《概率機器人學(xué)》那樣。這本關(guān)于視覺 SLAM 問題的書籍將會受到所有專注視覺研究者歡迎。

演講一：Christian Kerl 談 SLAM 中的連續(xù)軌跡

第一個演講來自 Christian Kerl，他提出了一種用于估計連續(xù)時間軌跡的密集跟蹤方法。其關(guān)鍵觀察結(jié)果發(fā)現(xiàn)：大部分 SLAM 系統(tǒng)都在離散數(shù)目的時間步驟上估計攝像頭的位置（要么是相隔幾秒的關(guān)鍵幀，要么是相隔大約 1/25 秒的各個幀。

連續(xù)軌跡 vs 離散時間點 SLAM/SfM 通常使用離散時間點，但為什么不使用連續(xù)的呢？

Kerl 的大部分演講都集中于解決卷簾式快門相機的危害，而 Kerl 演示的系統(tǒng)還對建模給予謹慎的關(guān)注并消除了這些卷簾式快門的不利影響。

解決視覺 SLAM 中卷簾式快門相機的危害

演講二：Jakob Engel 談半密集直接 SLAM（Semi-Dense Direct SLAM）

LSD-SLAM（大規(guī)模直接單眼 SLAM）在2014 ECCV 上公開，也是我現(xiàn)在最喜歡的 SLAM 系統(tǒng)之一！Jakob Engel 在那里展示了他的系統(tǒng)并向觀眾展示了當(dāng)時最炫酷的一些 SLAM 可視化。對 SLAM 研究者來說，LSD-SLAM 是一個非常重要的系統(tǒng)，因為它不使用邊角或其它任何本地特性。通過使用一種帶有穩(wěn)健的 Huber 損失的由粗到細的算法，直接跟蹤可由圖像到圖像對準完成。這和那些基于特征的系統(tǒng)非常不同。深度估計使用了逆深度參數(shù)化（和許多其它系統(tǒng)一樣）并使用了大量或相對小的基準圖像對。該算法并不依賴于圖像特征，而是靠有效地執(zhí)行紋理跟蹤。全局映射是通過創(chuàng)建和解決姿態(tài)圖形的束調(diào)整優(yōu)化問題而執(zhí)行的，而且這所有都是實時工作的。這個方法是半密集的，因為它僅估計靠近圖像邊界的像素深度。LSD-SLAM 輸出比傳統(tǒng)的特征更密集，但并不如 Kinect 類型的 RGBD SLAM 那樣完全密集。

工作中的 LSD-SLAM：LSD-SLAM 同時生成一個攝像頭軌跡和一個半密集的 3D 場景重建。這種方法實時工作，不使用特征點作為圖元，并執(zhí)行直接的圖像到圖像對準。

Engel 概述了原來的 LSD-SLAM 系統(tǒng)以及一些新成果，將它們最初的系統(tǒng)擴展成更有創(chuàng)造性的應(yīng)用并實現(xiàn)了更有趣的部署。

全方位 LSD-SLAM是 LSD-SLAM 的一種延伸，因觀察到針孔模型不能用于大視場的觀測而被創(chuàng)造出來。這項成果提出于 IROS 2015（2015 年智能機器人和系統(tǒng)國際大會）（Caruso 是第一作者），能用于大視場（理想情況下可超過 180 度）。Engel 的演講很清楚地表示，你可以拿著相機以芭蕾舞般的動作極限旋轉(zhuǎn)在你的辦公室內(nèi)走來走去。這是窄視場 SLAM 最糟糕的應(yīng)用場景之一，但卻在 Omni LSD-SLAM 中效果良好。

全方位的 LSD-SLAM 模型

立體 LSD-SLAM是 LSD-SLAM 的一種用于雙眼攝像頭套件的延伸。這有助于獲得沒有限制的規(guī)模，而且其初始化是瞬時的，強烈旋轉(zhuǎn)也不存在問題。盡管從學(xué)術(shù)的角度看，單眼 SLAM 是很激動人心，但如果你的機器人是一輛 30,000 美元的車或 10,000 美元的無人機原型，你應(yīng)該有足夠的理由使用一套帶有兩個乃至更多攝像頭的套件。Stereo LSD-SLAM 在 SLAM 基準上表現(xiàn)出了相當(dāng)強的競爭力。

Stereo LSD-SLAM 在 KITTI vehicle-SLAM 數(shù)據(jù)集上得到了優(yōu)異結(jié)果

Stereo LSD-SLAM 相當(dāng)實用，能優(yōu)化 SE(3) 中的姿態(tài)圖形，并包含了對自動曝光的校正。自動曝光校正的目標(biāo)是讓誤差函數(shù)相對于仿射光照變化而不變。顏色空間仿射轉(zhuǎn)換的基本參數(shù)是在匹配過程中估算出來的，但也被扔掉以估計圖像到圖像變換中的錯誤。Engel 在演講中稱，離群值（outliers）（通常是由過度曝光的圖像像素造成的）往往會帶來問題，需要很仔細才能處理它們的影響。

在他后面的演示中，Engel 讓我們一窺了關(guān)于立體和慣性傳感器的整合新研究。為了了解詳情，你只能跟蹤 arXiv 上的更新或向 Usenko/Engel 本人了解。在應(yīng)用方面，Engel 的演示中包含了由 LSD-SLAM 驅(qū)動的自動化四軸無人機的更新視頻。其飛行一開始是上下運動的，以獲得對尺寸的估計，然后又使用了自由空間的三維測繪（octomap）以估計自由空間，從而讓該四軸無人機可以在空間中為自己導(dǎo)航。

運行 Stereo LSD-SLAM 的四軸無人機

LSD-SLAM 的故事也是基于特征 vs 直接方法的故事，Engel 給了辯論雙方公正的待遇?；谔卣鞯姆椒ū辉O(shè)計用在 Harris 那樣的邊角之上，而直接方法則是用整個圖像進行對準?；谔卣鞯姆椒ǜ欤ń刂?2015 年），但直接方法在并行處理上效果很好。離群值可以通過追溯的方法從基于特征的系統(tǒng)中移除，而直接方法在離群值處理上沒那么靈活。卷簾式快門是直接方法的一個更大的問題，而且使用全局快門或卷簾式快門模型是有意義的?；谔卣鞯姆椒ㄐ枰褂貌煌暾?a target="_blank">信息進行決策，而直接方法可以使用更多信息?；谔卣鞯姆椒ú恍枰芎玫某跏蓟?，而直接方法在初始化上需要更巧妙的技巧。對直接方法的研究只有 4 年，稀疏方法則有 20 多年的歷史了。Engel 樂觀地認為直接方法未來將上升成為頂級方法，我也這么想。

SLAM 系統(tǒng)構(gòu)建上，基于特征的方法 vs 直接方法

在 Engel 演講最后，Davison 問到了語義分割方面的問題，而 Engel 不知道語義分割是否可以在半密集的接近圖像邊界的數(shù)據(jù)上直接執(zhí)行。但是，我個人的看法是，有更好的方法可將語義分割應(yīng)用到 LSD 類型的 SLAM 系統(tǒng)上。半密集 SLAM 可以專注于靠近邊界的幾何信息，而對象識別可以專注于遠離這同一邊界的可靠語義，從而有可能創(chuàng)造出一個混合了幾何和語義的圖像解讀。

演講三：Torsten Sattler 談大規(guī)模定位與地圖構(gòu)建面臨的挑戰(zhàn)

Torsten Sattler 的演講談?wù)摿舜笠?guī)模定位與地圖構(gòu)建。這項工作的目的是在已有的地圖內(nèi)執(zhí)行六個自由度的定位，尤其是移動定位。演講中的一個關(guān)鍵點是：當(dāng)你使用傳統(tǒng)的基于特征的方法時，存儲你的描述很快就將變得非常昂貴。視覺詞匯表（記得產(chǎn)品量化嗎？）等技術(shù)可以顯著減少存儲開銷，再加上某種程度的巧妙優(yōu)化，描述的存儲將不再成為存儲瓶頸。

Sattler 的演講給出的另一個重要的關(guān)鍵信息是正確數(shù)據(jù)的數(shù)量實際上并不是相機姿態(tài)估計的很好的置信度測量。當(dāng)特征點全都集中于圖像的單一一個部分時，相機定位可能會在千里之外！一個更好的置信度測量是有效正確數(shù)據(jù)計數(shù)，其可以將正確數(shù)據(jù)所在的區(qū)域作為整體圖像區(qū)域的一個部分來進行審查。你真正希望得到的是整體圖像上的特征匹配——如果信息散布在整個圖像上，你能得到更好的姿態(tài)估計。

Sattler 對未來實時 SLAM 的演講是這樣的：我們應(yīng)該關(guān)注緊湊型的地圖表征，我們應(yīng)該對相機姿態(tài)估計置信度有更好的理解（如樹上權(quán)重下降的特征），我們應(yīng)該在更有挑戰(zhàn)性的場景中研發(fā)（如帶有平面結(jié)構(gòu)的世界和在白天的地圖上的夜間定位）。

移動定位：Sattler 的關(guān)鍵問題是使用單張智能手機圖片在大城市里定位你自己

演講四：Mur-Artal 談基于特征的方法 vs 直接方法

ORB-SLAM 的創(chuàng)造者 Mur-Artal 的演講內(nèi)容全部圍繞著 SLAM 領(lǐng)域內(nèi)基于特征的方法 vs 直接方法的爭論，而他顯然站在基于特征的方法一邊。ORB-SLAM 可通過一個開源的 SLAM 軟件包獲取，而且它很難被擊敗。在他對 ORB-SLAM vs PTAM 的評價中，似乎 PTAM 實際上常常失?。ㄖ辽僭?TUM RGB-D 基準上）。LSD-SLAM 在 TUM RGB-D 基準上的錯誤通常遠高于預(yù)期。

基于特征的方法 vs 直接方法

演講五：Tango 項目和用于圖像到圖像限制的視覺環(huán)路閉合

簡單來說，谷歌的 Tango 項目是世界上第一個商業(yè)化 SLAM 的嘗試。來自 Google Zurich 的 Simon Lynen（之前屬于 ETH Zurich）帶著一個 Tango 現(xiàn)場演示（在一臺平板電腦上）來到了研討會，并展示了 Tango 世界的新內(nèi)容。你可能不知道，谷歌希望將 SLAM 能力集成到下一代安卓設(shè)備中。

谷歌的Tango項目

Tango 項目展示討論了一種通過在圖像到圖像匹配矩陣中尋找特定的模式以進行環(huán)路閉合的新方法。這 個方法是來自沒有固定位置的位置識別成果。他們也做帶有基于視覺的環(huán)路閉合的在線束調(diào)整。

Tango 項目里的循環(huán)閉合

這種圖像到圖像矩陣揭示一種尋找環(huán)路閉合的新方法?？稍谠?YouTube 視頻中查看工作中的算法。

Tango 項目的人也在研究將谷歌多個眾包地圖結(jié)合起來，其目標(biāo)是將由不同的人使用配置有 Tango 的設(shè)備創(chuàng)造的多個迷你地圖結(jié)合起來。

Simon 展示了一個山地自行車軌跡跟蹤的視頻，這在實踐中實際上是相當(dāng)困難的。其中的想法是使用一個 Tango 設(shè)備跟蹤一輛山地自行車，并創(chuàng)建一份地圖，然后后續(xù)的目標(biāo)是讓另外一個人沿著這條軌跡走。這個目前只是半有效狀態(tài)——當(dāng)在地圖構(gòu)建和跟蹤步驟之前有幾個小時時間時有效，但過了幾周、幾個月就沒效果了。

在 Tango 相關(guān)的討論中，Richard Newcombe 指出 Tango 項目所使用的 “特征” 在更深度地理解環(huán)境上還是相當(dāng)落后的，而且看起來類似 Tango 項目的方法無法在室外場景中起作用——室外場景有非剛性大量光照變化等。所以我們有望見到為室外環(huán)境設(shè)計的不同系統(tǒng)嗎？Tango 項目將成為一個室內(nèi)地圖構(gòu)建設(shè)備嗎？

演講六：ElasticFusion 是沒有姿態(tài)圖形的密集型 SLAM

ElasticFusion 是一種需要 Kinect 這樣的 RGBD 傳感器的密集型 SLAM 技術(shù)。2-3 分鐘就能獲得單個房間的高質(zhì)量 3D 掃描，這真是相當(dāng)酷。許多 SLAM 系統(tǒng)的場景背后都使用了姿態(tài)圖形，這種技術(shù)有一種不同的（以地圖為中心）方法。該方法專注于構(gòu)建地圖，但其訣竅是其構(gòu)建的地圖可以變形，也因此得名 ElasticFusion（彈性融合）。其中算法融合的部分是向 KinectFusion 致敬——KinectFusion 是第一個高質(zhì)量的基于 Kinect 的重建方式。Surfels 也被用作底層的基元。

圖片來自 Kintinuous，Whelan 的 Elastic Fusion 的早期版本

恢復(fù)光源：我們一窺了來自倫敦帝國學(xué)院/戴森機器人實驗室的尚未發(fā)表的新研究成果。其中的想法是通過探測光源方向和探測鏡面反射，你可以提升 3D 重建的結(jié)果。關(guān)于恢復(fù)光源位置的炫酷視頻顯示其最多能處理 4 個獨立光源。

演講七：Richard Newcombe 的 DynamicFusion

Richard Newcombe（他最近成立的公司被 Oculus 收購）是最后一位展示者。Richard Newcombe 是 DTAM、KinectFusion 和 DynamicFusion 背后的人，見到他真是非?？幔凰壳皬氖绿摂M現(xiàn)實領(lǐng)域的研發(fā)。

Newcombe 的 DynamicFusion 算法。該技術(shù)在聲望很高的 CVPR 2015中獲得最佳論文獎。

2.研討會演示

在演示會議期間（在研討會中間舉行），許多展示者展示了他們的 SLAM 系統(tǒng)工作中的樣子。這些系統(tǒng)中許多都是以開源軟件包的形式提供的，所以如果你對實時 SLAM 感興趣，可以嘗試下載這些代碼。但是，最亮眼的演示是 Andrew Davison 展柜上他的來自 2004 年的 MonoSLAM 演示。Andrew 不得不恢復(fù)了已有 15 年歲月的計算機（運行的是 Redhat Linux）來展示他原來的系統(tǒng)，運行在原來的硬件上。如果計算機視覺社區(qū)將決定舉辦一場復(fù)古視覺的演示會議，那我馬上就將會提名 Andrew 應(yīng)得最佳論文獎。

Andrew 復(fù)古的視覺 SLAM 配置

看著 SLAM 系統(tǒng)專家揮動自己的 USB 攝像頭真是一件有趣的事——他們在展示他們的系統(tǒng)圍繞他們的筆記本電腦構(gòu)建周圍桌子大小區(qū)域的 3D 地圖。如果你仔細看了這些專家移動攝像頭的方式（即平穩(wěn)的圓圈運動），你幾乎就能看出一個人在 SLAM 領(lǐng)域工作了多長時間。當(dāng)一位非專家級的人拿著攝像頭時，跟蹤失敗的概率明顯更高。

我有幸在演示會議期間和 Andrew 進行了交談，我很好奇這一系列的成果（過去 15 年中）中哪一個最讓他感到驚訝。他的回答是 PTAM 最讓他吃驚，因為其表明了實時束調(diào)整執(zhí)行的方式。PTAM 系統(tǒng)本質(zhì)上是 MonoSLAM++ 系統(tǒng)，但因為采用了一種重量級算法（束調(diào)整）而顯著提高了跟蹤效果并做到了實時——在 2000 年早期 Andrew 還認為“實時”是不可能辦到的。

第三部分：深度學(xué)習(xí) vs SLAM

SLAM 小組討論真是樂趣無窮。在我們進入重要的深度學(xué)習(xí) vs SLAM討論之前，我應(yīng)該說明每一位研討會展示者都同意：語義對構(gòu)建更大更好的 SLAM 系統(tǒng)是必需的。關(guān)于未來的方向，這里有很多有趣的小對話。在爭論中，Marc Pollefeys（一位知名的 SfM 和多視角幾何研究者）提醒所有人，機器人是 SLAM 的一個殺手級應(yīng)用，并建議我們保持對大獎的關(guān)注。這令人非常驚訝，因為 SLAM 傳統(tǒng)上是適用于機器人問題的，但過去幾十年機器人并沒有什么成功（谷歌機器人？），導(dǎo)致 SLAM 的關(guān)注重點從機器人轉(zhuǎn)移到了大規(guī)模地圖構(gòu)建（包括谷歌地圖）和增強現(xiàn)實上。研討會上沒人談?wù)撨^機器人。

1.將語義信息集成到 SLAM 中

人們對將語義整合到今天最出色的 SLAM 系統(tǒng)中有很大興趣。當(dāng)涉及語義時， SLAM 社區(qū)不幸地卡在了視覺詞袋（bags-of-visual-words）的世界里，而在如何將語義信息整合進他們的系統(tǒng)上沒有什么新想法。在語義一端，我們現(xiàn)在已經(jīng)看到 CVPR/ICCV/ECCV 上冒出了很多實時語義分割演示（基于卷積神經(jīng)網(wǎng)絡(luò)）；在我看來，SLAM 需要深度學(xué)習(xí)，而深度學(xué)習(xí)也一樣需要 SLAM。

人們經(jīng)常談到將語義整合進 SLAM，但說起來容易做起來難。圖片來自 Moreno 的博士論文（142 頁）：密集型語義 SLAM

2.端到端學(xué)習(xí)會主宰 SLAM 嗎？

在 SLAM 研討會小組討論結(jié)束時，Zeeshan Zia 博士提出了一個震驚所有人的問題，并引發(fā)了一場充滿能量的討論，令人難忘。你應(yīng)該看看小組成員們臉上的表情。那就像是將一個深度學(xué)習(xí)的火球投向一群幾何學(xué)家。他們的面部表情表達出了他們的困惑、憤怒和厭惡。他們想：你怎么敢質(zhì)疑我們？正是在這些稍縱即逝的時刻，我們才能真正體會到大會的體驗。Zia 的問題基本上是：在構(gòu)建今天的 SLAM 系統(tǒng)時，端到端學(xué)習(xí)很快就將取代大部分人工勞動嗎？

Zia 的問題非常重要，因為端到端的可訓(xùn)練系統(tǒng)已經(jīng)慢慢進入到了很多高級的計算機問題中，相信 SLAM 會是一個例外是沒有道理的。有好幾位展示者都指出當(dāng)前的 SLAM 系統(tǒng)過于依賴幾何，以至于讓完全基于深度學(xué)習(xí)的 SLAM 系統(tǒng)看起來不合理了——我們應(yīng)該使用學(xué)習(xí)技術(shù)得到更好的點描述，而不要管幾何。你可以使用深度學(xué)習(xí)做一個計算器，并不意味你應(yīng)該這么做。

通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)立體相似度函數(shù)，來自 Yan LeCun 及其合作者

盡管許多小組討論發(fā)言人都使用了有些肯定不行回應(yīng)，但讓人驚訝的是，卻是 Newcombe 聲援了深度學(xué)習(xí)和 SLAM 聯(lián)姻的可能。

3.Newcombe 的提議：使用 SLAM 助力深度學(xué)習(xí)

盡管 Newcombe 在深度學(xué)習(xí)可能如何幫助 SLAM 上沒有提供很多證據(jù)或想法，但他卻為 SLAM 如何可能為深度學(xué)習(xí)提供幫助給出了一條清晰的路徑。想想看我們使用大規(guī)模 SLAM 已經(jīng)構(gòu)建出的地圖以及這些系統(tǒng)所提供的對應(yīng)——這難道不是一個構(gòu)建能幫助深度學(xué)習(xí)的萬億級圖像到圖像相關(guān)數(shù)據(jù)集的清晰路徑嗎？其基本思路是：今天的 SLAM 系統(tǒng)是大規(guī)模的對應(yīng)引擎，可以用來生成大規(guī)模數(shù)據(jù)集，而這正是深度卷積神經(jīng)網(wǎng)絡(luò)所需要的。

第四部分：結(jié)語

這次 ICCV 大會上主流的工作（重在機器學(xué)習(xí)）和本次實時 SLAM 研討會所呈現(xiàn)出現(xiàn)的工作（重在束調(diào)整等幾何方法）之間存在相當(dāng)大的脫節(jié)。主流的計算機視覺社區(qū)在過去十年內(nèi)已經(jīng)見證了多次小型變革（如：Dalal-Triggs、DPM、ImageNet、ConvNets、R-CNN），而今天的 SLAM 系統(tǒng)和它們八年前的樣子并沒有很大的不同。Kinect 傳感器可能是 SLAM 領(lǐng)域唯一的最大的徹底變革的技術(shù)，但基礎(chǔ)算法仍舊保持著原樣。

集成語義信息：視覺 SLAM 的下一個前沿. 來自 Arwen Wallington 博客的腦圖

今天的 SLAM 系統(tǒng)能幫助機器在幾何上理解眼前的世界（即在本地坐標(biāo)系中構(gòu)建關(guān)聯(lián)），而今天的深度學(xué)習(xí)系統(tǒng)能幫助機器進行分類推理（即在不同的對象實例之上構(gòu)建關(guān)聯(lián)）?？偟膩碚f，在視覺 SLAM 上，我與 Newcombe 和 Davison 一樣興奮，因為基于視覺的算法將會將增強現(xiàn)實和虛擬現(xiàn)實轉(zhuǎn)變成一個價值數(shù)十億美元的產(chǎn)業(yè)。但是，我們不應(yīng)忘記保持對那個萬億美元市場的關(guān)注，那個將重新定義 “工作” 的市場——機器人。機器人 SLAM 的時代很快就要到來了。

SLAM的前世今生

SLAM的前世

我之前從本科到研究生，一直在導(dǎo)航與定位領(lǐng)域?qū)W習(xí)，一開始偏重于高精度的慣性導(dǎo)航、衛(wèi)星導(dǎo)航、星光制導(dǎo)及其組合導(dǎo)航。出于對實現(xiàn)無源導(dǎo)航的執(zhí)念，我慢慢開始研究視覺導(dǎo)航中的SLAM方向，并與傳統(tǒng)的慣性器件做組合，實現(xiàn)獨立設(shè)備的自主導(dǎo)航定位。

定位、定向、測速、授時是人們惆悵千年都未能完全解決的問題，最早的時候，古人只能靠夜觀天象和司南來做簡單的定向。直至元代，出于對定位的需求，才華橫溢的中國人發(fā)明了令人嘆為觀止的牽星術(shù)，用牽星板測量星星實現(xiàn)緯度估計。

1964年美國投入使用GPS，突然就打破了大家的游戲規(guī)則。軍用的P碼可以達到1-2米級精度，開放給大眾使用的CA碼也能夠?qū)崿F(xiàn)5-10米級的精度。

后來大家一方面為了突破P碼封鎖，另一方面為了追求更高的定位定姿精度，想出了很多十分具有創(chuàng)意的想法來挺升GPS的精度。利用RTK的實時相位差分技術(shù)，甚至能實現(xiàn)厘米的定位精度，基本上解決了室外的定位和定姿問題。

但是室內(nèi)這個問題就難辦多了，為了實現(xiàn)室內(nèi)的定位定姿，一大批技術(shù)不斷涌現(xiàn)，其中，SLAM技術(shù)逐漸脫穎而出。SLAM是一個十分交叉學(xué)科的領(lǐng)域，我先從它的傳感器講起。

▌離不開這兩類傳感器

目前用在SLAM上的Sensor主要分兩大類，激光雷達和攝像頭。

這里面列舉了一些常見的雷達和各種深度攝像頭。激光雷達有單線多線之分，角分辨率及精度也各有千秋。SICK、velodyne、Hokuyo以及國內(nèi)的北醒光學(xué)、Slamtech是比較有名的激光雷達廠商。他們可以作為SLAM的一種輸入形式。

這個小視頻里展示的就是一種簡單的2D SLAM。

這個小視頻是賓大的教授kumar做的特別有名的一個demo，是在無人機上利用二維激光雷達做的SLAM。

而VSLAM則主要用攝像頭來實現(xiàn)，攝像頭品種繁多，主要分為單目、雙目、單目結(jié)構(gòu)光、雙目結(jié)構(gòu)光、ToF幾大類。他們的核心都是獲取RGB和depth map(深度信息)。簡單的單目和雙目（Zed、leapmotion）我這里不多做解釋，我主要解釋一下結(jié)構(gòu)光和ToF。

▌最近流行的結(jié)構(gòu)光和TOF

結(jié)構(gòu)光原理的深度攝像機通常具有激光投射器、光學(xué)衍射元件（DOE）、紅外攝像頭三大核心器件。

這個圖（下圖）摘自primesense的專利。

可以看到primesense的doe是由兩部分組成的，一個是擴散片，一個是衍射片。先通過擴散成一個區(qū)域的隨機散斑，然后復(fù)制成九份，投射到了被攝物體上。根據(jù)紅外攝像頭捕捉到的紅外散斑，PS1080這個芯片就可以快速解算出各個點的深度信息。

這兒還有兩款結(jié)構(gòu)光原理的攝像頭。

第一頁它是由兩幅十分規(guī)律的散斑組成，最后同時被紅外相機獲得，精度相對較高。但據(jù)說DOE成本也比較高。

還有一種比較獨特的方案（最后一幅圖），它采用mems微鏡的方式，類似DLP投影儀，將激光器進行調(diào)頻，通過微鏡反射出去，并快速改變微鏡姿態(tài)，進行行列掃描，實現(xiàn)結(jié)構(gòu)光的投射。（產(chǎn)自ST，ST經(jīng)常做出一些比較炫的黑科技）。

ToF（time of flight）也是一種很有前景的深度獲取方法。

傳感器發(fā)出經(jīng)調(diào)制的近紅外光，遇物體后反射，傳感器通過計算光線發(fā)射和反射時間差或相位差，來換算被拍攝景物的距離，以產(chǎn)生深度信息。類似于雷達，或者想象一下蝙蝠，softkinetic的DS325采用的就是ToF方案（TI設(shè)計的），但是它的接收器微觀結(jié)構(gòu)比較特殊，有2個或者更多快門，測ps級別的時間差，但它的單位像素尺寸通常在100um的尺寸，所以目前分辨率不高。以后也會有不錯的前景，但我覺得并不是顛覆性的。

好，那在有了深度圖之后呢，SLAM算法就開始工作了，由于Sensor和需求的不同，SLAM的呈現(xiàn)形式略有差異。大致可以分為激光SLAM（也分2D和3D）和視覺SLAM（也分Sparse、semiDense、Dense）兩類，但其主要思路大同小異。

這個是Sparse（稀疏）的

這個偏Dense（密集）的

▌SLAM算法實現(xiàn)的4要素

SLAM算法在實現(xiàn)的時候主要要考慮以下4個方面吧：

1. 地圖表示問題，比如dense和sparse都是它的不同表達方式，這個需要根據(jù)實際場景需求去抉擇

2. 信息感知問題，需要考慮如何全面的感知這個環(huán)境，RGBD攝像頭FOV通常比較小，但激光雷達比較大

3. 數(shù)據(jù)關(guān)聯(lián)問題，不同的sensor的數(shù)據(jù)類型、時間戳、坐標(biāo)系表達方式各有不同，需要統(tǒng)一處理

4. 定位與構(gòu)圖問題，就是指怎么實現(xiàn)位姿估計和建模，這里面涉及到很多數(shù)學(xué)問題，物理模型建立，狀態(tài)估計和優(yōu)化

其他的還有回環(huán)檢測問題，探索問題（exploration），以及綁架問題（kidnapping）。

這個是一個比較有名的SLAM算法，這個回環(huán)檢測就很漂亮。但這個調(diào)用了cuda，gpu對運算能力要求挺高，效果看起來比較炫。

▌以VSLAM舉個栗子

我大概講一種比較流行的VSLAM方法框架。

整個SLAM大概可以分為前端和后端，前端相當(dāng)于VO（視覺里程計），研究幀與幀之間變換關(guān)系。首先提取每幀圖像特征點，利用相鄰幀圖像，進行特征點匹配，然后利用RANSAC去除大噪聲，然后進行匹配，得到一個pose信息（位置和姿態(tài)），同時可以利用IMU（Inertial measurement unit慣性測量單元）提供的姿態(tài)信息進行濾波融合

后端則主要是對前端出結(jié)果進行優(yōu)化，利用濾波理論（EKF、UKF、PF）、或者優(yōu)化理論TORO、G2O進行樹或者圖的優(yōu)化。最終得到最優(yōu)的位姿估計。

后端這邊難點比較多，涉及到的數(shù)學(xué)知識也比較多，總的來說大家已經(jīng)慢慢拋棄傳統(tǒng)的濾波理論走向圖優(yōu)化去了。

因為基于濾波的理論，濾波器穩(wěn)度增長太快，這對于需要頻繁求逆的EKF（擴展卡爾曼濾波器），PF壓力很大。而基于圖的SLAM，通常以keyframe（關(guān)鍵幀）為基礎(chǔ)，建立多個節(jié)點和節(jié)點之間的相對變換關(guān)系，比如仿射變換矩陣，并不斷地進行關(guān)鍵節(jié)點的維護，保證圖的容量，在保證精度的同時，降低了計算量。

列舉幾個目前比較有名的SLAM算法：PTAM,MonoSLAM, ORB-SLAM,RGBD-SLAM,RTAB-SLAM,LSD-SLAM。

所以大家如果想學(xué)習(xí)SLAM的話，各個高校提高的素材是很多的，比如賓大、MIT、ETH、香港科技大學(xué)、帝國理工等等都有比較好的代表作品，還有一個比較有前景的就是三維的機器視覺，普林斯頓大學(xué)的肖劍雄教授結(jié)合SLAM和Deep Learning做一些三維物體的分類和識別， 實現(xiàn)一個對場景深度理解的機器人感知引擎。

http://robots.princeton.edu/talks/2016_MIT/RobotPerception.pdf這是他們的展示。

總的來說，SLAM技術(shù)從最早的軍事用途（核潛艇海底定位就有了SLAM的雛形）到今天，已經(jīng)逐步走入人們的視野，掃地機器人的盛行更是讓它名聲大噪。同時基于三維視覺的VSLAM越來越顯主流。在地面/空中機器人、VR/AR/MR、汽車/AGV自動駕駛等領(lǐng)域，都會得到深入的發(fā)展，同時也會出現(xiàn)越來越多的細分市場等待挖掘。

這個是occipital團隊出的一個產(chǎn)品，是個很有意思的應(yīng)用，國內(nèi)賣4000+，大概一個月1000出貨量吧（雖然不是很多，但是效果不錯，pad可玩）虛擬家居、無人飛行／駕駛、虛擬試衣、3D打印、刑偵現(xiàn)場記錄、沉浸式游戲、增強現(xiàn)實、商場推送、設(shè)計輔助、地震救援、工業(yè)流水線、GIS采集等等，都等待著VSLAM技術(shù)一展宏圖

▌SLAM的今生——還存在著問題

多傳感器融合、優(yōu)化數(shù)據(jù)關(guān)聯(lián)與回環(huán)檢測、與前端異構(gòu)處理器集成、提升魯棒性和重定位精度都是SLAM技術(shù)接下來的發(fā)展方向，但這些都會隨著消費刺激和產(chǎn)業(yè)鏈的發(fā)展逐步解決。就像手機中的陀螺儀一樣，在不久的將來，也會飛入尋常百姓家，改變?nèi)祟惖纳睢?/p>

不過說實話，SLAM在全面進入消費級市場的過程中，也面對著一些阻力和難題。比如Sensor精度不高、計算量大、Sensor應(yīng)用場景不具有普適性等等問題。

多傳感器融合、優(yōu)化數(shù)據(jù)關(guān)聯(lián)與回環(huán)檢測、與前端異構(gòu)處理器集成、提升魯棒性和重定位精度都是SLAM技術(shù)接下來的發(fā)展方向，但這些都會隨著消費刺激和產(chǎn)業(yè)鏈的發(fā)展逐步解決。就像手機中的陀螺儀一樣，在不久的將來，也會飛入尋常百姓家，改變?nèi)祟惖纳睢?/p>

（激光雷達和攝像頭兩種 SLAM 方式各有什么優(yōu)缺點呢，有沒有一種綜合的方式互補各自的缺點的呢？）

激光雷達優(yōu)點是可視范圍廣，但是缺點性價比低，低成本的雷達角分辨率不夠高，影響到建模精度。vSLAM的話缺點就是FOV通常不大，50-60degree，這樣高速旋轉(zhuǎn)時就容易丟，解決方案有的，我們公司就在做vSLAM跟雷達還有IMU的組合。

（請問目前基于視覺的SLAM的計算量有多大？嵌入式系統(tǒng)上如果要做到實時30fps，是不是只有Nvidia的芯片（支持cuda）才可以？）

第一個問題，雖然基于視覺的SLAM計算量相對較大，但在嵌入式系統(tǒng)上是可以跑起來的，Sparse的SLAM可以達到30-50hz（也不需要GPU和Cuda），如果dense的話就比較消耗資源，根據(jù)點云還有三角化密度可調(diào)，10－20hz也是沒有問題。

并不一定要用cuda，一些用到cuda和GPU的算法主要是用來加速SIFT、ICP，以及后期三角化和mesh的過程，即使不用cuda可以采用其他的特征點提取和匹配策略也是可以的。

▌最后一個問題

想了解下，您對機器人的未來趨勢怎么看？

這個問題就比較大了。

機器人產(chǎn)業(yè)是個很大的Ecosystem，短時間來講，可能產(chǎn)業(yè)鏈不夠完整，消費級市場缺乏爆點爆款。雖然大家都在談?wù)撟鰴C器人，但是好多公司并沒有解決用戶痛點，也沒有為機器人產(chǎn)業(yè)鏈創(chuàng)造什么價值。

但是大家可以看到， 大批缺乏特色和積淀的機器人公司正在被淘汰，行業(yè)格局越來越清晰，分工逐漸完善，一大批細分市場成長起來。

從機器人的感知部分來說，傳感器性能提升、前端處理（目前的sensor前端處理做的太少，給主CPU造成了很大的負擔(dān)）、多傳感器融合是一個很大的增長點。

現(xiàn)在人工智能也開始揚頭，深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)專用的分布式異構(gòu)處理器及其協(xié)處理器成為緊急需求，我個人很希望國內(nèi)有公司能把這塊做好。

也有好多創(chuàng)業(yè)公司做底層工藝比如高推重比電機、高能量密度電池、復(fù)合材料，他們和機器人產(chǎn)業(yè)的對接，也會加速機器人行業(yè)的發(fā)展。整個機器人生態(tài)架構(gòu)會越來越清晰，從硬件層到算法層到功能層到SDK 再到應(yīng)用層，每一個細分領(lǐng)域都有公司切入，隨著這些產(chǎn)業(yè)節(jié)點的完善，能看到機器人行業(yè)的前景還是很棒的，相信不久之后就會迎來堪比互聯(lián)網(wǎng)的指數(shù)式增長！

責(zé)任編輯：lq