自動(dòng)駕駛的感知定位與高精地圖解決方案

在研究和實(shí)踐感知定位的時(shí)候，你是否遇到以下這些問(wèn)題：環(huán)境感知、高精定位與高精地圖三者之間的關(guān)系是什么？為使得自動(dòng)駕駛落地更可期，環(huán)境感知、高精定位與高精地圖三者應(yīng)該如何配合？眾包高精地圖的構(gòu)建條件是什么？如何平衡高清定位中各傳感器的權(quán)重問(wèn)題？本文為你解答。

本文為DeepMotion聯(lián)合創(chuàng)始人兼CEO蔡銳講課的圖文實(shí)錄，主題為《自動(dòng)駕駛的感知定位與高精地圖解決方案》。首先，一起了解下課程的提綱：

1、自動(dòng)駕駛中的感知定位與高精地圖

2、如何構(gòu)建高精地圖眾包解決方案

3、DeepMotion感知定位解決方案解析

4、落地案例

在瀏覽正文之前，可以先思考以下幾個(gè)問(wèn)題：

-環(huán)境感知、高精定位與高精地圖三者之間的關(guān)系是什么？

-為使得自動(dòng)駕駛落地更可期，環(huán)境感知、高精定位與高精地圖三者應(yīng)該如何配合？

-眾包高精地圖的構(gòu)建條件是什么？

-DeepMotion自動(dòng)駕駛系統(tǒng)有什么優(yōu)勢(shì)？

-如何平衡高清定位中各傳感器的權(quán)重問(wèn)題？

主講實(shí)錄

蔡銳：大家晚上好，我是DeepMotion的蔡銳。非常高興有機(jī)會(huì)和大家交流，也非常開(kāi)心在周末的晚上能有這么多的朋友來(lái)參與公開(kāi)課，感謝大家。

我今天分享的主題是自動(dòng)駕駛的感知定位與高精地圖解決方案。

自動(dòng)駕駛的感知定位和高精地圖，隨便抽取任何一個(gè)環(huán)節(jié)出來(lái)都足夠講一天，因此今天在這里就利用時(shí)間和大家主要是分享一下我們對(duì)這幾大塊之間的一些想法和認(rèn)知。

首先介紹一下我們自己，深動(dòng)科技成立于2017年7月，整個(gè)團(tuán)隊(duì)專(zhuān)注于為高級(jí)別智能駕駛提供安全可靠、可量產(chǎn)的環(huán)境感知、高清地圖構(gòu)建以及高精定位的解決方案。

創(chuàng)始團(tuán)隊(duì)主要來(lái)自微軟研究院，均從事了多年的計(jì)算機(jī)視覺(jué)，包括立體視覺(jué)以及深度學(xué)習(xí)相關(guān)的一些工作。微軟的一些核心產(chǎn)品比如必應(yīng)搜索、Hololens與微軟認(rèn)知服務(wù)也都有我們的貢獻(xiàn)，我們?cè)谶@塊有著豐富的經(jīng)驗(yàn)和積累。

從最早的DARPA智能駕駛比賽到Google在2009年開(kāi)始做這件事情，再到Waymo以及到目前國(guó)內(nèi)外各種自動(dòng)駕駛技術(shù)的逐漸成熟。我們可以看到，在不計(jì)成本的情況下，從技術(shù)方面來(lái)說(shuō)，自動(dòng)駕駛的可行性已經(jīng)得到了較為充分的驗(yàn)證。所以目前在整個(gè)發(fā)展過(guò)程中，大家更愿意或者更需要花力氣去做一些事情，如何在成本和性能之間達(dá)到一個(gè)更好的平衡，這也是整個(gè)商業(yè)發(fā)展所必然經(jīng)歷的一個(gè)過(guò)程，類(lèi)似地，從最早的飛機(jī)的發(fā)明到商用也是這樣的一個(gè)過(guò)程。深動(dòng)科技希望在這個(gè)過(guò)程中，立足于技術(shù)創(chuàng)新，推動(dòng)整個(gè)高級(jí)別智能駕駛技術(shù)的逐步落地和深化。

今天主要和大家分享三個(gè)部分的內(nèi)容：

1，環(huán)境感知、高精定位與高精地圖，分享一下我們對(duì)高級(jí)別智能駕駛中環(huán)境感知、高精定位與高精地圖這三個(gè)模塊之間的關(guān)系的理解；

2，解決方案：眾包高精地圖構(gòu)建，講解一下在眾包高清地圖構(gòu)建方面的一些解決方案；

3，基于高精地圖的感知與定位。

首先來(lái)談?wù)劦谝徊糠?，關(guān)于環(huán)境感知、高精定位和高清地圖之間的關(guān)系以及我們的一些思考。

關(guān)于智能駕駛，普通大眾最了解以及最能直觀感受的就是環(huán)境感知這部分了，環(huán)境感知是智能駕駛中相對(duì)于現(xiàn)有的汽車(chē)工業(yè)來(lái)說(shuō)的一個(gè)全新模組，因此也得到了最多的關(guān)注。

目前在環(huán)境感知方面，大家可能有不同的方案，有激光雷達(dá)方案，分為高線束和低線束；也會(huì)有傳統(tǒng)的視覺(jué)方案，使用攝像頭；毫米波雷達(dá)的微波反射信號(hào)等；對(duì)于激光雷達(dá)，大家最主要的工作就是從點(diǎn)云中快速地分辨出障礙物和有語(yǔ)義信息的物體，比如行人、車(chē)輛等；在視覺(jué)方面，如上圖所示，要判斷圖像中每個(gè)像素的類(lèi)別，從而達(dá)到對(duì)環(huán)境的語(yǔ)義理解；相對(duì)而言，毫米波雷達(dá)的信號(hào)主要是一些微波反射，現(xiàn)在一些可以成像的毫米波雷達(dá)技術(shù)也在發(fā)展之中。目前還有一些多傳感器融合的工作，比如把激光點(diǎn)云信號(hào)和圖像信號(hào)對(duì)齊，然后在更高維的特征空間中去做一些事情，這些都是很好的趨勢(shì)。這里我想強(qiáng)調(diào)一點(diǎn)，目前的感知技術(shù)基本上也只是用了傳感器本身的信息而已，并沒(méi)有去考慮別的可能有用的信息。

高精定位，可能在相應(yīng)的科技報(bào)道里面提的會(huì)比較少，但是相信對(duì)于智能駕駛的從業(yè)者來(lái)說(shuō)，對(duì)這一塊都應(yīng)該是非常熟悉。目前高級(jí)別智能駕駛的解決方案，基本上還是采用了最早的測(cè)繪級(jí)定位手段，主要是依賴(lài)專(zhuān)業(yè)級(jí)的GNSS，再加上一個(gè)專(zhuān)業(yè)級(jí)陀螺儀做的INS來(lái)做車(chē)輛的姿態(tài)估計(jì)，為了能達(dá)到車(chē)道級(jí)別的定位準(zhǔn)確性，會(huì)輔以RTK信號(hào)，可以用自建的基站或者是用千尋位置等企業(yè)提供的RTK服務(wù)。

對(duì)于高精定位這種專(zhuān)業(yè)級(jí)的設(shè)備，如果要求在GPS失鎖時(shí)的精度能達(dá)到足夠高，那么對(duì)慣導(dǎo)本身的要求以及價(jià)格成本就會(huì)呈指數(shù)級(jí)增長(zhǎng)，市面上大家能用的設(shè)備，便宜的可能是數(shù)萬(wàn)塊錢(qián)，如果不計(jì)成本，那么價(jià)格在30萬(wàn)以上都會(huì)是有的。

大部分無(wú)人駕駛系統(tǒng)中，高精定位做為一個(gè)獨(dú)立運(yùn)作的功能模塊，主要是通過(guò)衛(wèi)星和慣導(dǎo)信號(hào)的組合來(lái)得到對(duì)車(chē)輛位置的獨(dú)立估計(jì)。這在以尋跡為主，或者一些規(guī)定路線駕駛中也能達(dá)到很好的效果。但是在一些更廣闊的使用環(huán)境里面，比如城區(qū)高樓密集的情況下，也會(huì)是有一定的挑戰(zhàn)。

現(xiàn)在高精地圖領(lǐng)域，主要是以圖商為主在做一些高精地圖的繪制和采集。目前比較成熟的方式還是采用專(zhuān)業(yè)測(cè)繪的方式，就是用激光和高精定位結(jié)合的方式對(duì)環(huán)境進(jìn)行三維掃描和重建。

目前一輛專(zhuān)業(yè)級(jí)的采集設(shè)備，價(jià)格可能是800萬(wàn)到1000多萬(wàn)，稍微便宜一點(diǎn)的，至少也得百萬(wàn)起步。

在采集的過(guò)程中，專(zhuān)業(yè)技術(shù)人員在每次作業(yè)之前都會(huì)對(duì)車(chē)輛和設(shè)備進(jìn)行校準(zhǔn)，在需要的情況下，會(huì)輔以RTK的基站來(lái)規(guī)劃采集的路線。因此可以看出人力成本也是不可忽略的。

此外，內(nèi)外業(yè)人員的配比目前也是行業(yè)的一個(gè)痛點(diǎn)，因?yàn)橥鈽I(yè)采集一公里的數(shù)據(jù)，內(nèi)業(yè)處理的時(shí)間或者處理的人數(shù)會(huì)達(dá)到1:5或者是1:6，甚至是更高的配比。

目前高精地圖的繪制會(huì)把更多更精確的信息記錄下來(lái)，包括坐標(biāo)的信息，比如坡度、橫坡、曲率等。在有可能的情況下，還會(huì)進(jìn)一步記錄路面的反射率，這主要是為了后期能識(shí)別路面的交通標(biāo)識(shí)，以及希望反射率能夠在一定條件下提供一些可能會(huì)用到的定位幫助。

目前來(lái)說(shuō)，對(duì)于智能駕駛中的環(huán)境感知、高精地圖的繪制以及高精定位這三塊來(lái)說(shuō)，我們認(rèn)為在絕大多數(shù)現(xiàn)有的應(yīng)用中還是一種比較松散的耦合。環(huán)境感知就是做好自己的事情，處理好一個(gè)或多個(gè)傳感器的信號(hào)輸入，盡量基于傳感器的輸入信息判斷出周?chē)h(huán)境存在的障礙物以及相關(guān)的環(huán)境信息；對(duì)于圖商來(lái)說(shuō)，就是盡可能地用最好的設(shè)備和最好的工藝把所有能記錄下來(lái)的信息都記錄下來(lái)，并做一個(gè)高精度高質(zhì)量的地圖；對(duì)于高精定位來(lái)說(shuō)，就是使用最好的位導(dǎo)加慣導(dǎo)設(shè)備，即使是在衛(wèi)星信號(hào)失鎖的情況下，也提供盡可能高的定位精度。

最終這三個(gè)模塊的信息都交給決策控制模塊。決策和控制模塊會(huì)首先根據(jù)高精定位返回的厘米級(jí)精度的GPS位置去查詢(xún)高精地圖，從而得到前方的道路拓?fù)浣Y(jié)構(gòu)、所處車(chē)道以及車(chē)的行走軌跡和相應(yīng)車(chē)道的GPS坐標(biāo)等。環(huán)境感知模塊負(fù)責(zé)在行進(jìn)的過(guò)程中不要撞上別的障礙物。因此，可以看到這三塊都是比較獨(dú)立地為決策控制模塊提供輸入信號(hào)，讓決策控制模塊做出后續(xù)的判斷和操作。

我們認(rèn)為這三者應(yīng)該是以一種更加緊密的方式來(lái)進(jìn)行聯(lián)系。

首先高精地圖和環(huán)境感知的關(guān)系。上圖是中關(guān)村路口的一張照片，我每天都會(huì)經(jīng)過(guò)這個(gè)路口，我是從東往南走，會(huì)在橋上進(jìn)行左轉(zhuǎn)，在左轉(zhuǎn)的時(shí)候，司機(jī)都會(huì)看見(jiàn)三個(gè)燈，我發(fā)現(xiàn)很多司機(jī)都會(huì)非常的猶豫應(yīng)該按照哪一個(gè)紅綠燈的指示來(lái)操作，當(dāng)B處的綠燈亮?xí)r，很多的司機(jī)都會(huì)下意識(shí)地松開(kāi)剎車(chē)向前開(kāi)，發(fā)現(xiàn)不對(duì)后又停了下來(lái)。

其實(shí)細(xì)心的同學(xué)可以看到左轉(zhuǎn)的控制燈是在C位置上一個(gè)比較小的紅綠燈，因?yàn)槲医?jīng)常經(jīng)過(guò)這個(gè)地方，所以我在熟悉了環(huán)境以后，知道應(yīng)該在什么地方去找紅綠燈。這就告訴我們一件事情，在環(huán)境感知時(shí)，環(huán)境的上下文會(huì)為環(huán)境感知提供很多有用的信息。有了環(huán)境上下文以后，我就會(huì)直接去C位置看紅綠燈顏色的變化，而不會(huì)在AB處找。從機(jī)器層面來(lái)講，首先計(jì)算量會(huì)大大減少，同時(shí)也有助于提高及機(jī)器判斷的準(zhǔn)確率。

當(dāng)然這只是例子，在未來(lái)的使用，對(duì)于可以通過(guò)信號(hào)控制的設(shè)備，更有可能是使用V2X的方式來(lái)處理，這里只是作為一個(gè)例子，告訴大家語(yǔ)義上下文對(duì)于環(huán)境理解的準(zhǔn)確率是很有幫助的，而我們?nèi)艘彩堑拇_是這樣去做的。

這張圖表明的是定位的方式，人類(lèi)對(duì)于自己所處位置的定位是標(biāo)準(zhǔn)的三角定位過(guò)程，通過(guò)比對(duì)環(huán)境中的一些參照物來(lái)確定自己的相對(duì)位置，這與GPS的絕對(duì)定位是存在著本質(zhì)差異的。

絕對(duì)的GPS定位，可以認(rèn)為是閉著眼睛的。會(huì)有廣播輸入告訴現(xiàn)在所觀察到的衛(wèi)星的位置，同時(shí)會(huì)有一個(gè)陀螺儀，通過(guò)觀察陀螺儀的的運(yùn)動(dòng)來(lái)判斷自身的瞬時(shí)運(yùn)動(dòng)。

但是人類(lèi)在定位的時(shí)候，更多依靠的是用眼睛觀察周?chē)沫h(huán)境和物體，從而判斷自己的相對(duì)位置。我們知道，絕對(duì)定位會(huì)受GPS信號(hào)的影響，比如很長(zhǎng)的隧道或者是山區(qū)?？紤]到這些情況，通過(guò)比對(duì)參照物的方式來(lái)做相對(duì)的定位也是很需要的。這也是高精地圖和高精定位應(yīng)該產(chǎn)生更緊密聯(lián)系的佐證吧。

基于以上的觀察，我們把前圖重新修正了一下。我們認(rèn)為在這個(gè)過(guò)程中，高精地圖、環(huán)境感知以及高精定位應(yīng)該是更緊密的耦合。高精地圖可以為環(huán)境感知提供上下文，也能為高精相對(duì)定位做一些很好的參照物比對(duì)。同時(shí)在實(shí)操中，基于高精定位和環(huán)境感知的結(jié)果，也可以實(shí)時(shí)地對(duì)高精地圖中的一些變化部分進(jìn)行實(shí)時(shí)修正。因此這三個(gè)模塊在自動(dòng)駕駛車(chē)輛中應(yīng)該是以更緊密耦合的運(yùn)行方式。

在目前情況下，松散地使用高精地圖、高精定位和環(huán)境感知模組有助于快速交付可以運(yùn)行的Demo。但是從長(zhǎng)期來(lái)說(shuō)，我們認(rèn)為這三部分的緊密耦合一定有助于提高環(huán)境感知和定位的精度。同時(shí)一定程度上也可以降低對(duì)設(shè)備的要求，從而使自動(dòng)駕駛的落地更可預(yù)期。

接下來(lái)講解一下第二部分，我們對(duì)眾包高精地圖構(gòu)建的一些思考。

首先我們認(rèn)為，不管用什么方式來(lái)做高精地圖，都應(yīng)該滿足以下三個(gè)要求：

1、支持國(guó)標(biāo)中所定義的各種車(chē)道線、交通標(biāo)識(shí)、道路標(biāo)牌，道路的彎度曲率等豐富的道路元素及屬性。這些屬性有些是測(cè)量一次之后可以長(zhǎng)期使用的，比如一條路在修了以后，它的曲率、坡度等物理特征基本上都是定義好了的。其他的如交通標(biāo)識(shí)、路面施畫(huà)以及周?chē)穆放贫寄苡锌赡芙?jīng)常變化，地圖需要很好的體現(xiàn)這些變化。

另外，根據(jù)不同的應(yīng)用需求，我們還會(huì)擴(kuò)展加入一些道路元素，比如道路中間的隔擋、燈桿或者別的參照物等。因此制圖的流程也應(yīng)該能夠比較好地支持這些定制化的地圖元素。

2、需要滿足高級(jí)別自動(dòng)駕駛對(duì)高精地圖精度的需求，也就是達(dá)到厘米級(jí)。

3、在實(shí)際應(yīng)用中，除了上面第二條提到的對(duì)地圖精度的需求以外，為了使得地圖活性得到保證，需要可接受的采集成本和采集周期。在設(shè)計(jì)地圖制作方案的時(shí)候，必須要考慮到這一點(diǎn)。初期階段大家可以不計(jì)成本，不計(jì)代價(jià)地做出第一版底圖。但是在規(guī)?；a(chǎn)應(yīng)用以后，還是要慮到自動(dòng)化、更新頻次和采集成本等因素。

我們?cè)O(shè)計(jì)的可眾包高精地圖構(gòu)建分成端和云兩部分。

在端這一部分，我們會(huì)通過(guò)車(chē)載的GNSS以及慣導(dǎo)來(lái)做兩方面事情。一方面是估計(jì)車(chē)輛自運(yùn)動(dòng)，得到車(chē)輛的6-DOF位姿。從上圖可以看到，在實(shí)踐中我們會(huì)用一些語(yǔ)義級(jí)的特征，首先對(duì)圖像進(jìn)行地圖元素的識(shí)別和分割，再對(duì)識(shí)別結(jié)果進(jìn)行比對(duì)，然后結(jié)合慣導(dǎo)和GPS的信息來(lái)比較準(zhǔn)確地估計(jì)車(chē)輛6-DOF的姿態(tài)。

當(dāng)有了姿態(tài)之后，可以很方便地把剛才圖像識(shí)別所得到的一些地圖元素進(jìn)行矢量化的抽取，其中涉及到一些比較復(fù)雜的處理，比如道路平面的估計(jì)以及識(shí)別結(jié)果的規(guī)整，使其標(biāo)準(zhǔn)化。結(jié)合姿態(tài)，可以很自然地把這些元素放在三維空間中。

我們統(tǒng)計(jì)了一下相關(guān)的一些數(shù)據(jù)，如果真正要做一個(gè)高效的采集系統(tǒng)，目前傳統(tǒng)的內(nèi)外業(yè)方式不一定完全適用，因?yàn)榇罅繑?shù)據(jù)不能夠?qū)崟r(shí)處理，也就不可能眾包。同時(shí)大數(shù)據(jù)的拷貝、遷移等也會(huì)對(duì)整個(gè)地圖的生產(chǎn)過(guò)程造成比較大的延時(shí)。

因此我們提倡的是把矢量化的地圖元素結(jié)合當(dāng)前采集車(chē)輛的6-DOF位姿進(jìn)行打包后壓縮，然后傳回云端。我們估計(jì)在城區(qū)中的數(shù)據(jù)量大概在40-50KB/Km，城區(qū)道路元素相對(duì)多一點(diǎn)，而對(duì)于高速公路來(lái)說(shuō)，數(shù)據(jù)量要小很多。

對(duì)于眾包車(chē)輛來(lái)說(shuō)，我們可以要求它只提供矢量化的元素。如果是希望做從0到1的制圖過(guò)程，我們也支持存儲(chǔ)一些關(guān)鍵幀，以便后期對(duì)制圖的質(zhì)量進(jìn)行更好的把控。

在基于眾包的情況下，傳回云端的數(shù)據(jù)主要包括車(chē)輛姿態(tài)以及一些矢量化的道路元素。我們會(huì)根據(jù)車(chē)輛所在的位置（絕對(duì)坐標(biāo)）對(duì)其進(jìn)行一些分組。大家都知道在傳統(tǒng)的作圖過(guò)程中，是分成小塊一個(gè)個(gè)進(jìn)行處理的。類(lèi)似地，我們也會(huì)把地圖分成幾塊，每一塊里面會(huì)做相應(yīng)的層級(jí)空間聚類(lèi)。

對(duì)于每一塊中的軌跡，包括相應(yīng)幀中的姿態(tài)以及關(guān)鍵幀中的矢量化地圖元素，如何從不同的軌跡中去找到它們之間的相對(duì)關(guān)系，比如如何快速地判斷本次采集中的某個(gè)路口的某個(gè)箭頭和前次采集中的箭頭是不是同一個(gè)。

當(dāng)你能夠很高效準(zhǔn)確地做這一點(diǎn)以后，那么就會(huì)在多條軌跡之間建立約束。一方面可以連在一起生成更大的軌跡地圖，另一方面，這些約束會(huì)對(duì)整個(gè)軌跡的幾何結(jié)構(gòu)優(yōu)化產(chǎn)生相當(dāng)重要的作用。這整個(gè)過(guò)程都是在云端進(jìn)行的，最后的輸出就是大畫(huà)幅、大尺寸、矢量化的高精地圖。

為能達(dá)上述目的，這是我們現(xiàn)在在車(chē)端使用的基于NVIDIA TX-2的算力單元。這塊小板上既有CPU也有GPU。CPU主要負(fù)責(zé)同步GNSS、IMU、Camera的時(shí)序信號(hào)、負(fù)責(zé)整個(gè)車(chē)輛的自運(yùn)動(dòng)估計(jì)，以及輸出矢量化的地圖元素。另外我們會(huì)利用板上的GPU來(lái)做道路元素的識(shí)別和分割?？梢钥吹?，這塊板卡的算力要承擔(dān)比較多的任務(wù)，因此如何在時(shí)間上和不同線程之間合理地分配計(jì)算資源，保證在車(chē)輛軌跡不丟失的情況下，保證比較高準(zhǔn)確率的道路元素抽取，這是一個(gè)很大的挑戰(zhàn)。其中會(huì)有非常多的研發(fā)和調(diào)試的工作需要去做。

以目前的技術(shù)水平，基于這樣的板卡基本上能做到10fps以上的處理速度，在車(chē)速80-90km/h的情況下也能滿足作圖的需求。

這是一個(gè)真正在云端多軌跡融合的例子，真實(shí)情況較為復(fù)雜。在不同情況下，采集車(chē)輛所處的車(chē)道不一樣，所看見(jiàn)的視野也不一樣，在不同視野里，不同地圖元素的準(zhǔn)確精度也是不一樣的，這點(diǎn)做視覺(jué)的人都應(yīng)該知道，所以在多個(gè)軌跡中不僅僅有軌跡的拓?fù)浣Y(jié)構(gòu)，你所看見(jiàn)的元素可能也會(huì)有些差異，那么估計(jì)出來(lái)的矢量化地圖元素的坐標(biāo)可能也會(huì)有不同的精度。其中最核心的算法就是不同軌跡中地圖元素的配準(zhǔn)。還有一個(gè)難點(diǎn)是基于矢量化的地圖元素和采集車(chē)的行進(jìn)軌跡，推理出道路的拓?fù)浣Y(jié)構(gòu)，這些事情也是放在云端來(lái)做的。

接下來(lái)講解一下第三部分，我們?cè)诨诟呔貓D的感知與定位上的一些想法。

這是我們現(xiàn)在所研發(fā)方案的一些功能特點(diǎn)。首先我們還是堅(jiān)持以視覺(jué)為主，因?yàn)槲覀冋J(rèn)為視覺(jué)的潛能還是很大的。當(dāng)然我們也不排斥多傳感器，因?yàn)橐牒芸斓膶?shí)用，在現(xiàn)有的情況下還是需要多傳感器冗余的信號(hào)輔助，因此我們的方案會(huì)輔以低線束激光雷達(dá)來(lái)做這件事情。

而我們希望能達(dá)到的效果是即使在GPS信號(hào)比較弱的區(qū)域，仍然能夠提供一個(gè)足以支持高級(jí)別智能駕駛的定位精度。

另外，我們的方案也會(huì)支持多種不同的攝像頭、激光雷達(dá)、GNSS/IMU模組，從而提供在未來(lái)一定時(shí)間內(nèi)，市場(chǎng)可接受的一種硬件配置。

這張圖是我們的整個(gè)系統(tǒng)架構(gòu)，實(shí)踐中它們的關(guān)系比較復(fù)雜。我盡量把它呈現(xiàn)出來(lái)，希望能給大家解釋清楚。

這里面主要有兩件事情，分別是高精定位和環(huán)境感知。

在高精定位中，整個(gè)系統(tǒng)會(huì)有IMU和GPS信號(hào)輸入。通過(guò)攝像頭獲取圖像，進(jìn)而通過(guò)感知模塊把地圖元素給抽取出來(lái)。地圖元素和高精地圖做比，再結(jié)合GPS和IMU信號(hào)，得出高精度的定位坐標(biāo)。

當(dāng)有了高精定位以后，我們可以把地圖在當(dāng)前視野里進(jìn)行一個(gè)反投?？梢园训貓D的投影看作是一種mask，mask中標(biāo)記出地圖元素應(yīng)該出現(xiàn)在當(dāng)前視野中的哪些位置。之后再結(jié)合攝像頭和激光雷達(dá)，就能夠做到更好的環(huán)境感知。

這里會(huì)出現(xiàn)雞和蛋的問(wèn)題。環(huán)境感知希望地圖投影給它一個(gè)mask，能夠讓它做得更準(zhǔn)。但為了得到地圖投影，又需要知道當(dāng)前車(chē)輛的位置和姿態(tài)。而定位本身又依賴(lài)于環(huán)境感知部分從當(dāng)前圖片中抽取的地圖元素。

因此在實(shí)操中，這是一個(gè)迭代的過(guò)程。在t+1的時(shí)刻，即使這時(shí)還沒(méi)有高精定位的位置，也會(huì)根據(jù)前一時(shí)刻t的位置來(lái)做一個(gè)預(yù)測(cè)。這個(gè)預(yù)測(cè)的位姿會(huì)用來(lái)做地圖投影。在有了地圖投影之后，把投影輸入到環(huán)境感知模塊中，再進(jìn)行t+1時(shí)刻地圖元素的抽取，進(jìn)而去改進(jìn)t+1時(shí)刻的高精定位。

在實(shí)操中會(huì)發(fā)現(xiàn)地圖投影并不需要是非常準(zhǔn)確的位姿。地圖投影本身只是提供圖像中的一個(gè)大概的目標(biāo)區(qū)域，來(lái)告知感知模組哪里有需要識(shí)別的環(huán)境語(yǔ)義標(biāo)識(shí)。

高精定位本質(zhì)上就是一個(gè)優(yōu)化問(wèn)題，我們有GPS觀測(cè)、慣導(dǎo)觀測(cè)以及地圖和圖像中地圖元素檢測(cè)結(jié)果之間匹配狀況的關(guān)系。這里有多重約束，不同約束會(huì)對(duì)應(yīng)車(chē)輛位姿的不同部分，比如GPS是對(duì)position（位置）的約束，IMU會(huì)約束車(chē)輛的orientation（朝向）和時(shí)序上的位置變化。而地圖與圖像的比對(duì)會(huì)對(duì)位置和朝向的6-DOF（自由度）都會(huì)有約束。

實(shí)操中最難的是如何根據(jù)在車(chē)輛行進(jìn)過(guò)程中去自適應(yīng)調(diào)整不同的約束在整個(gè)優(yōu)化cost中的權(quán)重。舉個(gè)例子，在過(guò)隧道的時(shí)候，我們完全不應(yīng)該去相信GPS信號(hào)，需要直接忽略它了cost。此外在實(shí)際上也會(huì)考慮到傳感器本身置信度，比如IMU的噪音漂移等情況。這就需要去預(yù)測(cè)這幾個(gè)信號(hào)之間可信度的時(shí)序變化，并對(duì)此進(jìn)行建模，從而幫助不斷調(diào)整不同約束在融合中的權(quán)重。

最后，深度學(xué)習(xí)對(duì)圖像處理的幀率可能不夠高。但操控車(chē)輛的時(shí)候，往往需要更高幀率的位姿輸出。這里就涉及到在圖像間進(jìn)行姿態(tài)插值，利用IMU信號(hào)來(lái)得到更高頻的輸出，這些也是實(shí)際中所需要考慮的問(wèn)題。

對(duì)于環(huán)境感知來(lái)說(shuō)，毋庸置疑，大家首先會(huì)考慮使用RGB的圖像信息，也會(huì)把Lidar的空間數(shù)據(jù)放進(jìn)感知系統(tǒng)中，同時(shí)比較重要的是會(huì)把高清地圖在當(dāng)前幀的投影也輸入到神經(jīng)網(wǎng)絡(luò)中。因此我們神經(jīng)網(wǎng)絡(luò)有三種不同信號(hào)的輸入。

對(duì)于神經(jīng)網(wǎng)絡(luò)的輸出，一方面是比較標(biāo)準(zhǔn)的像素級(jí)圖像的語(yǔ)義分割，同時(shí)我們還會(huì)恢復(fù)一個(gè)非常稠密的深度圖。在這個(gè)稠密的深度圖恢復(fù)過(guò)程中，我們用到了高精地圖對(duì)路平面的估計(jì)，也用到了Lidar點(diǎn)云以及圖像的信息，使得最終的數(shù)據(jù)是一個(gè)比較稠密的深度圖。神經(jīng)網(wǎng)絡(luò)會(huì)同時(shí)輸出空間和語(yǔ)義這兩方面的信息。這是一個(gè)在比較底層的特征融合，體現(xiàn)在網(wǎng)絡(luò)本身的結(jié)構(gòu)和權(quán)重的優(yōu)化過(guò)程中。

每幀數(shù)據(jù)都有了這兩方面的信息以后，可以建立一個(gè)local（本地）的空間坐標(biāo)系。在這個(gè)坐標(biāo)系中，路平面、車(chē)輛、交通標(biāo)識(shí)等都可以用一種真3D的模式得到表現(xiàn)。這也為后續(xù)車(chē)輛的控制和決策提供了非常直觀的輸入。

最后我們總結(jié)一下，從DeepMotion出發(fā)，有兩個(gè)觀點(diǎn)。

1.我們認(rèn)為應(yīng)該重新思考高精地圖在整個(gè)自動(dòng)駕駛環(huán)節(jié)中的地位。就是以高精地圖為核心，提供更好的環(huán)境感知與高精定位。

2.在不計(jì)傳感器成本和設(shè)備成本的情況下，已經(jīng)證明了智能駕駛的可行性，那么在當(dāng)前落地的過(guò)程中，我們應(yīng)該花更多的功夫去充分挖掘算法和和背后大數(shù)據(jù)的潛力，盡可能地在不損失安全性的情況下，在性能和成本之間達(dá)到一個(gè)更好的平衡，使量產(chǎn)和落地變得更可期。

我的講解到此結(jié)束了，歡迎更多的朋友在線上線下和我們多多討論，大家共同合作推動(dòng)無(wú)人駕駛在整個(gè)應(yīng)用場(chǎng)景下的快速落地。謝謝大家。

提問(wèn)環(huán)節(jié)

提問(wèn)一

姚燦-高德-產(chǎn)品經(jīng)理

1、高精地圖理想的絕對(duì)精度和相對(duì)精度是多少，哪個(gè)更重要？

2、高精眾包方案，以DeepMotion的經(jīng)驗(yàn)，多少次數(shù)據(jù)回傳能夠滿足制圖需求？絕對(duì)精度和相對(duì)精度分別能達(dá)到多少？

蔡銳：1、問(wèn)題范圍很大也很專(zhuān)業(yè)，簡(jiǎn)單講講我的一些想法。其實(shí)很難去討論絕對(duì)精度和相對(duì)精度誰(shuí)更重要。如果絕對(duì)精度能做得很高，那么相對(duì)精度自然也能做得很高。在實(shí)際過(guò)程中使用RTK信號(hào)，或者對(duì)多條采集路徑進(jìn)行融合優(yōu)化，都能得到不錯(cuò)的絕對(duì)精度。目前來(lái)看，如果地圖和定位是一個(gè)比較松散耦合的情況下，肯定是絕對(duì)精度比相對(duì)精度要重要，因?yàn)樵谌鯗贤ōh(huán)境下，大家需要在同一個(gè)非常準(zhǔn)確一致的坐標(biāo)系中進(jìn)行溝通，這就要求地圖和真正的車(chē)載定位系統(tǒng)都要求達(dá)到一個(gè)非常高的精度，這樣大家才能在一個(gè)坐標(biāo)系下去進(jìn)行對(duì)話，才能不犯任何錯(cuò)誤。

隨著技術(shù)的發(fā)展，相對(duì)定位技術(shù)會(huì)逐漸成熟。相對(duì)定位精度在某些情況下是很必要的，比如在隧道等無(wú)法保證絕對(duì)精度的工況下。

2、關(guān)于多少次回傳數(shù)據(jù)能滿足制圖的需求，這需要討論具體的道路場(chǎng)景。按我們的經(jīng)驗(yàn)，在城區(qū)道路中，單次能處理5-6個(gè)車(chē)道寬的區(qū)域。如果像長(zhǎng)安街這樣特別大、車(chē)道特別多的道路，可能要跑好幾次采集才能完成一個(gè)比較完整的拼接。此外比較復(fù)雜的是路口的情況，路口是一個(gè)比較開(kāi)闊的區(qū)域，由于車(chē)輛在行進(jìn)或者轉(zhuǎn)彎的過(guò)程中，區(qū)域的覆蓋范圍可能需要更仔細(xì)的考量。我們?cè)跇?gòu)建地圖的過(guò)程中，會(huì)有指引告訴外業(yè)采集人員可能會(huì)缺哪塊區(qū)域。

目前我們的絕對(duì)定位精度非常依賴(lài)于真正采集時(shí)的初始定位設(shè)備，如果是主動(dòng)采集，我們不排斥使用一些稍微貴一點(diǎn)的設(shè)備，尤其是位導(dǎo)。位導(dǎo)可以提供一個(gè)很好的初始點(diǎn)，這樣能保證絕對(duì)精度。我們用的視覺(jué)方案有單目和雙目?jī)煞N，精度上會(huì)有一些差異，但都能達(dá)到20公分以?xún)?nèi)的相對(duì)精度。

提問(wèn)二

謝榮豪-廣汽研究院-自動(dòng)駕駛產(chǎn)品工程師

1、高精度地圖在車(chē)上是集成在車(chē)輛導(dǎo)航里的還是獨(dú)立的模塊?

2、視覺(jué)自定位和差分定位相比，優(yōu)劣在哪里? 哪些數(shù)據(jù)可以足夠支撐亞米級(jí)的橫向自定位?

蔡銳：1、我們認(rèn)為高精地圖不應(yīng)該是現(xiàn)有車(chē)機(jī)地圖的使用方式。它應(yīng)該和車(chē)上其他傳感器處于一個(gè)緊耦合的狀態(tài)，比如在車(chē)輛定位的過(guò)程中，需要獲取攝像頭信號(hào)來(lái)比對(duì)地圖元素。因此我認(rèn)為它模塊的劃分可能會(huì)和現(xiàn)在的車(chē)輛導(dǎo)航中模塊劃分是不同情況的。但具體采用什么樣的一種配合方式，車(chē)機(jī)負(fù)責(zé)什么、傳感器負(fù)責(zé)什么、在哪里進(jìn)行交互運(yùn)算等，我們也希望能多聽(tīng)聽(tīng)車(chē)廠朋友們的專(zhuān)業(yè)分析。

2、視覺(jué)自定位和差分定位相比，我認(rèn)為這兩個(gè)不是排斥的關(guān)系，而是一種互補(bǔ)的關(guān)系。差分定位是一種比較獨(dú)立的定位，它參考地基信號(hào)來(lái)解算位置。而視覺(jué)更多是對(duì)環(huán)境中相對(duì)位置的分析，我覺(jué)得它們是一個(gè)互補(bǔ)的關(guān)系。

我的理解是，對(duì)于橫向自定位，根據(jù)車(chē)道施畫(huà)，可以很好地解決定位的問(wèn)題，如果在沒(méi)有車(chē)道施畫(huà)的情況下，參考路邊的路牌，或者是路基和路面的寬度等參數(shù)來(lái)進(jìn)行分析。

提問(wèn)三

海丹-軍科系統(tǒng)院-Vslam

怎樣融合多車(chē)采集的數(shù)據(jù)形成最后一張一致的地圖。例如由于誤差每個(gè)車(chē)采集到的車(chē)道線肯定會(huì)有不同，精度有可能是10cm以上。而且每個(gè)車(chē)使用的基準(zhǔn)都不一樣，最后是怎么融合成一條車(chē)道線的？

蔡銳：這是高精地圖，尤其眾包制作高精地圖中比較核心的部分，每個(gè)單獨(dú)軌跡可能都有自己獨(dú)立的誤差，由于實(shí)際的物理車(chē)道本身是剛性的，它們所產(chǎn)生的約束在你考慮到多次軌跡融合的時(shí)候，它們所產(chǎn)生的誤差在整體上是一個(gè)減小和抵消的過(guò)程。

很多情況下，你會(huì)發(fā)現(xiàn)地圖中很多道路的路口是比較豐富的，而它能提供的路面信息相對(duì)來(lái)說(shuō)會(huì)更多一些。這時(shí)你會(huì)發(fā)現(xiàn)如果把它每個(gè)路口對(duì)齊得很好的情況下，路口之間的車(chē)道相應(yīng)的對(duì)齊和融合相對(duì)來(lái)說(shuō)會(huì)變得更加容易一些。

此外，融合不是單純地將兩個(gè)有十厘米偏差的軌跡相加。每一個(gè)軌跡都有背后的樣條曲線表征，優(yōu)化的是樣條函數(shù)的參數(shù)。此外還有很多路面外的信息，比如空中的路牌。其實(shí)空中路牌是很重要的，因?yàn)閷?duì)于地面元素的優(yōu)化來(lái)說(shuō)，地面距離越遠(yuǎn)，誤差就會(huì)越大，但是空中路牌會(huì)給我們提供一些更多方向的約束。

提問(wèn)四

王維-高德-測(cè)試開(kāi)發(fā)工程師

眾包采集和更新地圖時(shí)，如何解決車(chē)道線的多源融合和拼接問(wèn)題

蔡銳：這個(gè)問(wèn)題跟上面的問(wèn)題四是蠻類(lèi)似的?？梢钥紤]幾個(gè)問(wèn)題，首先以一種什么樣的形式去描述車(chē)道線；其次是如何充分利用車(chē)道線以外的其他路面特征和空中信息去形成一個(gè)全方位的約束。

提問(wèn)五

鄭國(guó)賢-東北大學(xué)-雙控

視覺(jué)慣性融合的SLAM在無(wú)人駕駛中扮演著怎樣的角色？感覺(jué)一般都是聽(tīng)到深度學(xué)習(xí)的場(chǎng)景分割和語(yǔ)義理解。

蔡銳：視覺(jué)和慣導(dǎo)融合的SLAM在自動(dòng)駕駛中是很重要的。比如在我們系統(tǒng)中一直會(huì)跑一個(gè)多傳感器融合的SLAM。它會(huì)實(shí)時(shí)輸出車(chē)輛的姿態(tài)，如果你沒(méi)有很專(zhuān)業(yè)級(jí)的慣導(dǎo)，一定程度上，它會(huì)提供一些精度還不錯(cuò)的車(chē)輛姿態(tài)信息。

的確，在大家提到的自動(dòng)駕駛中，場(chǎng)景的分割和語(yǔ)意的理解是比較直觀的。除了環(huán)境感知以外，語(yǔ)義理解能幫助視覺(jué)和慣導(dǎo)融合的SLAM。我們認(rèn)為室外的駕駛環(huán)境是非常具有挑戰(zhàn)性的，所以必須依賴(lài)高級(jí)別語(yǔ)義的視覺(jué)特征。

說(shuō)得更直白一點(diǎn)，在市場(chǎng)上能做場(chǎng)景分割和語(yǔ)義理解的人才儲(chǔ)備還算比較豐富的，而在SLAM這塊，相對(duì)來(lái)說(shuō)人才儲(chǔ)備還比較匱乏一些。

提問(wèn)六

蔡少駿-馭勢(shì)科技-視覺(jué)算法工程師

1、開(kāi)放道路的定位方案是什么？

2、多傳感器融合定位怎么做的？

3、動(dòng)態(tài)變化的場(chǎng)景怎么處理？

蔡銳：1、對(duì)于開(kāi)放道路的定位方案，我們認(rèn)為是一個(gè)比較有挑戰(zhàn)性的過(guò)程。開(kāi)放道路的地圖本身就不像結(jié)構(gòu)化的道路，因此考慮思路也不一樣，開(kāi)放道路可以根據(jù)你適用的范圍做出更細(xì)的劃分，比如一些廠區(qū)、園區(qū)的道路以及一些小區(qū)道路，這對(duì)于做相對(duì)定位所用的比較穩(wěn)定的視覺(jué)元素的選擇來(lái)說(shuō)會(huì)有一些區(qū)別。

2、這其實(shí)就是你算法的核心。如何充分地使用慣導(dǎo)、位導(dǎo)、視覺(jué)信息以及與高精度地圖的比對(duì)信息在聯(lián)合優(yōu)化的過(guò)程中得到一個(gè)最優(yōu)的姿態(tài)結(jié)算。

3、對(duì)于動(dòng)態(tài)場(chǎng)景怎么處理的問(wèn)題，我可能沒(méi)有太理解你的問(wèn)題。在這里說(shuō)說(shuō)我的理解，在上面的回答中我也提到，實(shí)際道路上的車(chē)輛位姿估計(jì)是一件很有挑戰(zhàn)的事情。因?yàn)榈缆飞铣艘恍┍容^穩(wěn)定的參照物外，還有大量的運(yùn)動(dòng)物體。這本質(zhì)上需要更好地利用不同傳感器的輸入，去幫你判斷路面上的相對(duì)運(yùn)動(dòng)和絕對(duì)運(yùn)動(dòng)，從而減輕運(yùn)動(dòng)物體對(duì)姿態(tài)估計(jì)的影響。