?高精地圖生成技術(shù)大揭秘

背景

目前學(xué)術(shù)界和工業(yè)界（尤其自動(dòng)駕駛公司）均開始研究HD地圖生成，也有一些公開的學(xué)術(shù)數(shù)據(jù)集以及非常多的學(xué)術(shù)工作，此外各家自動(dòng)駕駛公司也在AIDAY上公開分享技術(shù)方案。從這些公開信息來看，也觀察到了一些行業(yè)趨勢(shì)，例如在線建圖、圖像BEV感知、點(diǎn)圖融合以及車道線矢量拓?fù)浣５?。本文將?duì)相關(guān)的學(xué)術(shù)工作和自動(dòng)駕駛公司的技術(shù)方案進(jìn)行解讀，以及談?wù)剛€(gè)人的一些思考。

學(xué)術(shù)數(shù)據(jù)集

學(xué)術(shù)數(shù)據(jù)集對(duì)比

目前含HD地圖的學(xué)術(shù)數(shù)據(jù)集包括：nuScenes【1】以及Argoverse2【2】。著重介紹下Argoverse2數(shù)據(jù)集，該數(shù)據(jù)集包含信息非常豐富：

包括車道線、道路邊界、人行橫道、停止線等靜態(tài)地圖要素，其中幾何均用3D坐標(biāo)表示，并且同時(shí)包含了實(shí)物車道線和虛擬車道線；

提供了密集的地面高度圖（30cm），通過地面高度可以僅保留地面的點(diǎn)云，便于處理地面上的地圖要素；

Argoverse2的HD地圖

學(xué)術(shù)工作

該領(lǐng)域目前是自動(dòng)駕駛公司的關(guān)注重點(diǎn)，因此相關(guān)學(xué)術(shù)工作基本都來自高校和車企合作，目前已經(jīng)公開的論文，包括理想、地平線和毫末智行等車企。

而這些學(xué)術(shù)工作的技術(shù)方案整體可以概括為兩部分：（1）BEV特征生成（2）地圖要素建模。

BEV特征生成

在BEV空間進(jìn)行在線建圖，已經(jīng)是目前學(xué)術(shù)界和業(yè)界的統(tǒng)一認(rèn)識(shí)，其優(yōu)勢(shì)主要包括：

減少車輛俯仰顛簸導(dǎo)致的內(nèi)外八字抖動(dòng)，適合車道線這種同時(shí)在道路中間以及兩邊存在的物體；

遠(yuǎn)近檢測(cè)結(jié)果分布均勻，適合車道線這種細(xì)長(zhǎng)物體；

便于多相機(jī)和時(shí)序融合，適合車道線這種可能在單幀遮擋看不見或單視角相機(jī)下拍攝不全的物體；

而在如何生成BEV特征上，不同論文的方法有些許區(qū)別。

HDMapNet【3】（來自清華和理想），采用了點(diǎn)圖融合方式生成BEV特征，其中點(diǎn)云分支使用PointPillar【4】+PointNet【5】方式提取特征，圖像分支則使用MLP方式實(shí)現(xiàn)PV2BEV轉(zhuǎn)換，即將PV空間到BEV空間的變換看作變換矩陣參數(shù)，并通過MLP去學(xué)習(xí)（擬合）該參數(shù)。

HDMapNet架構(gòu)圖

其中環(huán)視圖像經(jīng)過PV2BEV轉(zhuǎn)換，實(shí)現(xiàn)了不同視角相機(jī)的圖像特征融合。

HDMapNet的環(huán)視相機(jī)特征融合

VectorMapNet【6】是HDMapNet的后續(xù)工作（來自清華和理想），同樣采用了點(diǎn)圖融合方式生成BEV特征，區(qū)別在于對(duì)圖像分支采用IPM+高度插值方式實(shí)現(xiàn)PV2BEV轉(zhuǎn)換。IPM是傳統(tǒng)的PV2BEV轉(zhuǎn)換方法，但需要滿足地面高度平坦的假設(shè)?，F(xiàn)實(shí)中，該假設(shè)通常較難滿足，因此該工作假設(shè)了4個(gè)不同地面高度下（-1m,0m,1m,2m）的BEV空間，分別將圖像特征經(jīng)過IPM投影到這些BEV空間上，然后將這些特征concatenate起來得到最終的BEV特征。

VectorMapNet架構(gòu)圖

MapTR【7】（來自地平線）則是只采用了圖像分支生成BEV特征，利用他們之前提出的GKT【8】實(shí)現(xiàn)PV2BEV轉(zhuǎn)換。對(duì)于BEV Query，先通過相機(jī)內(nèi)外參確定在圖像的先驗(yàn)位置，并且提取附近的Kh×Kw核區(qū)域特征，然后和BEV Query做Cross-Attention得到BEV特征。

GKT架構(gòu)圖

SuperFusion【9】（來自毫末智行）提出了長(zhǎng)距離的車道拓?fù)渖煞桨?，并且相?yīng)地采用多層級(jí)的點(diǎn)云和圖像特征融合來生成BEV特征（類似CaDDN【14】將深度圖分布和圖像特征外積得到視椎體特征，再通過voxel pooling方式生成BEV特征）。其中點(diǎn)云分支提取特征方式和HDMapNet一致，而圖像分支則基于深度估計(jì)實(shí)現(xiàn)PV2BEV轉(zhuǎn)換。

SuperFusion架構(gòu)圖

其多層級(jí)的點(diǎn)圖特征融合，包括data-level，feature-level以及bev-level：

Data-level特征融合：將點(diǎn)云投影到圖像平面得到sparse深度圖，然后通過深度補(bǔ)全得到dense深度圖，再將sparse深度圖和原圖concatenate，并用dense深度圖進(jìn)行監(jiān)督訓(xùn)練；

Feature-level特征融合：點(diǎn)云特征包含距離近，而圖像特征包含距離遠(yuǎn)，提出了一種圖像引導(dǎo)的點(diǎn)云BEV特征生成方式，即將FV圖像特征作為K和V，將點(diǎn)云的BEV特征作為Q去和圖像特征做cross-attention得到新的BEV特征，并經(jīng)過一系列卷積操作得到最終的點(diǎn)云BEV特征；

SuperFusion的Feature-level特征融合

BEV-level特征融合：由于深度估計(jì)誤差和相機(jī)內(nèi)外參誤差，直接concatenate圖像和點(diǎn)云的BEV特征會(huì)存在特征不對(duì)齊問題。提出了一種BEV對(duì)齊方法，即將圖像和點(diǎn)云BEV特征先concat后學(xué)習(xí)flow field，然后將該flow field用于圖像BEV特征的warp（根據(jù)每個(gè)點(diǎn)的flow field進(jìn)行雙線性插值），從而生成對(duì)齊后的圖像BEV特征；

SuperFusion的BEV-level特征融合

地圖要素建模

關(guān)于地圖要素的建模方式，目前學(xué)術(shù)界趨勢(shì)是由像素到矢量點(diǎn)的逐漸轉(zhuǎn)變，主要考慮是有序矢量點(diǎn)集可以統(tǒng)一表達(dá)地圖要素以及拓?fù)溥B接關(guān)系。

HDMapNet采用像素方式建模車道線，引入語義分割、實(shí)例Embedding以及方向預(yù)測(cè)head分別學(xué)習(xí)車道線的語義像素位置、實(shí)例信息以及方向，并通過復(fù)雜的后處理（先采用DBSCAN對(duì)實(shí)例Embedding進(jìn)行聚類，再采用NMS去除重復(fù)實(shí)例，最后通過預(yù)測(cè)的方向迭代地連接pixel），從而實(shí)現(xiàn)最終的車道線矢量化表達(dá)。

HDMapNet架構(gòu)圖

VectorMapNet采用矢量點(diǎn)方式建模車道線，并拆解成Element檢測(cè)階段和Polyline生成階段。

VectorMapNet架構(gòu)圖

Element檢測(cè)階段的目標(biāo)是檢測(cè)并分類全部的Map Element，采用了DETR【11】這種set prediction方式，即引入可學(xué)習(xí)的Element Query學(xué)習(xí)Map Element的關(guān)鍵點(diǎn)位置和類別。作者嘗試了多種定義關(guān)鍵點(diǎn)的方式，最終Bounding Box方式最優(yōu)。

關(guān)鍵點(diǎn)表示方式

Polyline生成階段的目標(biāo)是基于第一階段輸出的Map Element的類別和關(guān)鍵點(diǎn)，進(jìn)一步生成Map Element的完整幾何形狀。將Polyline Generator建模成條件聯(lián)合概率分布，并轉(zhuǎn)換成一系列的頂點(diǎn)坐標(biāo)的條件分布乘積，如下：

Polyline Generator建模

進(jìn)而使用自回歸網(wǎng)絡(luò)對(duì)該分布進(jìn)行建模，即在每個(gè)步驟都會(huì)預(yù)測(cè)下一個(gè)頂點(diǎn)坐標(biāo)的分布參數(shù)，并預(yù)測(cè)End of Sequence token (EOS) 來終止序列生成。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)采用普通的Transformer結(jié)構(gòu)，每根線的關(guān)鍵點(diǎn)坐標(biāo)和類標(biāo)簽被token化，并作為Transformer解碼器的query輸入，然后將一系列頂點(diǎn)token迭代地輸入到Transformer解碼器中，并和BEV特征做cross-attention，從而解碼出線的多個(gè)頂點(diǎn)。

MapTR同樣采用矢量點(diǎn)方式建模車道線，提出了等效排列建模方式來消除矢量點(diǎn)連接關(guān)系的歧義問題，并且相應(yīng)地設(shè)計(jì)了Instance Query和Point Query進(jìn)行分層二分圖匹配，用于靈活地編碼結(jié)構(gòu)化的地圖信息，最終實(shí)現(xiàn)端到端車道線拓?fù)渖伞?/p>

MapTR架構(gòu)圖

等效排列建模就是將地圖要素的所有可能點(diǎn)集排列方式作為一組，模型在學(xué)習(xí)過程中可以任意匹配其中一種排列真值，從而避免了固定排列的點(diǎn)集強(qiáng)加給模型監(jiān)督會(huì)導(dǎo)致和其他等效排列相矛盾，最終阻礙模型學(xué)習(xí)的問題。

等效排列建模

分層二分圖匹配則同樣借鑒了DETR這種set prediction方式，同時(shí)引入了Instance Query預(yù)測(cè)地圖要素實(shí)例，以及Point Query預(yù)測(cè)矢量點(diǎn)，因此匹配過程也包括了Instance-level匹配和Point-level匹配。匹配代價(jià)中，位置匹配代價(jià)是關(guān)鍵，采用了Point2Point方式，即先找到最佳的點(diǎn)到點(diǎn)匹配，并將所有點(diǎn)對(duì)的Manhattan距離相加，作為兩個(gè)點(diǎn)集的位置匹配代價(jià)，該代價(jià)同時(shí)用在Instance-level和Point-level匹配上。此外，還引入了Cosine相似度來計(jì)算Edge Direction損失，用于學(xué)習(xí)矢量點(diǎn)的連接關(guān)系。

Edge Direction損失

SuperFusion則和HDMapNet一樣，采用像素方式建模車道線，方法完全一致。

實(shí)驗(yàn)結(jié)果

目前實(shí)驗(yàn)效果最好的是MapTR方法，僅通過圖像源即可超過其他方法的點(diǎn)圖融合效果，指標(biāo)和可視化結(jié)果如下：

MapTR實(shí)驗(yàn)結(jié)果

MapTR可視化

另外有趣的一個(gè)實(shí)驗(yàn)是，VectorMapNet和SuperFusion均驗(yàn)證了引入該車道線拓?fù)浜髮?duì)軌跡預(yù)測(cè)的影響，也說明了在線建圖的價(jià)值，如下：

軌跡預(yù)測(cè)結(jié)果

軌跡預(yù)測(cè)可視化

業(yè)界工作

特斯拉

特斯拉在AIDAY2022（https://www.youtube.com/watch?v=ODSJsviD_SU&t=10531s）中著重介紹了車道拓?fù)渖杉夹g(shù)方案。借鑒語言模型中的Transformer decoder開發(fā)了Vector Lane模塊，通過序列的方式自回歸地輸出結(jié)果。整體思路是將車道線相關(guān)信息，包括車道線節(jié)點(diǎn)位置、車道線節(jié)點(diǎn)屬性（起點(diǎn)，中間點(diǎn)，終點(diǎn)等）、分叉點(diǎn)、匯合點(diǎn)、以及車道線樣條曲線幾何參數(shù)進(jìn)行編碼，做成類似語言模型中單詞token的編碼，然后利用時(shí)序處理辦法進(jìn)行處理，將這種表示看成“Language of Lanes”。

Vector Lane模塊

其中BEV特征（Dense World Tensor）不僅包括視覺圖像特征，還引入了低精度地圖中關(guān)于車道線幾何/拓?fù)潢P(guān)系的信息、車道線數(shù)量、寬度、以及特殊車道屬性等信息的編碼特征，這些信息提供了非常有用的先驗(yàn)信息，在生成車道線幾何拓?fù)鋾r(shí)很有幫助，尤其是生成無油漆區(qū)域的虛擬車道線。

自回歸方式生成車道線幾何拓?fù)涞脑敿?xì)過程如下：

先選取一個(gè)生成順序（如從左到右，從上到下）對(duì)空間進(jìn)行離散化（tokenization），然后就可以用Vector Lane模塊預(yù)測(cè)一系列的離散token，即車道線節(jié)點(diǎn)?？紤]到計(jì)算效率，采用了Coarse to Fine方式預(yù)測(cè)，即先預(yù)測(cè)一個(gè)節(jié)點(diǎn)的粗略位置的（index:18），然后再預(yù)測(cè)其精確位置（index:31），如下：

預(yù)測(cè)節(jié)點(diǎn)

接著再預(yù)測(cè)節(jié)點(diǎn)的語義信息，例如該節(jié)點(diǎn)是車道線起點(diǎn)，于是預(yù)測(cè)“Start”，因?yàn)槭恰癝tart”點(diǎn)，所以分叉/合并/曲率參數(shù)無需預(yù)測(cè)，輸出None。

預(yù)測(cè)節(jié)點(diǎn)的語義信息

然后所有預(yù)測(cè)結(jié)果接MLP層輸出維度一致的Embedding，并將所有的Embedding相連得到車道線節(jié)點(diǎn)的最終特征，即輸出第一個(gè)word（綠色點(diǎn)），如下：

節(jié)點(diǎn)特征整合

接著將第一個(gè)word輸入給Self Attention模塊，得到新的Query，然后和Vector Space Encoding生成的Value和Key進(jìn)行Cross Attention，預(yù)測(cè)第二個(gè)word（黃色點(diǎn)），整體過程和預(yù)測(cè)第一個(gè)word相同，只是第二個(gè)word的語義是“Continue”（代表延續(xù)點(diǎn)），分叉/合并預(yù)測(cè)結(jié)果仍為None，曲率參數(shù)則需要預(yù)測(cè)（根據(jù)不同曲線方程建模，例如三次多項(xiàng)式曲線或貝塞爾曲線等），如下：

迭代預(yù)測(cè)第二個(gè)節(jié)點(diǎn)

接著同樣方式預(yù)測(cè)第三個(gè)word（紫色點(diǎn)），如下：

迭代預(yù)測(cè)第三個(gè)節(jié)點(diǎn)

然后回到起始點(diǎn)繼續(xù)預(yù)測(cè)，得到第四個(gè)word（藍(lán)色點(diǎn)），該word和也是和第一個(gè)word相連，所以語義預(yù)測(cè)為“Fork”（合并點(diǎn)），如下：

迭代預(yù)測(cè)第四個(gè)節(jié)點(diǎn)

進(jìn)一步輸入前序所有word，預(yù)測(cè)第五個(gè)word，該word的語義預(yù)測(cè)為“End of sentence”（終止點(diǎn)），代表從最初的第一個(gè)word出發(fā)的所有車道線已經(jīng)預(yù)測(cè)完成。

迭代預(yù)測(cè)第五個(gè)節(jié)點(diǎn)

由此遍歷所有起始點(diǎn)，即可生成完整的車道線拓?fù)?，如下?/p>

車道線拓?fù)?/p>

在線建圖可視化

百度

百度在ApolloDay2022（https://www.apollo.auto/apolloday/#video）上也介紹了生成在線地圖的技術(shù)方案，可以概述為以下幾點(diǎn)：

點(diǎn)圖融合，圖像分支基于Transformer實(shí)現(xiàn)PV2BEV空間轉(zhuǎn)換；

Query-based的set-prediction，引入Instance query、Point query以及Stuff query同時(shí)學(xué)習(xí)地圖要素實(shí)例、矢量點(diǎn)以及可行駛區(qū)域分割等；

高精地圖（精度）和眾源地圖（規(guī)模和鮮度）多源融合；

在線建圖架構(gòu)圖

在線建圖架構(gòu)圖

毫末智行

毫末智行是一家重感知輕地圖的公司，因此也在毫末智行AI DAY（https://mp.weixin.qq.com/s/bwdSkns_TP4xE1xg32Qb6g）上著重介紹了在線建圖方案，可以概述為以下幾點(diǎn)：

點(diǎn)圖融合，圖像分支基于Transformer實(shí)現(xiàn)PV2BEV空間轉(zhuǎn)換；

實(shí)物車道線檢測(cè)+虛擬車道線拓?fù)?，?shí)物車道線檢測(cè)的Head采用HDMapNet方式生成，虛擬車道線拓?fù)鋭t是以SD地圖作為引導(dǎo)信息，結(jié)合BEV特征和實(shí)物車道線結(jié)果，使用自回歸編解碼網(wǎng)絡(luò)，解碼為結(jié)構(gòu)化的拓?fù)潼c(diǎn)序列，實(shí)現(xiàn)車道拓?fù)漕A(yù)測(cè)；

實(shí)物車道線檢測(cè)

虛擬車道線拓?fù)渖?/p>

地平線

地平線也在分享（https://mp.weixin.qq.com/s/HrI6Nx7IefvRFULe_KUzJA）中也介紹了其在線建圖方案。

BEV感知架構(gòu)

通過六個(gè)圖像傳感攝像頭的輸入，得到全局BEV語義感知結(jié)果，這更多是感知看得見的內(nèi)容，如下圖所示：

語義感知

再通過引入時(shí)序信息，將想象力引入到 BEV感知中，從而感知看不見的內(nèi)容，如下右圖所示，感知逐漸擴(kuò)展自己對(duì)于周邊車道線、道路以及連接關(guān)系的理解，這個(gè)過程一邊在做感知，一邊在做建圖，也叫做online maps。

超視距感知

小鵬

小鵬汽車目前推出了全新一代的感知架構(gòu)XNet（https://mp.weixin.qq.com/s/zOWoawMiaPPqF2SpOus5YQ），結(jié)合全車傳感器，對(duì)于靜態(tài)環(huán)境有了非常強(qiáng)的感知，可以實(shí)時(shí)生成“高精地圖”。核心是通過Transformer實(shí)現(xiàn)多傳感器、多相機(jī)、時(shí)序多幀的特征融合。

XNet架構(gòu)圖

思考

拋開技術(shù)外，我還想聊聊對(duì)圖商的”離線高精地圖“和自動(dòng)駕駛公司的”在線地圖“的認(rèn)識(shí)。

地圖是自動(dòng)駕駛的一個(gè)非常重要模塊，自動(dòng)駕駛不能脫離地圖，因?yàn)樽詣?dòng)駕駛是運(yùn)行在規(guī)則約束的交通系統(tǒng)下，無法擺脫這套規(guī)則的約束，而地圖恰恰是這套規(guī)則系統(tǒng)表達(dá)的很好載體，一個(gè)完整的地圖不僅包括各種地圖要素，還包括各種交通規(guī)則，例如該車道能否掉頭、該紅綠燈作用在哪個(gè)車道等。因此，圖商憑借在SD地圖制作經(jīng)驗(yàn)（交通規(guī)則理解），均開展了”離線高精地圖“制作，包括高德地圖、百度地圖、騰訊地圖、四維圖新等。而圖商制作”離線高精地圖“的邏輯是，建立統(tǒng)一的、大而全的高精地圖標(biāo)準(zhǔn)，同時(shí)服務(wù)于市場(chǎng)上的多家自動(dòng)駕駛公司。但不同的自動(dòng)駕駛公司的自身自動(dòng)駕駛能力差異非常大，對(duì)高精地圖的需求也不同，這就導(dǎo)致”離線高精地圖“越來越復(fù)雜，圖商的采集和制作成本也越來越高。正因?yàn)槌杀靖?，高精地圖的覆蓋率低和鮮度差的問題也始終未被解決，這是每個(gè)圖商都需要面對(duì)的緊迫問題。盡管也有一些眾包更新的解決方案，但實(shí)際得到大規(guī)模應(yīng)用的并不多。

而自動(dòng)駕駛又需要高覆蓋、高鮮度的高精地圖，于是自動(dòng)駕駛公司開始研究如何“在線建圖”這個(gè)課題了?！霸诰€建圖”的關(guān)鍵在于“圖”，在我看來，這個(gè)“圖”已經(jīng)不是“離線高精地圖”的“圖”了，因?yàn)樽詣?dòng)駕駛公司的“在線建圖”是根據(jù)自身的自動(dòng)駕駛能力調(diào)整的，在“離線高精地圖”中的冗余信息都可以舍棄，甚至是常說的精度要求（“離線高精地圖”一般要求5cm精度）。而恰恰因?yàn)閷?duì)“圖”進(jìn)行了簡(jiǎn)化，所以自動(dòng)駕駛公司的”在線地圖“才有了可行性。通過”在線地圖“，在“離線高精地圖”覆蓋范圍內(nèi)實(shí)現(xiàn)地圖更新，在“離線高精地圖”覆蓋范圍外生成自己可用的地圖，可能會(huì)有一些自動(dòng)駕駛功能的降級(jí)，這個(gè)邊界仍在摸索中。

不過，測(cè)繪資質(zhì)和法規(guī)變化可能會(huì)促使一種新的圖商和自動(dòng)駕駛公司的高精地圖生產(chǎn)合作模式，即自動(dòng)駕駛公司提供智能車數(shù)據(jù) + 圖商提供高精地圖制作能力的生態(tài)閉環(huán)。2022年下半年，國家和地方密集出臺(tái)了一系列高精度地圖相關(guān)法律，例如：《關(guān)于促進(jìn)智能網(wǎng)聯(lián)汽車發(fā)展維護(hù)測(cè)繪地理信息安全的通知》、《關(guān)于做好智能網(wǎng)聯(lián)汽車高精度地圖應(yīng)用試點(diǎn)有關(guān)工作的通知》等。這些法律文件明確界定了智能網(wǎng)聯(lián)汽車和測(cè)繪的關(guān)系，即智能網(wǎng)聯(lián)汽車在運(yùn)行過程中（包括賣出的車）對(duì)數(shù)據(jù)的操作即為測(cè)繪，并且自動(dòng)駕駛公司是測(cè)繪活動(dòng)的行為主體。從規(guī)定來看，自動(dòng)駕駛公司的“在線地圖”是明確的測(cè)繪行為，而想要合法測(cè)繪，必須擁有導(dǎo)航電子地圖制作的甲級(jí)資質(zhì)，而獲得資質(zhì)的途徑可以是直接申請(qǐng)（太難申請(qǐng)，并且不是一勞永逸，可能在復(fù)審換證環(huán)節(jié)被撤銷企業(yè)資質(zhì)）、間接收購（風(fēng)險(xiǎn)高）、以及與圖商合作。由此來看，自動(dòng)駕駛公司和圖商合作的生態(tài)閉環(huán)可能是唯一解法。那么，自動(dòng)駕駛公司的智能車數(shù)據(jù)提供給圖商進(jìn)行地圖數(shù)據(jù)生產(chǎn)是否合法呢？在《上海市智能網(wǎng)聯(lián)汽車高精度地圖管理試點(diǎn)規(guī)定》中，明確規(guī)定“鼓勵(lì)具有導(dǎo)航電子地圖制作測(cè)繪資質(zhì)的單位，在確保數(shù)據(jù)安全、處理好知識(shí)產(chǎn)權(quán)等關(guān)系的前提下，探索以眾源方式采集測(cè)繪地理信息數(shù)據(jù)，運(yùn)用實(shí)時(shí)加密傳輸及實(shí)時(shí)安全審校等技術(shù)手段，制作和更新高精度地圖?！?目前，騰訊地圖已官宣與蔚來宣布達(dá)成深度合作，打造智能駕駛地圖、車載服務(wù)平臺(tái)等，當(dāng)然這可能更多是投資關(guān)系促使。如何真正實(shí)現(xiàn)高精地圖生產(chǎn)的生態(tài)閉環(huán)，可能是圖商未來的破局關(guān)鍵。

審核編輯 ：李倩