介紹一種純記憶模式下的智能駕駛行車設(shè)計(jì)方法

功能控制邏輯 ?

與記憶泊車類似，記憶行車這一功能主要實(shí)現(xiàn)簡單的面向服務(wù)的應(yīng)用服務(wù)。實(shí)現(xiàn)的典型應(yīng)用場景包括：上下班路線，接送兒童，商超采購等。即，駕駛員通過在系統(tǒng)上設(shè)置想要到達(dá)的目的地，激活記憶行車功能后，智駕車輛可以參照之前記憶的行車路線自主駕駛到目的地。期間，系統(tǒng)需要記憶用戶示教路線，實(shí)現(xiàn)從 A 到 B 點(diǎn)的全場景領(lǐng)航輔助駕駛，包含自動(dòng)通過路口、掉頭、變道等。?

?

實(shí)現(xiàn)記憶行車功能的步驟主要分為兩步：

1）首先，駕駛員在手動(dòng)駕駛下，將車輛從起始點(diǎn)A開到終點(diǎn)B。期間，記憶行車系統(tǒng)需要在后臺完成如下工作：

后臺通過即時(shí)定位建圖構(gòu)建駕駛員開車行駛過的路段對應(yīng)的實(shí)時(shí)局部地圖；

后臺需要結(jié)合構(gòu)建的地圖在其行駛期間同步實(shí)現(xiàn)對環(huán)境信息（主要指路標(biāo)）的實(shí)時(shí)記錄；

后臺通過類似影子模式一樣的功能記錄駕駛員的整個(gè)駕駛習(xí)慣；

后臺需要結(jié)合對應(yīng)構(gòu)建的地圖、環(huán)境信息、車輛行駛控制狀態(tài)、駕駛習(xí)慣控制狀態(tài)信息進(jìn)行實(shí)時(shí)記錄；

2）其次，在激活記憶行車功能后，系統(tǒng)需要實(shí)現(xiàn)包含如下子功能：

后臺需要通過識別的道路環(huán)境信息以及車身姿態(tài)，確認(rèn)車輛當(dāng)前位置是否是在之前定義的記憶行車路線上；

如果路線重定位成功，則控制車輛沿著既定的路線向前行駛至目的地。期間，整個(gè)車輛的智駕功能調(diào)用控制可以完全參照之前存儲的駕駛數(shù)據(jù)進(jìn)行控制；

如果重定位不成功，則提示不可激活記憶行車，并在駕駛員控制車輛手動(dòng)駕駛至目的地時(shí)，將當(dāng)前路段信息重新構(gòu)建到新的地圖中，新構(gòu)建的地圖可以認(rèn)為是之前即時(shí)建圖的補(bǔ)充。后續(xù)做記憶行車控制前可以將兩條路徑均納入備選路徑中。

一個(gè)比較尖銳的問題就是記憶行車和傳統(tǒng)的城市自動(dòng)駕駛在對整車場景的控制上會(huì)有哪些相同和不同點(diǎn)呢？ ?

?

實(shí)際上，記憶行車可以看成一種狹義上的城市自動(dòng)駕駛NOA。他們應(yīng)用的傳感器單元是完全一致的，唯一的差別的就是對地圖的利用上。對于城市自動(dòng)駕駛NOA來說，通常是會(huì)考慮直接導(dǎo)入高精地圖做精確定位，并融合導(dǎo)航信息尋找車輛的下一步的行駛路徑，而這里的記憶行車則需要區(qū)分為用戶陪駕和系統(tǒng)試校準(zhǔn)兩步。

①用戶陪駕/手動(dòng)建圖

用戶陪駕階段又稱為手動(dòng)建圖階段。其過程是駕駛手動(dòng)駕駛車輛過程中系統(tǒng)通過后臺偷偷調(diào)用在線感知模塊端口進(jìn)行即時(shí)定位建圖，使得臨時(shí)的建圖可以更好的替代城區(qū)/高速路所構(gòu)建的地圖，這個(gè)過程類似于在城市自動(dòng)駕駛中的眾包建圖。這里需要注意的是，考慮到國家對數(shù)據(jù)安全、信息安全以及地圖資質(zhì)的問題，我們通過記憶建圖的地圖一般就是單車類型，該圖是不能通過網(wǎng)絡(luò)上傳至云端的。當(dāng)然，如果是針對由同一家tier1開發(fā)的同類車型可考慮通過軟件升級方式將地圖包在該車型內(nèi)部進(jìn)行資源共享。

②智能建圖

對于記憶行車功能而言，還會(huì)充分考慮在智能駕駛系統(tǒng)功能激活的過程中，利用后臺記錄的方式進(jìn)行智能建圖。這種智能建圖過程一般還需要融合傳統(tǒng)高精定位地圖傳遞的一部分先驗(yàn)知識數(shù)據(jù)，對當(dāng)前即時(shí)建圖進(jìn)行有效補(bǔ)充。比如，當(dāng)車輛行駛在某段位置路段上，對于記憶行車來說，考慮到算力、識別能力、存儲能力等，只會(huì)考慮固定的橫向距離（一般為10m范圍內(nèi)）對自車道及旁車道的三條車道進(jìn)行建模。而高精地圖則可以考慮更寬范圍的建圖（甚至達(dá)到5-6條車道）。這樣就可考慮在記憶地圖與高精地圖匹配上后，將高精地圖的數(shù)據(jù)補(bǔ)充到記憶地圖中間，擴(kuò)展記憶地圖的識別范圍和建圖能力。

當(dāng)然，如智能建圖所描述的功能來說，要求同時(shí)進(jìn)行兩層次的計(jì)算。就有可能造成對資源的巨大消耗。這點(diǎn)上就對智駕域控的計(jì)算資源提出更大的需求。

③智能推薦

智能推薦是記憶行車功能相對于傳統(tǒng)智駕系統(tǒng)功能較大的區(qū)別點(diǎn)。一般情況下，傳統(tǒng)的ADAS系統(tǒng)功能的激活通常是由駕駛員主動(dòng)發(fā)起，系統(tǒng)處于被動(dòng)激活。當(dāng)然也有一些主機(jī)廠傾向于將整個(gè)功能做成可推薦式激活的方式。而記憶行車功能最大的特色就是“重定位+智能推薦”。即進(jìn)入之前已經(jīng)完成建圖的某條路徑上時(shí)，會(huì)對自車姿態(tài)和位置做定位匹配，再根據(jù)一定的HMI交互規(guī)則對進(jìn)行智能推薦是否打開記憶行車功能。

這里需要注意的是，如果從A點(diǎn)到達(dá)B點(diǎn)過程中，駕駛員有可能在兩段不同的時(shí)間內(nèi)選擇不同的駕駛路徑行駛至終點(diǎn)。對于記憶建圖來說，可能會(huì)存在存兩段圖的情況。記憶行車感知智駕系統(tǒng)步驟分解

對于智駕域最重要的感知源處理而言（無論是視覺點(diǎn)云、激光點(diǎn)云還是毫米波點(diǎn)云），總體可以分為四個(gè)層面的處理過程：場景重建、要素識別、關(guān)鍵目標(biāo)重組和自車重新定位。

?

“場景重建”意味著從視頻序列推斷場景中的幾何體，包括車輛在場景中的位置?！耙刈R別”是一個(gè)術(shù)語，用于將語義標(biāo)簽附加到視頻圖像或場景的各個(gè)識別對象中，識別中包括各種不同的層次結(jié)構(gòu)?！白攒囍匦露ㄎ弧笔侵杠囕v相對于其周圍環(huán)境的位置識別和度量定位?！瓣P(guān)鍵目標(biāo)重組”是將重定位、識別、重建形成的三個(gè)組成部分信息重新整合成統(tǒng)一表示的方法。

對于如上幾種感知如何應(yīng)用到實(shí)際的感知場景的分析過程可以通過如下例子對過程進(jìn)行詳細(xì)分析。

這里我們可以針對智能行車功能中的新的一項(xiàng)功能——“記憶行泊車”進(jìn)行說明。記憶行泊車這類功能需要在自動(dòng)駕駛的視覺環(huán)境中，通過駕駛員手動(dòng)駕駛階段在后臺提前繪制車輛周圍環(huán)境的地圖，同時(shí)在用戶地圖中估計(jì)車輛的當(dāng)前姿態(tài)。對于建圖和重定位的關(guān)鍵任務(wù)之一是根據(jù)之前記錄的車輛行駛路徑重定位來重新定位行駛軌跡的方法。

?

1）自車建圖重定位

首先，在場景訓(xùn)練階段需要將自車行駛通過訓(xùn)練的“封閉路段”（這里的封閉是個(gè)廣義的概念），針對從基礎(chǔ)設(shè)施傳輸?shù)牡貓DHDMap作為底圖進(jìn)行智慧建圖。當(dāng)然，從車端的角度，也是需要結(jié)合一圈攝像頭進(jìn)行場景BEV建圖。這里需要說明的是，從優(yōu)先級上講，我們一般會(huì)考慮在HDMap能夠保證一定的精度進(jìn)行正常發(fā)送時(shí)，一般以HDMap作為底圖輸入給車端。而BEV則作為HDMap失效后的兜底，為自車提供后備車輛定位地圖。

下圖顯示了一個(gè)經(jīng)典的基于特征的重定位pipelines。

2）環(huán)境目標(biāo)語義識別

其次，在場景理解階段進(jìn)行三維重建（即恢復(fù)場景三維幾何要素）和要素識別。包括場景繪制、障礙物避免、機(jī)動(dòng)車輛控制、甚至反射照明場景元素等特性。場景要素識別實(shí)際是一種對于場景元素的高級推理。即將場景中的汽車、二輪車、卡車等元素進(jìn)行空間層次結(jié)構(gòu)劃分子集，每個(gè)子集進(jìn)行信息標(biāo)注。

在圖像識別的關(guān)鍵要素中，首要是需要提取圖像中的顯著特征。圖像中的一個(gè)顯著特征可能是像素區(qū)域，其中強(qiáng)度以特定方式變化，例如邊緣、角落或斑點(diǎn)。要估計(jì)地標(biāo)在世界坐標(biāo)系上的位置，就需要執(zhí)行特定目標(biāo)跟蹤，其中可以匹配相同特征的兩個(gè)或多個(gè)視圖。一旦車輛移動(dòng)的足夠遠(yuǎn)導(dǎo)致對于圖像特征目標(biāo)抓取不夠清晰時(shí)，算法則會(huì)拍攝另一張圖像并重新提取相應(yīng)的特征。通過重建相應(yīng)的特征信息來獲得它們在真實(shí)世界中的坐標(biāo)和姿態(tài)。然后，這些檢測到的、描述的和定位的地標(biāo)被存儲在永久存儲器中，以描述車輛軌跡的相對位置。如果車輛返回限定范圍內(nèi)的相同位置，實(shí)時(shí)特征檢測將與存儲的地標(biāo)匹配，以恢復(fù)車輛相對于存儲軌跡的姿態(tài)。

3）后融合處理

最后，則是最重要的一步，控制自車對預(yù)先登記的軌跡進(jìn)行跟隨行駛。這個(gè)過程實(shí)際是對于前期識別和重建結(jié)果進(jìn)行進(jìn)一步處理，通過相機(jī)在世界坐標(biāo)系中繪制目標(biāo)地圖，參照當(dāng)前車輛的位置、位姿、自身信息等狀態(tài)對該預(yù)先設(shè)置的軌跡做時(shí)空物體跟蹤。比如，通過訓(xùn)練過的路段時(shí)，需要進(jìn)行后期融合，將傳感輸出的數(shù)據(jù)進(jìn)行路徑復(fù)制，指導(dǎo)車輛按照既定的路徑行駛。記憶行車技術(shù)支持

1）記憶建圖需求

記憶建圖原則是一種純車端傳感感知的功能，但是考慮到建圖過程中需要進(jìn)行重定位和路徑規(guī)劃。因此，還需要結(jié)合GPS定位和導(dǎo)航地圖這類關(guān)聯(lián)系統(tǒng)的功能輸入。

并且考慮定位的精準(zhǔn)性、實(shí)時(shí)性，最好還能結(jié)合RTK這類即時(shí)定位修正單元對實(shí)際的定位過程進(jìn)行實(shí)時(shí)修正。

?

2）建圖存儲空間需求

整個(gè)記憶行車功能比較大的資源消耗基本都體現(xiàn)在對于建圖、存圖和重定位上。特別是根據(jù)環(huán)境目標(biāo)來即時(shí)建圖上，需要充分考慮所構(gòu)建的地圖大小。這里和高精地圖的眾包建圖類似，實(shí)際它是一種車端的建圖過程。

由于記憶行車建圖所構(gòu)建的地圖整體是通過車端傳感器對整個(gè)環(huán)境信息的識別上。識別的過程實(shí)際就是一種即時(shí)定位建圖、存圖的過程。因此如上過程需要對中央計(jì)算單元的算力和存儲能力提出需求。

這里需要說明的是整個(gè)記憶行車功能激活的路線長度需要做一定程度的限定。通常需要考慮在就近行駛情況。比如上下班的日常通勤時(shí)間，為1小時(shí)（大概為35km左右）。如考慮超過1.5小時(shí)通勤時(shí)一般會(huì)存在一定的高速/快速場景（大概為 40~50km），路程約為70-80km。我們考慮的記憶行車過程其最大的記憶路線通常設(shè)置為150km，每2M/公里觸發(fā)一次地圖數(shù)據(jù)存儲。并且，對于記憶行車來說，其建圖過程還涉及包含對一些高精地圖覆蓋的內(nèi)部道路進(jìn)行建圖。這類稍微極端的建圖成功率一般能達(dá)到90%。

建圖過程主要采用小圖到大圖的拼接過程。即，通過通過定位的車身位置，考慮在其周圍10-20m的范圍內(nèi)進(jìn)行小圖建圖，隨后通過小圖拼接可以形成大圖，最終使得拼接結(jié)果接近真值。

對于這類記憶建圖來說一般會(huì)充分考慮采用差分?jǐn)?shù)據(jù)更新的方式進(jìn)行。通常，針對如上路段的存儲需求一般10GB足夠，這類地圖通常也是存儲在EMMC里面。

3）建圖實(shí)時(shí)性要求

通常情況下，我們這里提到的記憶建圖是在中低速情況下進(jìn)行。因?yàn)樗俣仍降鸵馕吨鴮ν粋€(gè)類似場景下的感知建圖所處理的時(shí)間就越長。但是，如果考慮一些較長距離的通勤情況，在高速路段下的特征是否支持記憶建圖呢？

?

記憶行車與NOA融合下的智能行車模式

主要考慮記憶地圖和高精地圖融合的技術(shù)難度和實(shí)現(xiàn)可能性，是否存在一鍵激活和后臺自主切換模式。這里我們需要說明的是實(shí)際上ADAS系統(tǒng)功能本身在很多場景應(yīng)用下也是和記憶行車有一定的重疊的。比如在考慮同一段行駛路線上的場景，當(dāng)事前通過記憶行車功能對該段行駛路徑已經(jīng)完成建圖后，當(dāng)駕駛員重新駛?cè)朐撀范纹瘘c(diǎn)，并且系統(tǒng)通過重定位成功后，便可以很順利的進(jìn)入記憶行車模式（當(dāng)然這種進(jìn)入前最好是需要通過HMI提示駕駛員是否準(zhǔn)予進(jìn)入）。但是，如果駕駛員這時(shí)候強(qiáng)制切換進(jìn)入了ADAS系統(tǒng)功能，比如點(diǎn)對點(diǎn)駕駛輔助功能NOA后，系統(tǒng)是會(huì)根據(jù)駕駛優(yōu)先級選擇響應(yīng)當(dāng)前駕駛員主動(dòng)操作指令的。那么從另一個(gè)角度上說，如果駕駛員首先進(jìn)入的是NOA功能呢？當(dāng)由于某些特殊原因，比如高精地圖/導(dǎo)航地圖短暫丟失導(dǎo)致NOA功能降級無法正常使用，但是記憶建圖的信息仍舊存在時(shí)，是否可以很好從后臺實(shí)現(xiàn)無感切換，從而確保用戶更好的感知體驗(yàn)?zāi)兀?/p>

從基礎(chǔ)原理上講答案是肯定的。但是需要注意以下幾點(diǎn)：

1）NOA無感切換到記憶行車，需要重點(diǎn)審視NOA的設(shè)置目的是否和記憶行車一致。如果一致才考慮切換，否則可能將用戶送至另外的目的地，這是完全不能被接受的。

2）如果NOA的目的地和記憶行車完全匹配。期間，如果因?yàn)镹OA的高精地圖/導(dǎo)航地圖丟失而導(dǎo)致的降級切入記憶行車，如果后續(xù)又重新識別到高精地圖/導(dǎo)航信號恢復(fù)，那么是否還需要重新切換回NOA。

3）如果NOA的目的地和記憶行車部分匹配。在匹配的路端行駛期間，如果因?yàn)镹OA地圖丟失導(dǎo)致降級切入記憶行車，后續(xù)是否考慮短暫切入記憶行車維持一部分主動(dòng)駕駛后再地圖重新識別后，重新切換回NOA。當(dāng)然這個(gè)過程需要冒一定風(fēng)險(xiǎn)，比如即使重疊路端走完，也還沒有重新識別到數(shù)據(jù)，是否就需要真正的退出ADAS系統(tǒng)功能了。

記憶建圖與傳統(tǒng)ADAS系統(tǒng)功能時(shí)序示意圖

整個(gè)記憶行車處理時(shí)序圖如下所示。整個(gè)記憶行車模塊包括操作者Driver、MAD狀態(tài)機(jī)、任務(wù)管理器、地圖引擎、定位模塊、感知模塊、環(huán)境模型、規(guī)控等多個(gè)模塊。首先，啟動(dòng)車輛上電后，記憶行車MAD的狀態(tài)機(jī)變通過自檢后反饋狀態(tài)可用，然后派發(fā)任務(wù)項(xiàng)給記憶“地圖引擎”，這里實(shí)際上是類似模仿高精地圖的叫法。同時(shí)，也將感知任務(wù)派發(fā)給感知模塊，感知模塊啟動(dòng)感知任務(wù)后反饋檢測結(jié)果給MAD狀態(tài)機(jī)，MAD狀態(tài)機(jī)通過重定位模塊檢查感知數(shù)據(jù)是否能夠能夠與之前建立的記憶地圖相匹配。如果重定位成功，MAD狀態(tài)機(jī)則派發(fā)成功標(biāo)志給環(huán)境模型，同時(shí)，記憶地圖和定位模塊也會(huì)將相應(yīng)的地圖信息進(jìn)行融合。最后，在規(guī)控模塊進(jìn)行整個(gè)軌跡規(guī)劃和控制模塊執(zhí)行。

總結(jié)

記憶行車作為一種新興的自動(dòng)駕駛功能，可以說也是參照記憶泊車的功能設(shè)計(jì)方式形成的一種高效的行車場景駕駛方式。相比于記憶泊車而言，記憶行車基本對場景邊界沒有提出太大的要求，一般的道路均可以作為行駛條件。但是記憶行車強(qiáng)依賴于前置地圖構(gòu)建過程，當(dāng)前置地圖構(gòu)建失敗或者準(zhǔn)確率不夠時(shí)，就無法在通過記憶泊車進(jìn)行有效的重定位和車輛控制。因此，本文也重點(diǎn)闡述了記憶泊車的地圖構(gòu)建、資源需求和重定位的基礎(chǔ)算法。 ?

審核編輯：劉清