端到端自動駕駛離我們還有多遠？最新綜述一覽前沿！

端到端自動駕駛突然就火了，綜述也是一篇接著一篇。汽車人現(xiàn)在非常期待特斯拉的V12版本，End-to-End AI is coming！

端到端自動駕駛是一種很有前途的模式，因為它避開了與模塊化系統(tǒng)相關(guān)的缺點，比如較高的系統(tǒng)復(fù)雜性。自動駕駛超越了傳統(tǒng)的交通模式，提前主動識別關(guān)鍵事件，確保乘客的安全，并提供舒適的交通環(huán)境，特別是在高度隨機和可變的交通環(huán)境中。本文全面回顧了端到端自動駕駛技術(shù)。首先闡述了自動駕駛?cè)蝿?wù)的分類，包含端到端神經(jīng)網(wǎng)絡(luò)的使用，涵蓋了從感知到控制的整個駕駛過程，同時解決了現(xiàn)實世界應(yīng)用中遇到的關(guān)鍵挑戰(zhàn)。分析了端到端自動駕駛的最新發(fā)展，并根據(jù)基本原理、方法和核心功能對研究進行了分類。這些類別包括感知輸入、主要輸出和輔助輸出、從模仿到強化學(xué)習(xí)的學(xué)習(xí)方法以及模型評估技術(shù)。本文還調(diào)查了包括對可解釋性和安全性方面的詳細討論。最后評估了最先進的技術(shù)，確定了挑戰(zhàn)，并探索了未來的可能性。

總結(jié)來說本文的主要貢獻如下：

這是第一篇專門探討使用深度學(xué)習(xí)的端到端自動駕駛的綜述論文。我們對基本原理、方法和功能進行了全面分析，深入研究了該領(lǐng)域的最新技術(shù)進步；

我們提出了一個詳細的分類（圖2），基于輸入模式、輸出模式和基本的學(xué)習(xí)方法。此外還對安全性和可解釋性方面進行了全面檢查，以識別和解決特定領(lǐng)域的挑戰(zhàn)；

我們提出了一個基于開環(huán)和閉環(huán)評估的評估框架。此外還總結(jié)了一份公開可用的數(shù)據(jù)集和仿真的匯總列表。最后評估了最近的方法，并探索了有趣的未來可能性。

端到端系統(tǒng)體系結(jié)構(gòu)

通常，模塊化系統(tǒng)被稱為中間范式，并被構(gòu)建為離散組件的管道（圖3），連接傳感器輸入和運動輸出。模塊化系統(tǒng)的核心過程包括感知、定位、建圖、規(guī)劃和車輛控制。模塊化流水線首先將原始傳感器數(shù)據(jù)輸入到感知模塊，用于障礙物檢測，并通過定位模塊進行定位。隨后進行規(guī)劃和預(yù)測，以確定車輛的最佳和安全行程。最后控制器生成安全操縱的命令。模塊化系統(tǒng)的詳細概述可在補充材料中找到。

另一方面，直接感知或端到端驅(qū)動直接從傳感器輸入輸出自車運動。它優(yōu)化了駕駛管道（圖3），繞過了與感知和規(guī)劃相關(guān)的子任務(wù)，允許像人類一樣不斷學(xué)習(xí)感知和行動。Pomerleau Alvinn首次嘗試了端到端駕駛，該公司訓(xùn)練了一個三層傳感器運動全連接網(wǎng)絡(luò)來輸出汽車的方向。端到端駕駛基于傳感器輸入輸出自車運動，這種運動可以是各種形式的。然而，最突出的是相機、LiDAR、導(dǎo)航命令、和車輛動力學(xué)，如速度。這種感知信息被用作主干模型的輸入，主干模型負責(zé)生成控制信號。自車運動可以包含不同類型的運動，如加速、轉(zhuǎn)彎、轉(zhuǎn)向和蹬踏。此外，許多模型還輸出附加信息，例如安全機動的成本圖、可解釋的輸出或其他輔助輸出。

端到端駕駛有兩種主要方法：要么通過強化學(xué)習(xí)（RL）探索和改進駕駛模型，要么使用模仿學(xué)習(xí)（IL）以監(jiān)督的方式訓(xùn)練駕駛模型，以模仿人類駕駛行為。監(jiān)督學(xué)習(xí)范式旨在從專家演示中學(xué)習(xí)駕駛風(fēng)格，作為模型的訓(xùn)練示例。然而，擴展基于IL的自動駕駛系統(tǒng)具有挑戰(zhàn)性，因為不可能覆蓋學(xué)習(xí)階段的每個實例。另一方面，RL的工作原理是通過與環(huán)境的互動，隨著時間的推移最大化累積獎勵，網(wǎng)絡(luò)根據(jù)其行為做出駕駛決策以獲得獎勵或處罰。雖然RL模型訓(xùn)練是在線進行的，并且可以在訓(xùn)練過程中探索環(huán)境，但與模仿學(xué)習(xí)相比，它在利用數(shù)據(jù)方面的效果較差。表I總結(jié)了端到端駕駛的最新方法。

輸入模態(tài)

1）相機：基于相機的方法在端到端驅(qū)動中顯示出了有希望的結(jié)果。例如，Toromanoff等通過在城市環(huán)境中使用基于視覺的方法贏得 CARLA 2019自動駕駛挑戰(zhàn)賽。使用單目和雙目是圖像到控制端到端駕駛的自然輸入方式。

2）激光雷達：自動駕駛的另一個重要輸入源是LiDAR傳感器。LiDAR能夠抵抗光照條件，并提供準(zhǔn)確的距離估計。相比其他感知傳感器，激光雷達數(shù)據(jù)最豐富，提供的空間信息最全面。它利用激光來檢測距離并生成點云，點云是空間的3D表示，其中每個點都包含反射傳感器激光束的表面的(x,y,z)坐標(biāo)。在定位車輛時，生成里程測量結(jié)果至關(guān)重要。許多技術(shù)利用LiDAR在鳥瞰圖 (BEV)、高清 (HD)地圖和SLAM中進行特征映射。這些定位技術(shù)可以分為基于配準(zhǔn)的方法、基于特征的方法和基于學(xué)習(xí)的方法。

3）多模態(tài)：多模態(tài)在關(guān)鍵感知任務(wù)中優(yōu)于單模態(tài)，并且特別適合自動駕駛應(yīng)用，因為它結(jié)合了多傳感器數(shù)據(jù)。根據(jù)何時組合多傳感器信息，信息利用可分為三大類。在早期融合中，傳感器數(shù)據(jù)先進行組合，然后再將其輸入可學(xué)習(xí)的端到端系統(tǒng)。在中期融合中，信息融合是在一些預(yù)處理階段或一些特征提取之后完成的。在后期融合中，輸入被單獨處理，它們的輸出被融合并由另一層進一步處理。

4）語義表示：端到端模型也可以將語義表示作為輸入。這種表示側(cè)重于學(xué)習(xí)車輛及其環(huán)境的幾何和語義信息。

它通常涉及將各種感知傳感器的幾何特征投影到圖像空間，例如鳥瞰圖和范圍視圖。雖然原始RGB圖像包含所有可用信息，但事實證明，顯式合并預(yù)定義的表示并將其用作附加輸入可以增強模型的彈性。Chen等在學(xué)習(xí)的語義圖上采用循環(huán)注意力機制來預(yù)測車輛控制。此外，一些研究利用語義分割作為導(dǎo)航目的的附加表示。

5）導(dǎo)航輸入：端到端駕駛模型可以包含高級導(dǎo)航指令或?qū)Ｗ⒂谔囟ǖ膶?dǎo)航子任務(wù)，例如車道維護和縱向控制。導(dǎo)航輸入可以源自路徑規(guī)劃器或?qū)Ш矫?。路徑是由全局?guī)劃器提供的全球定位系統(tǒng)（GPS）坐標(biāo)中的一系列離散端點位置定義的。

TCP模型接收相關(guān)的導(dǎo)航指令，例如留在車道上、左/右轉(zhuǎn)和目標(biāo)，以生成控制動作，如圖4（c）所示。FlowDriveNet考慮了全局規(guī)劃器的離散導(dǎo)航命令和導(dǎo)航目標(biāo)的坐標(biāo)。除了上述輸入之外，端到端模型還包含車輛動力學(xué)，例如自車輛速度。圖4(b)說明了NEAT如何利用速度特征來生成航路點。

輸出模態(tài)

通常端到端自動駕駛系統(tǒng)輸出控制命令、航跡點或軌跡。此外，它還可能產(chǎn)生額外的表示，例如成本圖和輔助輸出。圖4說明了一些輸出模式。

a) 航跡點：預(yù)測未來航跡點是一種更高級別的輸出模式。幾位作者使用自回歸路點網(wǎng)絡(luò)來預(yù)測差分路點。軌跡也可以表示坐標(biāo)系中的航路點序列。使用模型預(yù)測控制（MPC）和比例積分微分（PID）將網(wǎng)絡(luò)的輸出航路點轉(zhuǎn)換為低級轉(zhuǎn)向和加速度?？v向控制器考慮連續(xù)時間步路點之間矢量的加權(quán)平均值的大小，而橫向控制器考慮它們的方向。理想的航跡點取決于所需的速度、位置和旋轉(zhuǎn)。橫向距離和角度必須最小化，以最大化獎勵（或最小化偏差）。利用航跡點作為輸出的好處是它們不受車輛幾何形狀的影響。此外，控制器更容易分析航跡點以獲取轉(zhuǎn)向等控制命令。連續(xù)形式的航跡點可以轉(zhuǎn)化為特定的軌跡。

b) 懲罰函數(shù)：為了車輛的安全操縱，許多軌跡和航跡點都是可能的。成本用于在可能性中選擇最佳的一種。它根據(jù)最終用戶定義的參數(shù)（例如安全性、行駛距離、舒適度等）為每個軌跡分配權(quán)重（正分或負分）。Zeng等采用神經(jīng)運動規(guī)劃器，使用成本量來預(yù)測未來的軌跡。Hu等采用了一種成本函數(shù)，該函數(shù)利用學(xué)習(xí)到的占用概率場（由分割圖（圖4（f））表示）和交通規(guī)則等先驗知識來選擇成本最小的軌跡。

c）直接控制和加速：大多數(shù)端到端模型在特定時間戳提供轉(zhuǎn)向角和速度作為輸出。輸出控制需要根據(jù)車輛的動力學(xué)進行校準(zhǔn)，確定適當(dāng)?shù)霓D(zhuǎn)彎轉(zhuǎn)向角度以及在可測量距離處停止所需的制動。

d) 輔助輸出：輔助輸出可以為模型的運行和駕駛動作的確定提供附加信息。幾種類型的輔助輸出包括分割圖、BEV圖、車輛的未來占用率以及可解釋的特征圖。如圖 4(e) 和 (f) 所示，這些輸出為端到端管道提供了附加功能，并幫助模型學(xué)習(xí)更好的表示。輔助輸出還有助于解釋模型的行為，因為人們可以理解信息并推斷模型決策背后的原因。

學(xué)習(xí)方法

以下是端到端駕駛的不同學(xué)習(xí)方式。

模仿學(xué)習(xí)

模仿學(xué)習(xí)（IL）基于從專家演示中學(xué)習(xí)的原則，通常由人類執(zhí)行。這些演示訓(xùn)練系統(tǒng)模仿專家在各種場景（例如車輛控制）中的行為。大規(guī)模的專家駕駛數(shù)據(jù)集很容易獲得，可以通過模仿學(xué)習(xí)利用這些數(shù)據(jù)集來訓(xùn)練按照類人標(biāo)準(zhǔn)執(zhí)行的模型（見圖 5）。Alvinn 是模仿學(xué)習(xí)在端到端自動駕駛車輛系統(tǒng)中的第一個應(yīng)用，展示了以高達55英里/小時的速度駕駛汽車的能力。它經(jīng)過訓(xùn)練，可以使用從人類駕駛員收集的實時訓(xùn)練數(shù)據(jù)來預(yù)測轉(zhuǎn)向角。行為克?。˙C）、直接策略學(xué)習(xí)（DPL）和逆強化學(xué)習(xí)（IRL）是模仿學(xué)習(xí)在自動駕駛領(lǐng)域的延伸。

模仿學(xué)習(xí)的主要目標(biāo)是訓(xùn)練一個策略，將每個給定狀態(tài)映射到相應(yīng)的動作（圖 5），盡可能接近給定的專家策略，給定具有狀態(tài)動作對的專家數(shù)據(jù)集：

1）行為克隆：行為克隆是監(jiān)督模仿學(xué)習(xí)任務(wù)，其目標(biāo)是將專家分布中的每個狀態(tài)-動作組合視為獨立同分布（IID）示例，并最大限度地減少訓(xùn)練策略的模仿?lián)p失：

行為克隆假設(shè)專家的行為可以通過觀察得到充分解釋，因為它訓(xùn)練模型根據(jù)訓(xùn)練數(shù)據(jù)集直接從輸入數(shù)據(jù)映射到輸出數(shù)據(jù)（圖6）。然而在現(xiàn)實場景中，有許多潛在變量影響和控制駕駛代理。因此有效地學(xué)習(xí)這些變量至關(guān)重要。

2）直接策略學(xué)習(xí)：與將傳感器輸入映射到控制命令的模仿學(xué)習(xí)相反，直接策略學(xué)習(xí)旨在直接學(xué)習(xí)將輸入映射到駕駛行為的最優(yōu)策略。它使智能體能夠探索周圍環(huán)境并發(fā)現(xiàn)新穎且高效的駕駛策略。相比之下，行為克隆受到訓(xùn)練數(shù)據(jù)集的限制，僅包含特定行為，在新場景上可能表現(xiàn)不佳。在線模仿學(xué)習(xí)算法DAGGER提供了針對級聯(lián)錯誤的魯棒性并提高了泛化性。然而，直接策略學(xué)習(xí)的主要缺點是在培訓(xùn)過程中持續(xù)需要專家的參與，這既昂貴又低效。

3）逆強化學(xué)習(xí)：逆強化學(xué)習(xí)（IRL）旨在通過獎勵函數(shù)推斷潛在的特定行為?；谔卣鞯腎RL教授高速公路場景中的不同駕駛方式。人類提供的示例用于學(xué)習(xí)不同的獎勵函數(shù)以及與道路使用者交互的能力。最大熵（MaxEnt）逆強化學(xué)習(xí)是基于最大熵原理的基于特征的IRL的擴展。該范例有力地解決了獎勵模糊性并處理次優(yōu)化。主要缺點是 IRL 算法的運行成本昂貴。它們對計算的要求也很高，在訓(xùn)練過程中不穩(wěn)定，并且可能需要更長的時間才能收斂到較小的數(shù)據(jù)集。需要更高效的計算方法來獲得獎勵函數(shù)。

強化學(xué)習(xí)

強化學(xué)習(xí)（RL）是解決分布轉(zhuǎn)移問題的一種有前途的方法。它的目標(biāo)是通過與環(huán)境交互來隨著時間的推移最大化累積獎勵，并且網(wǎng)絡(luò)根據(jù)其行為做出駕駛決策以獲得獎勵或懲罰。IL無法處理與訓(xùn)練數(shù)據(jù)集顯著不同的新情況。然而，強化學(xué)習(xí)對于這個問題很魯邦，因為它在訓(xùn)練期間探索了所有相關(guān)場景。強化學(xué)習(xí)涵蓋各種模型，包括基于價值的模型，例如深度Q網(wǎng)絡(luò)（DQN），基于actor-critic的模型，例如深度確定性策略梯度（DDPG）和異步優(yōu)勢行動者批評家（A3C），最大熵模型，例如Soft Actor Critic（SAC），以及基于策略的優(yōu)化方法，例如信任區(qū)域策略優(yōu)化（TRPO）和近端策略優(yōu)化（PPO）。

Liang展示了第一個有效的基于視覺的驅(qū)動管道的強化學(xué)習(xí)方法，其性能優(yōu)于當(dāng)時的模塊化管道。他們的方法基于深度確定性策略梯度（DDPG），這是actor-critic算法的擴展版本。

最近，人機循環(huán)（HITL）方法在文獻中引起了關(guān)注。這些方法的前提是專家論證為實現(xiàn)高回報政策提供了寶貴的指導(dǎo)。一些研究的重點是將人類專業(yè)知識融入到傳統(tǒng)強化學(xué)習(xí)或IL 范式的訓(xùn)練過程中。EGPO就是一個這樣的例子，它旨在開發(fā)一種專家指導(dǎo)的策略優(yōu)化技術(shù)，其中專家策略監(jiān)督學(xué)習(xí)代理。

HACO允許智能體探索危險環(huán)境，同時確保訓(xùn)練安全。在這種方法中，人類專家可以干預(yù)并指導(dǎo)代理避免潛在的有害情況或不相關(guān)的行為（見圖7（b））。一般來說，專家可以為模仿學(xué)習(xí)或強化學(xué)習(xí)提供高級別的監(jiān)督。最初可以使用模仿學(xué)習(xí)來教授策略，然后使用強化學(xué)習(xí)來完善策略，這有助于減少強化學(xué)習(xí)所需的大量訓(xùn)練時間。

其他學(xué)習(xí)方法

明確設(shè)計具有部分組件的端到端系統(tǒng)的學(xué)習(xí)方法涵蓋各種方法，包括多任務(wù)學(xué)習(xí)、面向目標(biāo)的學(xué)習(xí)和SP-T3等特定技術(shù)。此外，像PPGeo這樣的自監(jiān)督學(xué)習(xí)框架利用未標(biāo)記的駕駛視頻來建模駕駛策略。這些方法旨在訓(xùn)練能夠有效處理多個任務(wù)的模型，針對特定目標(biāo)進行優(yōu)化，并結(jié)合專門的技術(shù)來增強端到端系統(tǒng)的性能和功能。

學(xué)習(xí)從模擬器到真實的域適應(yīng)

可以在虛擬引擎中構(gòu)建大規(guī)模虛擬場景，從而更輕松地收集大量數(shù)據(jù)。然而，虛擬數(shù)據(jù)和現(xiàn)實世界數(shù)據(jù)之間仍然存在顯著的領(lǐng)域差異，這給創(chuàng)建和實現(xiàn)虛擬數(shù)據(jù)集帶來了挑戰(zhàn)。通過利用領(lǐng)域適應(yīng)原理，我們可以直接從模擬器中提取關(guān)鍵特征，并將從源領(lǐng)域?qū)W到的知識轉(zhuǎn)移到由準(zhǔn)確的現(xiàn)實世界數(shù)據(jù)組成的目標(biāo)領(lǐng)域。

H-Divergence 框架通過對抗學(xué)習(xí)域分類器和檢測器來解決視覺和實例級別的域差距。Zhang提出了一種模擬器-真實交互策略，利用源域和目標(biāo)域之間的差異。作者創(chuàng)建了兩個組件來協(xié)調(diào)全球和本地層面的差異，并確保它們之間的整體一致性。隨后逼真的合成圖像可用于訓(xùn)練端到端模型。

一些工作利用虛擬LiDAR數(shù)據(jù)。Sallab對來自CARLA的虛擬LiDAR點云進行學(xué)習(xí)，并利用CycleGAN將樣式從虛擬域轉(zhuǎn)移到真實的KITTI數(shù)據(jù)集。關(guān)于規(guī)劃和決策差異，Pan提出了在具有現(xiàn)實框架的模擬環(huán)境中學(xué)習(xí)駕駛策略，然后再將其應(yīng)用于現(xiàn)實世界。

安全性

確保端到端自動駕駛系統(tǒng)的安全是一項復(fù)雜的挑戰(zhàn)。雖然這些系統(tǒng)具有高性能潛力，但為了維護整個管道的安全，一些考慮因素和方法至關(guān)重要。首先使用涵蓋廣泛場景（包括罕見和危急情況）的多樣化、高質(zhì)量數(shù)據(jù)來訓(xùn)練系統(tǒng)。[23]表明，針對關(guān)鍵場景的培訓(xùn)有助于系統(tǒng)學(xué)習(xí)穩(wěn)健且安全的行為，并為其應(yīng)對環(huán)境條件和潛在危險做好準(zhǔn)備。這些場景包括十字路口處無保護的轉(zhuǎn)彎、行人從遮擋區(qū)域出現(xiàn)、激進的變道以及其他安全啟發(fā)法，如圖 8(b) 和 (c) 所示。

將安全約束和規(guī)則集成到端到端系統(tǒng)中是另一個重要方面。系統(tǒng)可以通過在學(xué)習(xí)或后處理系統(tǒng)輸出期間納入安全考慮因素來優(yōu)先考慮安全行為。安全約束包括安全成本函數(shù)、避免不安全的操作和避免碰撞策略。Zeng等明確負責(zé)安全規(guī)劃的成本量。為了避免不安全的操作，Zhang等消除不安全的航點，Shao等引入InterFuser（圖8（a）），它僅約束安全集中的動作，并僅引導(dǎo)最安全的動作。上述約束確保系統(tǒng)在預(yù)定義的安全邊界內(nèi)運行。

實施額外的安全模塊和測試機制（表 II、表 III）可增強系統(tǒng)的安全性。對系統(tǒng)行為的實時監(jiān)控可以檢測異?；虬踩僮髌睢u等提出了一種軌跡+控制模型，可以預(yù)測長范圍內(nèi)的安全軌跡。Hu等還采用目標(biāo)規(guī)劃器來確保安全。這些機制確保系統(tǒng)能夠檢測并響應(yīng)異?；蛞馔馇闆r，從而降低發(fā)生事故或不安全行為的風(fēng)險。

如表二所示，對抗攻擊方法被用于端到端駕駛測試，以評估輸出控制信號的正確性。這些測試方法旨在識別漏洞并評估針對對手的穩(wěn)健性。端到端測試表 (III) 確定給定場景內(nèi)的正確控制決策。變質(zhì)測試通過驗證不同天氣和照明條件下轉(zhuǎn)向角度的一致性來解決預(yù)言機問題。它提供了一種可靠的方法來確保轉(zhuǎn)向角保持穩(wěn)定且不受這些因素的影響。差異測試通過比較同一場景的推理結(jié)果，揭示了不同 DNN 模型之間的不一致。如果模型產(chǎn)生不同的結(jié)果，則表明系統(tǒng)中存在意外行為和潛在問題?；谀Ｐ偷念A(yù)言機采用經(jīng)過訓(xùn)練的概率模型來評估和預(yù)測真實場景中的潛在風(fēng)險。通過監(jiān)視環(huán)境，它可以識別系統(tǒng)可能無法充分處理的情況。

安全指標(biāo)提供了評估自動駕駛系統(tǒng)性能的定量措施，并評估系統(tǒng)在安全方面的功能。碰撞時間 (TTC)、沖突指數(shù) (CI)、碰撞潛在指數(shù) (CPI)、反應(yīng)時間 (TTR) 等一些指標(biāo)可以提供各種方法的安全性能之間的額外客觀比較并識別區(qū)域 需要改進的地方。安全指標(biāo)對于監(jiān)控和開發(fā)安全可靠的駕駛解決方案至關(guān)重要。表IV 提供了這些指標(biāo)的詳細描述。

可解釋性

可解釋性是指理解代理邏輯的能力，重點關(guān)注用戶如何解釋模型輸入和輸出之間的關(guān)系。它包含兩個主要概念：可解釋性，涉及解釋的可理解性；完整性，涉及通過解釋詳盡地定義模型的行為。Cui等區(qū)分了對自動駕駛汽車的三種信心：透明度，指的是人預(yù)見和理解車輛操作的能力；技術(shù)能力，與了解車輛性能有關(guān)；情況管理，其中涉及用戶可以隨時重新獲得車輛控制權(quán)的概念。根據(jù)哈斯皮爾等人的說法，當(dāng)人類參與時，解釋起著至關(guān)重要的作用，因為解釋自動駕駛汽車行為的能力會顯著影響消費者的信任，而這對于廣泛接受這項技術(shù)至關(guān)重要。

關(guān)于模仿和強化學(xué)習(xí)方法正在進行大量研究，重點是提供模型行為解釋的解釋能力。為了描述事后解釋方法，已經(jīng)確定了兩類（圖 9）：局部方法（VIII-A），它解釋對特定動作實例的預(yù)測；全局方法（VIII-B），它解釋 模型作為一個整體。

Local explanations

1）Post-hoc顯著性方法：事后顯著性技術(shù)試圖解釋像素的哪些部分對模型的輸出影響最大。這些方法提供了一個顯著性圖，說明模型做出最重要決策的位置。

Post-hoc顯著性方法主要關(guān)注駕駛架構(gòu)的感知組件。這些局部預(yù)測被用作視覺注意力圖，并使用線性組合與學(xué)習(xí)參數(shù)相結(jié)合來做出最終決策。雖然基于注意力的方法通常被認為可以提高神經(jīng)網(wǎng)絡(luò)的透明度，但應(yīng)該注意的是，學(xué)習(xí)到的注意力權(quán)重可能與多個特征表現(xiàn)出弱相關(guān)性。在測量駕駛過程中的不同輸入特征時，注意力權(quán)重可以提供準(zhǔn)確的預(yù)測?？傮w而言，評估注意力機制的事后有效性具有挑戰(zhàn)性，并且通常依賴于主觀的人類評估。

2）反事實解釋：顯著性方法側(cè)重于回答“哪里”的問題，識別對模型決策有影響的輸入位置。相比之下，反事實解釋通過尋找輸入中改變模型預(yù)測的微小變化來解決“什么”問題。

由于輸入空間由語義維度組成并且是可修改的，因此評估輸入組件的因果關(guān)系很簡單。Li等最近提出了一種用于識別風(fēng)險對象的因果推理技術(shù)。語義輸入提供了高級對象表示，使其比像素級表示更易于解釋。

在端到端驅(qū)動中，轉(zhuǎn)向、油門和制動驅(qū)動輸出可以通過提供反事實解釋的輔助輸出來補充。Chitta等提出使用 A* 規(guī)劃器的可解釋的輔助輸出。Shao等設(shè)計了一個系統(tǒng)，如圖10（b）所示，它生成一個安全思維導(dǎo)圖，在中間對象密度圖的幫助下推斷潛在的故障。

Global explanations

全局解釋旨在通過描述模型所擁有的知識來提供對模型行為的整體理解。它們分為模型翻譯（VIII-B1）和表示解釋技術(shù)（VIII-B2），用于分析全局解釋。

1）模型翻譯：模型翻譯的目標(biāo)是將信息從原始模型轉(zhuǎn)移到本質(zhì)上可解釋的不同模型。這涉及訓(xùn)練一個可解釋的模型來模擬輸入輸出關(guān)系。最近的研究探索了將深度學(xué)習(xí)模型轉(zhuǎn)化為決策樹、基于規(guī)則的模型或因果模型。然而，這種方法的一個局限性是可解釋的翻譯模型與原始自動駕駛模型之間可能存在差異。

2）解釋表示：解釋表示旨在解釋模型結(jié)構(gòu)在不同尺度上捕獲的信息。神經(jīng)元的激活可以通過檢查最大化其活動的輸入模式來理解。例如，可以使用梯度上升或生成網(wǎng)絡(luò)對輸入進行采樣。

評估

End-to-End系統(tǒng)的評估分為開環(huán)評估和閉環(huán)評估。使用真實世界的基準(zhǔn)數(shù)據(jù)集（例如KITTI和 nuScenes）評估開環(huán)。它將系統(tǒng)的駕駛行為與專家的行為進行比較并測量偏差 MinADE、MinFDE、L2 誤差和沖突率 [58] 等指標(biāo)是表I中列出的一些評估指標(biāo)。相比之下，閉環(huán)評估直接評估受控現(xiàn)實世界或受控現(xiàn)實世界中的系統(tǒng)。通過允許其獨立駕駛并學(xué)習(xí)安全駕駛操作來模擬設(shè)置。

在端到端駕駛系統(tǒng)的開環(huán)評估中，系統(tǒng)的輸入（例如相機圖像或激光雷達數(shù)據(jù)）被提供給系統(tǒng)。所產(chǎn)生的輸出（例如轉(zhuǎn)向命令和車輛速度）將根據(jù)預(yù)定義的駕駛行為進行評估。開環(huán)評估中常用的評估指標(biāo)包括衡量系統(tǒng)遵循期望軌跡或駕駛行為的能力，例如預(yù)測軌跡和實際軌跡之間的均方誤差或系統(tǒng)保持在該軌跡內(nèi)的時間百分比 所需軌跡的一定距離。其他評估指標(biāo)也可用于評估系統(tǒng)在特定駕駛場景中的性能，例如系統(tǒng)導(dǎo)航交叉路口、處理障礙物或執(zhí)行車道變換的能力。

最近的大多數(shù)端到端系統(tǒng)都是在閉環(huán)設(shè)置中進行評估的，例如LEADERBOARD和NOCRASH [79]。表V比較了 CARLA 公共排行榜上所有最先進的方法。CARLA 排行榜分析意環(huán)境中的自動駕駛系統(tǒng)。車輛的任務(wù)是完成一組指定的路線，其中包括意外穿越行人或突然變道等危險場景。排行榜衡量車輛在規(guī)定時間內(nèi)在給定城鎮(zhèn)路線上成功行駛的距離以及發(fā)生違規(guī)的次數(shù)。有幾個指標(biāo)可以讓您全面了解駕駛系統(tǒng)，如下所述：

路線完成 (RC)：測量車輛可以完成的距離的百分比；

違規(guī)分數(shù)/罰分（IS）：是跟蹤違規(guī)行為并匯總違規(guī)罰分的幾何級數(shù)。車輛的起始分數(shù)為1.0，然后根據(jù)違規(guī)處罰進一步降低分數(shù)。它衡量客服人員開車不造成違規(guī)的頻率；

駕駛分數(shù)（DS）：是一個主要指標(biāo)，計算為路線完成度與違規(guī)處罰的乘積。它衡量按每條路線的違規(guī)行為加權(quán)的路線完成率。

有評估違規(guī)行為的具體指標(biāo)，每次違規(guī)發(fā)生時，每個指標(biāo)都會應(yīng)用懲罰系數(shù)。與行人的碰撞、與其他車輛的碰撞、與靜態(tài)元素的碰撞、碰撞布局、紅燈違規(guī)、停車標(biāo)志違規(guī)和越野違規(guī)是使用的一些指標(biāo)。

數(shù)據(jù)集和仿真

數(shù)據(jù)集

在端到端模型中，數(shù)據(jù)的質(zhì)量和豐富性是模型訓(xùn)練的關(guān)鍵方面。訓(xùn)練數(shù)據(jù)不是使用不同的超參數(shù)，而是影響模型性能的最關(guān)鍵因素。輸入模型的信息量決定了它產(chǎn)生的結(jié)果類型。我們根據(jù)傳感器模式（包括攝像頭、激光雷達、GNSS 和動力學(xué)）總結(jié)了自動駕駛數(shù)據(jù)集。數(shù)據(jù)集的內(nèi)容包括城市駕駛、交通和不同的路況。天氣條件也會影響模型的性能。一些數(shù)據(jù)集，例如 ApolloScape，捕獲從晴天到下雪的所有天氣條件。表六提供了詳細信息。

仿真和工具集

端到端駕駛和學(xué)習(xí)管道的標(biāo)準(zhǔn)測試需要先進的軟件模擬器來處理信息并為其各種功能得出結(jié)論。此類駕駛系統(tǒng)的試驗成本高昂，而且在公共道路上進行測試受到嚴格限制。模擬環(huán)境有助于在道路測試之前訓(xùn)練特定的算法/模塊。像Carla這樣的模擬器可以根據(jù)實驗要求靈活地模擬環(huán)境，包括天氣條件、交通流量、道路代理等。模擬器在生成安全關(guān)鍵場景方面發(fā)揮著至關(guān)重要的作用，并有助于模型泛化以檢測和預(yù)測 防止此類情況的發(fā)生。

表七比較了廣泛使用的端到端驅(qū)動管道訓(xùn)練平臺。MATLAB/Simulink用于各種設(shè)置；它包含高效的繪圖函數(shù)，并且能夠與其他軟件（例如CarSim]）進行聯(lián)合仿真，從而簡化了不同設(shè)置的創(chuàng)建。PreScan可以模擬現(xiàn)實世界的環(huán)境，包括天氣條件，這是MATLAB和CarSim所缺乏的。它還支持MATLAB Simulink接口，使建模更加有效。Gazebo以其高通用性和與ROS的輕松連接而聞名。與CARLA和LGSVL模擬器相比，使用Gazebo創(chuàng)建模擬環(huán)境需要機械工作。CARLA和LGSVL提供高質(zhì)量的模擬框架，需要GPU處理單元以適當(dāng)?shù)乃俣群蛶俾蔬\行。CARLA基于Unreal引擎構(gòu)建，而LGSVL基于Unity游戲引擎。該API允許用戶訪問CARLA和LGSVL中的各種功能，從開發(fā)可定制的傳感器到地圖生成。LGSVL一般通過各種橋連接到驅(qū)動堆棧，而CARLA允許通過ROS和Autoware進行內(nèi)置橋連接。

未來研究方向

1）學(xué)習(xí)魯棒性：目前端到端自動駕駛的研究主要集中在強化學(xué)習(xí)和模仿學(xué)習(xí)方法。強化學(xué)習(xí)通過與模擬環(huán)境交互來訓(xùn)練智能體，而IL則向?qū)＜抑悄荏w學(xué)習(xí)，無需進行廣泛的環(huán)境交互。然而IL中的分布變化和RL中的計算不穩(wěn)定等挑戰(zhàn)凸顯了進一步改進的必要性。多任務(wù)學(xué)習(xí)也是一種令人印象深刻的方法，但需要在自動駕駛研究中進一步探索。

2）增強安全性：安全性是開發(fā)端到端自動駕駛系統(tǒng)的關(guān)鍵因素。確保車輛的行為安全并準(zhǔn)確預(yù)測不確定行為是安全研究的關(guān)鍵方面。一個有效的系統(tǒng)應(yīng)該能夠處理各種駕駛情況，從而提供舒適可靠的交通。為了促進端到端方法的廣泛采用，必須完善安全約束并提高其有效性。

3）提高模型可解釋性：可解釋性的缺乏對端到端驅(qū)動的發(fā)展提出了新的挑戰(zhàn)。然而人們正在不斷努力，通過設(shè)計和生成可解釋的語義特征來解決這個問題。這些努力在性能和可解釋性方面都顯示出有希望的改進。盡管如此，設(shè)計新穎的方法來解釋導(dǎo)致失敗的模型操作并提供潛在的解決方案還需要進一步的進展。未來的研究還可以探索改進反饋機制的方法，讓用戶了解決策過程并增強對端到端駕駛系統(tǒng)可靠性的信心。

結(jié)論

在過去的幾年里，由于與傳統(tǒng)的模塊化自動駕駛相比，端到端自動駕駛的設(shè)計簡單，人們對它產(chǎn)生了濃厚的興趣。在端到端駕駛研究呈指數(shù)級增長的推動下，我們首次對使用深度學(xué)習(xí)的端到端自動駕駛進行了全面調(diào)查。該調(diào)查論文不僅有助于理解端到端自動駕駛，而且可以作為該領(lǐng)域未來研究的指南。我們開發(fā)了一種分類法，根據(jù)模式、學(xué)習(xí)和培訓(xùn)方法對研究進行分類。此外，我們還研究了利用領(lǐng)域適應(yīng)方法來優(yōu)化訓(xùn)練過程的潛力。此外，本文還介紹了一個包含開環(huán)和閉環(huán)評估的評估框架，可以對系統(tǒng)性能進行全面分析。為了促進該領(lǐng)域的進一步研究和開發(fā)，我們編制了公開可用的數(shù)據(jù)集和模擬器的匯總列表。本文還探討了不同文章提出的有關(guān)安全性和可解釋性的潛在解決方案。盡管端到端方法的性能令人印象深刻，但仍需要在安全性和可解釋性方面繼續(xù)探索和改進，以實現(xiàn)更廣泛的技術(shù)接受。