一種創(chuàng)新的動態(tài)軌跡預(yù)測方法

導(dǎo)讀：

本文提出了一種動態(tài)軌跡預(yù)測方法，通過結(jié)合歷史幀和歷史預(yù)測結(jié)果來提高預(yù)測的穩(wěn)定性和準(zhǔn)確性。它引入了歷史預(yù)測注意力模塊，以編碼連續(xù)預(yù)測之間的動態(tài)關(guān)系，并通過三重因子注意力模塊實現(xiàn)了最先進(jìn)的性能。本方法能夠生成準(zhǔn)確且穩(wěn)定的未來軌跡，這對于自動駕駛系統(tǒng)落地至關(guān)重要。??【深藍(lán)AI】編譯

01本文概要

在自動駕駛中，精確預(yù)測道路智能體的未來軌跡至關(guān)重要?，F(xiàn)有的方法主要采用了一種靜態(tài)的范式：通過固定長度的歷史幀來預(yù)測未來的軌跡。然而，這些方法在相鄰時間戳中獨(dú)立進(jìn)行預(yù)測，可能會引起預(yù)測的不穩(wěn)定性和不一致性?？紤]到連續(xù)時間戳中的歷史軌跡大量重疊，預(yù)測結(jié)果應(yīng)當(dāng)展現(xiàn)出內(nèi)在的相關(guān)性，例如，重疊的預(yù)測軌跡應(yīng)保持一致，或者在不同的情況下，根據(jù)道路狀況共享相同的運(yùn)動目標(biāo)。

基于這些考慮，作者提出了HPNet——一種創(chuàng)新的動態(tài)軌跡預(yù)測方法。為了確保軌跡預(yù)測的穩(wěn)定性和準(zhǔn)確性，我們的方法不僅利用了包括地圖和智能體狀態(tài)的歷史幀，還考慮了歷史預(yù)測結(jié)果。具體來說，我們設(shè)計了一個全新的歷史預(yù)測注意力模塊，用于自動捕捉連續(xù)預(yù)測之間的動態(tài)關(guān)系。此外，該模塊通過利用歷史預(yù)測，擴(kuò)大了注意力的范圍，使其超越了當(dāng)前可見的窗口。

作者提出的歷史預(yù)測注意力，結(jié)合智能體注意力和模式注意力，被整合為三重因子注意力模塊，構(gòu)成了HPNet的核心架構(gòu)。在Argoverse和INTERACTION數(shù)據(jù)集上的實驗驗證了HPNet的先進(jìn)性能，證明其能夠生成準(zhǔn)確且穩(wěn)定的未來軌跡預(yù)測。

▲圖1｜之前方法和作者的方法之間的差異。之前的方法(上方)將軌跡預(yù)測視為靜態(tài)任務(wù)，基于固定長度的歷史幀預(yù)測未來軌跡。它們即使在相鄰時間戳也獨(dú)立地進(jìn)行預(yù)測，盡管輸入數(shù)據(jù)存在大量重疊。相反，HPNet(下方)將軌跡預(yù)測視為動態(tài)任務(wù)。它不僅利用歷史幀，還使用歷史預(yù)測嵌入來進(jìn)行預(yù)測軌跡。??【深藍(lán)AI】編譯

02方法

本文提出的HPNet如下圖所示。本模型由三部分組成：時空上下文編碼、三重因子注意力和多模態(tài)輸出。首先，智能體和車道的時空特征與可學(xué)習(xí)的模式查詢聚合，以生成可以初步預(yù)測未來軌跡的預(yù)測嵌入。然后，進(jìn)行三重因子注意力處理，包括智能體注意力、歷史預(yù)測注意力和模式注意力，以精煉預(yù)測嵌入。其中，智能體注意力模擬智能體之間的互動，模式注意力模擬不同模式（即不同預(yù)測路徑）之間的互動，而歷史預(yù)測注意力是我們提出的一個新模塊，用于動態(tài)地模擬當(dāng)前和歷史預(yù)測之間的內(nèi)在關(guān)聯(lián)。最后，通過多層感知器（MLP）解碼預(yù)測嵌入，以獲得預(yù)測軌跡，這些軌跡再次輸入整個流程，以提高未來預(yù)測的精確度。

▲圖2｜HPNet的概覽??【深藍(lán)AI】編譯

■2.1 時空上下文編碼模塊

●智能體特征編碼：將每個智能體在每個時間戳的位置、運(yùn)動狀態(tài)、語義屬性等信息，通過兩個多層感知機(jī)（MLP）編碼成智能體節(jié)點(diǎn)嵌入。同時利用相對坐標(biāo)系提取運(yùn)動方向等信息。

●道路特征編碼：將道路段的位置、長度、屬性等信息，也通過兩個多層感知機(jī)（MLP）編碼成道路節(jié)點(diǎn)嵌入。此外，構(gòu)建道路節(jié)點(diǎn)之間的連接關(guān)系，如相鄰、前驅(qū)、后繼等。

●時空注意力：采用時間注意力和空間注意力兩個并行模塊。時間注意力用于聚合智能體的歷史時序信息，而空間注意力用于建模智能體與道路之間的交互。將這兩種注意力的結(jié)果相加，得到初始預(yù)測嵌入。

■2.2 三重因子注意力模塊

●智能體注意力：對每個時間戳和預(yù)測模式下的智能體節(jié)點(diǎn)，進(jìn)行自注意力計算，以建模智能體間的相互影響。一方面，智能體注意力模型模擬了智能體在各自的時空上下文中的相互作用。另一方面，它也可以被視為不同智能體未來軌跡之間的相互作用，從而減少潛在的碰撞風(fēng)險。

●歷史預(yù)測注意力：通過使用當(dāng)前預(yù)測嵌入與之前一段時間的所有預(yù)測嵌入進(jìn)行注意力計算，從而建模當(dāng)前預(yù)測與歷史預(yù)測之間的動態(tài)關(guān)系。這不僅提高了預(yù)測的穩(wěn)定性和準(zhǔn)確性，還擴(kuò)大了注意力的范圍。而且歷史預(yù)測注意力模塊不需要額外的訓(xùn)練時間和推理開銷，僅通過注意力機(jī)制建模歷史預(yù)測信息。因此能夠在不增加復(fù)雜度的情況下提升模型性能。

●模式注意力：在前兩個注意力機(jī)制的基礎(chǔ)上，對不同預(yù)測模式之間進(jìn)行自注意力建模，進(jìn)一步增強(qiáng)多模態(tài)輸出的表達(dá)能力。它通過建模不同預(yù)測軌跡之間的相互影響，增強(qiáng)了模型對未來不確定性的理解能力，從而產(chǎn)生更加穩(wěn)定可靠的預(yù)測結(jié)果。

■2.3 多模態(tài)輸出模塊

經(jīng)過三重注意力機(jī)制優(yōu)化的預(yù)測嵌入，將通過多層感知機(jī)（MLP）解碼為多模態(tài)的未來軌跡。因為在自動駕駛等應(yīng)用場景中，智能體未來的行為存在很大不確定性，通過輸出多個可能的未來軌跡，而不是單一的預(yù)測，可以更好地反映這種未來不確定性。

03結(jié)構(gòu)展示

作者在Argoverse和INTERACTION數(shù)據(jù)集上進(jìn)行了實驗，展示了其在動態(tài)軌跡預(yù)測方面的先進(jìn)性能。

▲表1｜與最先進(jìn)方法在Argoverse測試集上的性能比較，其中b-minFDE是官方排名指標(biāo)。對于每個指標(biāo)，最佳結(jié)果以粗體顯示，次佳結(jié)果下劃線。??【深藍(lán)AI】編譯

▲表2｜與最先進(jìn)方法在INTERACTION測試集上的性能比較。對于每個指標(biāo)，最佳結(jié)果以粗體顯示，次佳結(jié)果下劃線。??【深藍(lán)AI】編譯

▲表3｜三重因子注意力的消融實驗。實驗在Argoverse驗證集上進(jìn)行。??【深藍(lán)AI】編譯

▲圖3｜作者的HPNet和沒有歷史預(yù)測注意力的基線在Argoverse驗證集上的預(yù)測準(zhǔn)確性（b-minFDE↓）和穩(wěn)定性（累計ADE↓）的比較。??【深藍(lán)AI】編譯

▲圖4｜(a) 基線(b) HPNet。在Argoverse驗證集上的定性結(jié)果。車道、歷史軌跡、ground truth軌跡和六個預(yù)測軌跡分別用灰色、綠色、紅色和藍(lán)色表示。??【深藍(lán)AI】編譯

▲圖5｜HPNet(下)和基線(上)的預(yù)測結(jié)果??【深藍(lán)AI】編譯

04總結(jié)

作者提出了一種新穎的動態(tài)軌跡預(yù)測方法——HPNet。設(shè)計了一個歷史預(yù)測注意力模塊，用于模擬連續(xù)預(yù)測之間的動態(tài)關(guān)系。它采用歷史預(yù)測嵌入來指導(dǎo)當(dāng)前預(yù)測，使得預(yù)測軌跡更加準(zhǔn)確和穩(wěn)定。在Argoverse和INTERACTION數(shù)據(jù)集上的實驗表明，作者提出的HPNet實現(xiàn)了最先進(jìn)的性能，并且還證明了歷史預(yù)測注意力模塊可以有效提高模型的準(zhǔn)確性和穩(wěn)定性。