使用合成數(shù)據(jù)處理自動駕駛新視角感知

雖然，從小型客車到多軸半掛卡車，自動駕駛汽車 (AV) 有各種尺寸和大小，但部署在這些車輛上的感知算法都要經(jīng)過訓(xùn)練，以處理諸如避障或行人檢測等類似場景。

用于開發(fā)和驗證這些算法的數(shù)據(jù)集通常從某一款車型中收集，例如配備攝像頭、雷達、激光雷達和超聲波傳感器的某款小轎車。

使用某類傳感器配置的車隊數(shù)據(jù)訓(xùn)練的感知算法可以在同類傳感器配置的車型上穩(wěn)定運行。但當(dāng)相同的算法被部署到使用了不同傳感器配置的車輛上時，感知性能會降低，因為現(xiàn)在是從新的視角來感知的。

分析感知精度的損失，需要測量深度神經(jīng)網(wǎng)絡(luò) (DNN) 對新傳感器位置的敏感度。通過靈敏度分析，可以從多個角度重新訓(xùn)練感知算法，從而有針對性地提高魯棒性。

但是，靈敏度分析和重新訓(xùn)練感知都需要收集和標(biāo)注各種傳感器配置的數(shù)據(jù)集。這個過程耗時且成本高昂。

本文展示了 NVIDIA DRIVE Sim 中的合成數(shù)據(jù)集以及 NVIDIA 在新視角合成 (NVS) 方面的最新研究如何填補數(shù)據(jù)缺口，并幫助在部署新傳感器配置時保持感知準(zhǔn)確性。

測量 DNN 靈敏度

在為不同傳感器視角創(chuàng)建合成數(shù)據(jù)集之前，首先需要在 NVIDIA DRIVE Sim 中構(gòu)建數(shù)字孿生的測試車隊車輛，并配備經(jīng)過與真實世界的傳感器配置標(biāo)定的攝像頭傳感器模型。

合成數(shù)據(jù)是通過在預(yù)定義場景中按照某個軌跡駕駛汽車，收集并保存仿真攝像頭數(shù)據(jù)。每次駕駛的場景各不相同，例如傳感器裝備高度、俯沖和安裝位置等方面，以模擬其他尺寸類型的車輛。

通過使用 NVIDIA Omniverse Replicator 在 Omniverse 中生成真值 (Ground Truth, GT) 標(biāo)注（如 3D 邊界框）和評估感知算法所需的目標(biāo)類別。整個工作流都是可重復(fù)的，并且能夠運行設(shè)計好的實驗，以便快速測量感知算法的靈敏度。

在生成的數(shù)據(jù)集做推理，將預(yù)測的輸出與 GT 標(biāo)簽進行比較，用以測量在不同攝像頭高度配置下的模型精度，如圖 1 和 圖 2 所示。數(shù)據(jù)集的場景相同，但傳感器角度不同。在圖 1 中，藍色框代表 GT 標(biāo)簽，而綠色框代表網(wǎng)絡(luò)的預(yù)測。在圖 2 中，藍色框代表 GT 標(biāo)簽，而紅色框代表網(wǎng)絡(luò)的預(yù)測。

圖 1. 目標(biāo)檢測模型

在四個不同的合成數(shù)據(jù)集上運行的示例，

重點關(guān)注車輛物體類別

圖 2. 目標(biāo)檢測模型

在四個不同的合成數(shù)據(jù)集上運行的示例，

重點關(guān)注行人物體類

鑒于網(wǎng)絡(luò)是基于一類車輛采集數(shù)據(jù)進行訓(xùn)練的，因此（與采集車）相似的攝像頭配置，檢測會更準(zhǔn)確，隨著攝像頭位置的顯著變化而檢測性能降低。

要解決感知模型在新車型上部署的差距，需要視角不同于原始采集車的新車型的訓(xùn)練數(shù)據(jù)集。雖然現(xiàn)有的車隊數(shù)據(jù)可通過數(shù)據(jù)增強來使用，但這種方法并不能完全滿足數(shù)據(jù)集收集新視角的需求。

新視角合成

NVS 是一種計算機視覺方法，用于從一組現(xiàn)有圖像中生成未見過的新場景視圖。這項功能可以從不同視角或角度創(chuàng)建場景圖像，而不是由車載相機捕獲。

圖 3. 新視角合成的完整管線

NVIDIA 研究團隊最近提出了一種 NVS 方法，該方法能夠?qū)討B(tài)駕駛數(shù)據(jù)從一個傳感器位置轉(zhuǎn)換到新視角，用于模擬不同的高度、俯仰角 (pitch) 和航向角 (yaw) 等傳感器的新視角。有關(guān)詳細信息，請參閱 Towards Viewpoint Robustness in Bird’s Eye View Segmentation。

(https://nvlabs.github.io/viewpoint-robustness/assets/tzofi2023view.pdf)

該方法基于 Worldsheet，一種結(jié)合深度估計和 3D 網(wǎng)格合成來生成靜態(tài)場景新視角的技術(shù)。首先，根據(jù)預(yù)測的深度值將Lattice網(wǎng)格變形以匹配場景，從而創(chuàng)建 3D 場景網(wǎng)格。然后，使用紋理采樣器將原始圖像中的 RGB 像素強度投射到 3D 網(wǎng)格的紋理圖上。相比之前的工作，進一步采用基于激光雷達的深度監(jiān)督和自動掩碼來提高深度估計的準(zhǔn)確性并處理遮擋問題。

NVS 模型現(xiàn)在可用于生成數(shù)據(jù)，就像是從不同類型的車輛中獲取的一樣。從而能幫助解鎖現(xiàn)有車隊數(shù)據(jù)，以便在未來的自動駕駛汽車開發(fā)中使用。

圖 4. NVS 變換后的圖像示例，這些圖像生成的視角會改變原始俯仰角、深度和高度

驗證 NVS 并提升感知性能

在將 NVS 生成的數(shù)據(jù)納入訓(xùn)練數(shù)據(jù)集之前，首先要驗證其是否準(zhǔn)確的反映了真實世界，并且是否對感知訓(xùn)練有效。

為此，驗證 NVS 算法需要結(jié)合車隊數(shù)據(jù)和 NVS 轉(zhuǎn)換后的數(shù)據(jù)來訓(xùn)練感知算法。如果沒有多視角的真實數(shù)據(jù)來測試模型的性能，可以在 DRIVE Sim 中生成合成數(shù)據(jù)和 GT 標(biāo)注，與前面討論的靈敏度測試類似。

圖 5. 在 DRIVE Sim 中生成的一組用于感知驗證的具有不同俯仰角、深度和高度的攝像頭圖像

在這些合成數(shù)據(jù)集上做推理表明，使用 NVS 生成的數(shù)據(jù)進行訓(xùn)練可以提高感知性能。具體而言：

• NVS 生成的數(shù)據(jù)質(zhì)量非常合適用于不同俯仰角場景，不適用于較大高度的場景。

• 用于訓(xùn)練的 NVS 轉(zhuǎn)換數(shù)據(jù)能夠恢復(fù)感知性能，而這曾只有通過為每個新傳感器配置收集新數(shù)據(jù)才能實現(xiàn)。

這種方法開啟了一種 AV 開發(fā)新途徑，即只需一次數(shù)據(jù)采集，然后再將其重新用于多種車型，從而顯著降低部署成本和時間。

結(jié)語

開發(fā)能夠在不同類型車輛上魯棒的運行的感知堆棧是一項巨大的數(shù)據(jù)挑戰(zhàn)。而合成數(shù)據(jù)生成和用于新視角合成 (NVS) 的 AI 技術(shù)能夠?qū)崿F(xiàn)感知靈敏度的系統(tǒng)測量。這大大提高了現(xiàn)有數(shù)據(jù)集的價值，并縮短了為其他車輛部署感知堆棧的時間。

我們邀請了廣大研究人員參與這項工作。因此，我們在 Towards Viewpoint Robustness in Bird’s Eye View Segmentation 中公布了來自 DRIVE Sim 的合成數(shù)據(jù)：

https://nvlabs.github.io/viewpoint-robustness/assets/tzofi2023view.pdf

歡迎探索這些數(shù)據(jù)并了解詳情：

https://nvlabs.github.io/viewpoint-robustness/

點擊“閱讀原文”，獲取更多資訊。

了解更多

• NVIDIA 與其汽車行業(yè)合作伙伴共同開發(fā)的領(lǐng)先設(shè)計與技術(shù)：

  https://developer.nvidia.cn/drive

• 適用于自動駕駛汽車的 NVIDIA 解決方案：

  https://www.nvidia.cn/self-driving-cars/

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。掃描下方海報二維碼，立即注冊 GTC 大會。