使用合成數(shù)據(jù)實現(xiàn)自動駕駛攝像感知系統(tǒng)聚焦遠場物體

探測遠場物體（比如 100 米以外的車輛等）是自動駕駛系統(tǒng)在高速公路上安全運行的基礎(chǔ)。

在此類高速環(huán)境中，每一秒都至關(guān)重要。因此，如果能夠?qū)⒁?70 英里/小時（約 113 公里/小時）速度行駛的自動駕駛車輛的感知范圍從 100 米增加到 200 米，那么車輛就會有更多的時間裕量來做出反應。

然而，對于量產(chǎn)乘用車中所部署的攝像感知系統(tǒng)來說，擴大這一范圍尤其困難。訓練攝像感知系統(tǒng)來探測遠場物體需要采集大量攝像數(shù)據(jù)以及真值（ground truth）標注，比如 3D 邊界框和距離等。

圖 1. 自動駕駛汽車離其他物體越遠，就越難執(zhí)行準確的攝像感知和真值標注。（圖中的汽車未按比例繪制)

對于 200 米以外的物體，要提取這種真值數(shù)據(jù)就會變得更加困難。物體越遠，它在圖像中就越小，最終會變得只有幾像素那么大。通常情況下，會同時使用像激光雷達這樣的傳感器，以及聚合和自動標注技術(shù)來提取 3D 和距離信息，但這類在激光雷達工作范圍外的數(shù)據(jù)會變得稀疏并充滿干擾。

圖 2. 攝像頭數(shù)據(jù)實例（使用 30 度視場的長焦鏡頭在高速公路場景中拍攝），放大圖顯示了只有幾個像素的遠處汽車圖像。

在開發(fā)過程中，NVIDIA DRIVE 自動駕駛汽車團隊需要解決這一具體挑戰(zhàn)。為此，NVIDIA 利用?NVIDIA Omniverse Replicator?的功能，在?NVIDIA DRIVE Sim?中生成遠場物體的合成真值數(shù)據(jù)。

NVIDIA DRIVE Sim?是依托 Omniverse 構(gòu)建而成的自動駕駛汽車仿真平臺，包含了基于物理學的傳感器模型，這些模型已通過全面的高保真?zhèn)鞲衅鞣抡骝炞C。更多詳情，請參閱驗證 NVIDIA DRIVE Sim 攝像頭模型：https://developer.nvidia.com/zh-cn/blog/validating-drive-sim-camera-models/

通過 NVIDIA DRIVE Sim 能夠查詢仿真場景中每個物體的位置（包括在任何攝像頭分辨率下，距離車輛 400 米或 500 米的物體）并達到像素級精度。

通過將車輛位置信息與基于物理學的合成攝像頭數(shù)據(jù)相結(jié)合，即可生成感知所需的 3D 和距離真值標簽。

通過將這些合成真值數(shù)據(jù)添加到現(xiàn)有的真實數(shù)據(jù)集中，便能夠訓練可探測遠距離汽車的網(wǎng)絡(luò)，并將 190 米到 200 米處汽車的 F1 得分提高 33%。

生成遠場物體的合成真值數(shù)據(jù)

為了解決準確標注的遠場數(shù)據(jù)的稀缺問題，NVIDIA 準備生成一個由近 10 萬張遠距離物體圖像組成的合成數(shù)據(jù)集以增強現(xiàn)有的真實數(shù)據(jù)集。圖 3 展示了在 NVIDIA DRIVE Sim 中使用 Omniverse Replicator 生成這些數(shù)據(jù)集的過程（從選擇 3D 環(huán)境，到評估深度神經(jīng)網(wǎng)絡(luò)（DNN）性能）。

圖 3. 用戶可以使用 NVIDIA DRIVE Sim 不斷迭代合成數(shù)據(jù)，以提高深度神經(jīng)網(wǎng)絡(luò)（DNN）的準確性

在選擇了針對高速公路用例的 3D 環(huán)境之后，NVIDIA 設(shè)置了一輛帶有所需攝像頭傳感器的目標車輛（ego vehicle）。

NVIDIA DRIVE Sim 利用建立在 Omniverse Replicator 框架上的域隨機化 API，以編程方式改變 3D 資產(chǎn)的外觀、位置和運動。通過使用 ASAM OpenDRIVE 地圖 API，將車輛和障礙物放置在 100 米至 350 米以上的遠場距離上并使之具有情境感知能力。

NVIDIA DRIVE Sim 動作系統(tǒng)能夠仿真各種有遮擋物的棘手情況，例如變道或近距離超車搶道等。這為現(xiàn)實世界中難以遇到的場景提供了關(guān)鍵數(shù)據(jù)。

在數(shù)據(jù)生成前的最后一步，需使用 Omniverse Replicator 的真值寫入器生成必要的標簽，包括 3D 邊界框、速度、語義標簽、物體 ID 等。

利用合成攝像頭數(shù)據(jù)提高攝像頭感知性能

這個用例中的真實訓練數(shù)據(jù)集由 100 多萬張圖像組成，圖像中包含高速公路場景中距離超過 200 米的車輛的真值標簽。如圖 4 左側(cè)所示，這些真實圖像中的汽車分布數(shù)，在距離數(shù)據(jù)采集車不到 100 米的地方達到峰值。距離更遠的物體的真值標簽十分稀疏，不足以提升感知能力。

圖 4. 真實世界數(shù)據(jù)集與 NVIDIA DRIVE Sim 中生成的合成數(shù)據(jù)相對于本車距離的頻率分布比較。目標車輛的前方為 0 度，后方為 180 度。角度為方位角值。

在本案例中，生成了約 9.2 萬張合成圖像以及約 37.1 萬個汽車實例和真值標簽，重點是放置在 350 米以內(nèi)的遠距離車輛的分布。合成數(shù)據(jù)集中的汽車分布更傾向于 150 米以上的遠距離。通過向這個真實數(shù)據(jù)集添加約 9.2 萬張合成圖像，可將所需的有標簽的遠場物體引入到訓練分布中。

在綜合數(shù)據(jù)集上訓練完感知算法后，NVIDIA 對真實數(shù)據(jù)集進行了測試，該數(shù)據(jù)集上的汽車分布范圍在 200 米以內(nèi)。根據(jù)按距離計算的感知性能改進 KPI，190 米至 200 米之間的汽車的 F1 得分（衡量模型在數(shù)據(jù)集上的準確性）最多可提高 33%。

圖 5. 在使用/未使用 NVIDIA DRIVE Sim 的仿真圖像訓練 DNN 的情況下，障礙物檢測 DNN 的性能提高程度（F1 得分）。

總結(jié)

合成數(shù)據(jù)正在推動自動駕駛車輛開發(fā)范式的重大轉(zhuǎn)變，解鎖以前無法實現(xiàn)的新用例。通過使用?NVIDIA DRIVE Sim?和?NVIDIA Omniverse Replicator，用戶可以設(shè)計新傳感器的原型、評估新的真值數(shù)據(jù)類型和自動駕駛車輛感知算法并仿真罕見的負面事件，所有這些都在虛擬的試驗場中進行，所耗費的時間和成本遠低于現(xiàn)實世界。

合成數(shù)據(jù)集為自動駕駛車輛的感知提供了豐富的可能性并且在不斷發(fā)展。




審核編輯：劉清