使用合成數(shù)據(jù)實現(xiàn)自動駕駛攝像感知系統(tǒng)聚焦遠(yuǎn)場物體

探測遠(yuǎn)場物體（比如 100 米以外的車輛等）是自動駕駛系統(tǒng)在高速公路上安全運行的基礎(chǔ)。

在此類高速環(huán)境中，每一秒都至關(guān)重要。因此，如果能夠?qū)⒁?70 英里/小時（約 113 公里/小時）速度行駛的自動駕駛車輛的感知范圍從 100 米增加到 200 米，那么車輛就會有更多的時間裕量來做出反應(yīng)。

然而，對于量產(chǎn)乘用車中所部署的攝像感知系統(tǒng)來說，擴大這一范圍尤其困難。訓(xùn)練攝像感知系統(tǒng)來探測遠(yuǎn)場物體需要采集大量攝像數(shù)據(jù)以及真值（ground truth）標(biāo)注，比如 3D 邊界框和距離等。

▲圖1 自動駕駛汽車離其他物體越遠(yuǎn)，就越難執(zhí)行準(zhǔn)確的攝像感知和真值標(biāo)注。（圖中的汽車未按比例繪制)

對于 200 米以外的物體，要提取這種真值數(shù)據(jù)就會變得更加困難。物體越遠(yuǎn)，它在圖像中就越小，最終會變得只有幾像素那么大。通常情況下，會同時使用像激光雷達(dá)這樣的傳感器，以及聚合和自動標(biāo)注技術(shù)來提取 3D 和距離信息，但這類在激光雷達(dá)工作范圍外的數(shù)據(jù)會變得稀疏并充滿干擾。

▲圖2 攝像頭數(shù)據(jù)實例（使用 30 度視場的長焦鏡頭在高速公路場景中拍攝），放大圖顯示了只有幾個像素的遠(yuǎn)處汽車圖像。

在開發(fā)過程中，NVIDIA DRIVE 自動駕駛汽車團隊需要解決這一具體挑戰(zhàn)。為此，NVIDIA 利用NVIDIA Omniverse Replicator的功能，在NVIDIA DRIVE Sim中生成遠(yuǎn)場物體的合成真值數(shù)據(jù)。

NVIDIA DRIVE Sim是依托 Omniverse 構(gòu)建而成的自動駕駛汽車仿真平臺，包含了基于物理學(xué)的傳感器模型，這些模型已通過全面的高保真?zhèn)鞲衅鞣抡骝炞C。

通過 NVIDIA DRIVE Sim 能夠查詢仿真場景中每個物體的位置（包括在任何攝像頭分辨率下，距離車輛 400 米或 500 米的物體）并達(dá)到像素級精度。

通過將車輛位置信息與基于物理學(xué)的合成攝像頭數(shù)據(jù)相結(jié)合，即可生成感知所需的 3D 和距離真值標(biāo)簽。

通過將這些合成真值數(shù)據(jù)添加到現(xiàn)有的真實數(shù)據(jù)集中，便能夠訓(xùn)練可探測遠(yuǎn)距離汽車的網(wǎng)絡(luò)，并將 190 米到 200 米處汽車的 F1 得分提高 33%。

生成遠(yuǎn)場物體的合成真值數(shù)據(jù)

為了解決準(zhǔn)確標(biāo)注的遠(yuǎn)場數(shù)據(jù)的稀缺問題，NVIDIA 準(zhǔn)備生成一個由近 10 萬張遠(yuǎn)距離物體圖像組成的合成數(shù)據(jù)集以增強現(xiàn)有的真實數(shù)據(jù)集。圖 3 展示了在 NVIDIA DRIVE Sim 中使用 Omniverse Replicator 生成這些數(shù)據(jù)集的過程（從選擇 3D 環(huán)境，到評估深度神經(jīng)網(wǎng)絡(luò)（DNN）性能）。

▲圖3 用戶可以使用 NVIDIA DRIVE Sim 不斷迭代合成數(shù)據(jù)，以提高深度神經(jīng)網(wǎng)絡(luò)（DNN）的準(zhǔn)確性。

在選擇了針對高速公路用例的 3D 環(huán)境之后，NVIDIA 設(shè)置了一輛帶有所需攝像頭傳感器的目標(biāo)車輛（ego vehicle）。

NVIDIA DRIVE Sim 利用建立在 Omniverse Replicator 框架上的域隨機化 API，以編程方式改變 3D 資產(chǎn)的外觀、位置和運動。通過使用 ASAM OpenDRIVE 地圖 API，將車輛和障礙物放置在 100 米至 350 米以上的遠(yuǎn)場距離上并使之具有情境感知能力。

▲ 可使用 NVIDIA DRIVE Sim 中生成的合成真值數(shù)據(jù)和 Omniverse Replicator 來訓(xùn)練網(wǎng)絡(luò)對遠(yuǎn)場物體的感知。

NVIDIA DRIVE Sim 動作系統(tǒng)能夠仿真各種有遮擋物的棘手情況，例如變道或近距離超車搶道等。這為現(xiàn)實世界中難以遇到的場景提供了關(guān)鍵數(shù)據(jù)。

在數(shù)據(jù)生成前的最后一步，需使用 Omniverse Replicator 的真值寫入器生成必要的標(biāo)簽，包括 3D 邊界框、速度、語義標(biāo)簽、物體 ID 等。

利用合成攝像頭數(shù)據(jù)提高攝像頭感知性能

這個用例中的真實訓(xùn)練數(shù)據(jù)集由 100 多萬張圖像組成，圖像中包含高速公路場景中距離超過 200 米的車輛的真值標(biāo)簽。如圖 4 左側(cè)所示，這些真實圖像中的汽車分布數(shù)，在距離數(shù)據(jù)采集車不到 100 米的地方達(dá)到峰值。距離更遠(yuǎn)的物體的真值標(biāo)簽十分稀疏，不足以提升感知能力。

▲圖4 真實世界數(shù)據(jù)集與 NVIDIA DRIVE Sim 中生成的合成數(shù)據(jù)相對于本車距離的頻率分布比較。目標(biāo)車輛的前方為 0 度，后方為 180 度。角度為方位角值。

在本案例中，生成了約 9.2 萬張合成圖像以及約 37.1 萬個汽車實例和真值標(biāo)簽，重點是放置在 350 米以內(nèi)的遠(yuǎn)距離車輛的分布。合成數(shù)據(jù)集中的汽車分布更傾向于 150 米以上的遠(yuǎn)距離。通過向這個真實數(shù)據(jù)集添加約 9.2 萬張合成圖像，可將所需的有標(biāo)簽的遠(yuǎn)場物體引入到訓(xùn)練分布中。

在綜合數(shù)據(jù)集上訓(xùn)練完感知算法后，NVIDIA 對真實數(shù)據(jù)集進(jìn)行了測試，該數(shù)據(jù)集上的汽車分布范圍在 200 米以內(nèi)。根據(jù)按距離計算的感知性能改進(jìn) KPI，190 米至 200 米之間的汽車的 F1 得分（衡量模型在數(shù)據(jù)集上的準(zhǔn)確性）最多可提高 33%。

▲圖5 在使用/未使用 NVIDIA DRIVE Sim 的仿真圖像訓(xùn)練 DNN 的情況下，障礙物檢測 DNN 的性能提高程度（F1 得分）。

總結(jié)

合成數(shù)據(jù)正在推動自動駕駛車輛開發(fā)范式的重大轉(zhuǎn)變，解鎖以前無法實現(xiàn)的新用例。通過使用NVIDIA DRIVE Sim和NVIDIA Omniverse Replicator，用戶可以設(shè)計新傳感器的原型、評估新的真值數(shù)據(jù)類型和自動駕駛車輛感知算法并仿真罕見的負(fù)面事件，所有這些都在虛擬的試驗場中進(jìn)行，所耗費的時間和成本遠(yuǎn)低于現(xiàn)實世界。合成數(shù)據(jù)集為自動駕駛車輛的感知提供了豐富的可能性并且在不斷發(fā)展。

審核編輯：劉清