輕量級(jí)占用網(wǎng)絡(luò)FlashOcc：主打?qū)崟r(shí)性，高精度高效內(nèi)存

自特斯拉在2021 AI Day上提出BEV障礙物感知的思路后，BEV逐漸成為業(yè)界爭(zhēng)相落地的熱點(diǎn)。

但BEV也存在一些待解決問題，比如：

(1) 僅能對(duì)真實(shí)世界中類別限定的目標(biāo)進(jìn)行的感知(如圖1.b所示)，如果想得到可行駛區(qū)域、環(huán)島、人行橫道、上方障礙物(如各類紅綠燈或攝像頭懸臂、地庫(kù)限高架等)、臨時(shí)廣告牌等，需要額外的感知模塊去進(jìn)行處理；

(2) 障礙物僅能用3D框描述，具體的形狀輪廓也丟失了；

(3) 如果行駛環(huán)境中出現(xiàn)沒見過(guò)的物體(如圖1.a中右下角的紅色移動(dòng)廣告牌或者紅綠燈懸臂)，那障礙物檢測(cè)也會(huì)失效，只能通過(guò)多模態(tài)開放場(chǎng)景檢測(cè)技術(shù)來(lái)彌補(bǔ)這類問題，但是這在目前算力有限的自動(dòng)駕駛芯片上是無(wú)法實(shí)現(xiàn)的。

因此在2022的AI day上特斯拉提出占據(jù)預(yù)測(cè)的新思路，成功解決了上述問題。占據(jù)預(yù)測(cè)任務(wù)就是將以自車為中心的三維空間劃分成一個(gè)個(gè)小的體素柵格，然后預(yù)測(cè)每個(gè)柵格的語(yǔ)義類別。具體效果如圖1.c所示，可以看出占據(jù)預(yù)測(cè)可以對(duì)整個(gè)復(fù)雜世界的所有物體進(jìn)行有效感知，從而有效的解決上述障礙物預(yù)測(cè)的問題。

但是現(xiàn)有公開的占據(jù)預(yù)測(cè)方法都需要構(gòu)建三維體素級(jí)的特征表示，這不可避免地引入大量計(jì)算資源消耗，此外還需要硬件平臺(tái)對(duì)3D(可變形)卷積或者transformer模塊有較好的支持，這些都阻礙了業(yè)界將占用預(yù)測(cè)在實(shí)車上的部署落地。

圖 1. 障礙物檢測(cè)與占據(jù)預(yù)測(cè)效果對(duì)比。受訓(xùn)練數(shù)據(jù)約束，預(yù)測(cè)范圍為前后左右40m，上下-1m到5.4m，柵格粒度0.4m。

與使模型變得更大、更復(fù)雜從而取得優(yōu)異性能的趨勢(shì)相反，理想的框架應(yīng)該對(duì)不同的端上芯片部署友好，并且保持高精度。本著輕量易部署且性能無(wú)損甚至還提升的初衷下，大連理工、后摩智能以及阿德萊德聯(lián)合提出了一種簡(jiǎn)單輕量的占據(jù)插件，稱之為FlashOCC。

通過(guò)在主流占據(jù)方法(BEVDetOcc、FBOcc、UniOcc等)上的驗(yàn)證，證明了FlashOCC在部署顯存需求、推理時(shí)間、訓(xùn)練耗時(shí)以及模型精度上都取得了最優(yōu)的權(quán)衡，并且對(duì)各類端上芯片部署友好。

論文地址：https://arxiv.org/abs/2311.12058

代碼鏈接：https://github.com/Yzichen/FlashOCC

內(nèi)容簡(jiǎn)介

方法架構(gòu)：

圖 2插件概述以及綜合性能比對(duì)

FlashOcc以極優(yōu)的精度完成了實(shí)時(shí)環(huán)視3D占用預(yù)測(cè)，代表了該領(lǐng)域的開創(chuàng)性貢獻(xiàn)。此外，它還展示了跨不同車載平臺(tái)部署的優(yōu)越性，因?yàn)?strong>不需要昂貴的體素級(jí)特征處理，從而避免了transformer或 3D（可變形）卷積算子。FlashOcc通過(guò)2類替換對(duì)現(xiàn)有基于體素級(jí)3D特征的占據(jù)任務(wù)進(jìn)行提升：

(1) 用2D卷積替換3D卷積;

(2) 用通道到高度變換替換從3D卷積得到的占用預(yù)測(cè)，具體如圖1.(a)所示。圖1.(b)則通過(guò)圖表詳細(xì)說(shuō)明了模型精度與速度、推理內(nèi)存消耗以及訓(xùn)練時(shí)間等因素之間的權(quán)衡。

雖然FlashOcc專注于以即插即用的方式增強(qiáng)現(xiàn)有模型，但它仍然可以分為五個(gè)基本模塊，具體如圖2所示：

(1) 用于提取圖像特征的2D圖像編碼器。

(2) 將2D圖像特征映射到BEV表征的視圖轉(zhuǎn)換模塊。

(3) 修正BEV特征的BEV編碼器。

(4) 預(yù)測(cè)每個(gè)體素分割標(biāo)簽的占用預(yù)測(cè)頭。

(5) 集成歷史信息以提高性能的時(shí)間融合模塊(可選)。

圖 3框架圖

實(shí)驗(yàn)表明我們方法在同比條件下都取得了最優(yōu)的性能以及訓(xùn)練及部署資源消耗。

表 1Occ3D-nuSences驗(yàn)證集上的性能

表 2訓(xùn)練及部署消耗說(shuō)明

下圖對(duì)模型預(yù)測(cè)進(jìn)行可視化。由于用于訓(xùn)練的數(shù)據(jù)的柵格細(xì)粒度是40cmx40cmx40cm，因此對(duì)細(xì)節(jié)的構(gòu)建較為粗糙。但即便如此，可以看到我們的方法可以有效預(yù)測(cè)橫跨馬路懸空的紅綠燈，這證明FlashOcc有效的構(gòu)建了高度信息，此外懸空樹木的輪廓預(yù)測(cè)也證明了這一點(diǎn)；而圖中表示行人的占據(jù)柵格，在胸口前柵格占據(jù)表示手持手機(jī)、腿后柵格占據(jù)表示后拉行李箱，證明我們方法對(duì)細(xì)節(jié)外形捕捉能力；交通錐的準(zhǔn)確預(yù)測(cè)證明了小目標(biāo)捕獲能力。

圖 4 可視化。受訓(xùn)練數(shù)據(jù)約束，預(yù)測(cè)范圍為前后左右40m，上下-1m到5.4m，柵格粒度0.4m。

總結(jié)與展望

FlashOcc初步探索了性能無(wú)損端上部署友好輕量級(jí)占用預(yù)測(cè)方法，為占據(jù)任務(wù)實(shí)車落地提供技術(shù)原型支撐，精度、效率和內(nèi)存消耗均超越當(dāng)前SOTA。未來(lái)進(jìn)一步探索高效的端上可部署的端到端自動(dòng)駕駛方案將是我們重要的研究方向。

審核編輯：劉清