關(guān)于無(wú)人駕駛視覺(jué)感知系統(tǒng)的分析和介紹

這是說(shuō)在沒(méi)有GPS的的情況下，依靠模擬人類的視覺(jué)感知方位和障礙么？

先有請(qǐng)杜勇博士——

杜勇，2016年博士畢業(yè)于中科院自動(dòng)化研究所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室，主要從事深度學(xué)習(xí)、視頻分析、行為識(shí)別、視覺(jué)目標(biāo)檢測(cè)跟蹤及識(shí)別方面的研究。

先從導(dǎo)航地圖的使用說(shuō)起

首先，設(shè)想這樣一個(gè)問(wèn)題，我們計(jì)劃開(kāi)車(chē)去往一個(gè)陌生的地方，通常我們會(huì)首先打開(kāi)導(dǎo)航地圖，規(guī)劃一下總體路線，這個(gè)地圖并不需要特別高的精度。

然后我們?cè)趯?dǎo)航地圖的幫助下沿著預(yù)先規(guī)劃好的路線開(kāi)車(chē)趕往目的地，一路上我們需要通過(guò)眼睛觀察周邊的行車(chē)環(huán)境，必要時(shí)需要耳朵來(lái)輔助，實(shí)時(shí)根據(jù)周?chē)穆窙r來(lái)決策并控制車(chē)輛前行。

也就是說(shuō)，我們并不需要預(yù)先知道所要行駛的道路上及周邊每一個(gè)目標(biāo)的精確方位及狀態(tài)，只要沿著預(yù)定的路線行進(jìn)并確保車(chē)輛安全行駛，最終一定可以到達(dá)目的地。

概括來(lái)說(shuō)，我們需要具備兩個(gè)條件，即普通的導(dǎo)航地圖和實(shí)時(shí)感知并控制車(chē)輛運(yùn)行的能力。以此分析，未來(lái)無(wú)人駕駛的一種合理實(shí)現(xiàn)方式是車(chē)輛可以根據(jù)一份普通的導(dǎo)航地圖，結(jié)合自身強(qiáng)大的環(huán)境感知能力實(shí)現(xiàn)自主駕駛，其重點(diǎn)就在于環(huán)境感知。

問(wèn)題來(lái)了，現(xiàn)在的車(chē)輛對(duì)周邊環(huán)境怎么感知？

一種是通過(guò)車(chē)載激光雷達(dá)主動(dòng)掃描，以實(shí)現(xiàn)對(duì)周?chē)繕?biāo)的定位和測(cè)距；另一種則是純視覺(jué)模式，簡(jiǎn)單講就是利用攝像頭采集車(chē)輛周?chē)h(huán)境數(shù)據(jù)，并通過(guò)計(jì)算機(jī)視覺(jué)算法分析車(chē)輛周?chē)繕?biāo)的方位和運(yùn)動(dòng)參數(shù)。

其中，前者技術(shù)已較為成熟。后者雖起步較晚，但得益于近幾年計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)的快速發(fā)展而進(jìn)步神速。

高精度的激光雷達(dá)雖然可以實(shí)現(xiàn)車(chē)輛對(duì)周?chē)h(huán)境的精確感知，但因其成本高昂，難以大規(guī)模商業(yè)應(yīng)用。同時(shí)單純地依靠激光雷達(dá)并不能定位出車(chē)輛在路面上的具體位置，必須配屬高精地圖，這并不是一種經(jīng)濟(jì)理想的方案。

而純視覺(jué)的感知模式成本較低，客觀上也符合人類開(kāi)車(chē)過(guò)程中對(duì)周?chē)h(huán)境的感知模式，是一種比較理想的方案，但其難點(diǎn)在于算法設(shè)計(jì)。

我們?cè)趺慈プ鲕?chē)輛對(duì)周?chē)h(huán)境的感知？

其實(shí)說(shuō)起來(lái)并不復(fù)雜。

第一需要確定出車(chē)輛自身在路面上的相對(duì)位置，第二則需要確定出車(chē)輛周?chē)繕?biāo)相對(duì)于車(chē)輛自身的位置及運(yùn)動(dòng)狀態(tài)。

總體上，位置信息的確定涉及到可行駛區(qū)域分割、車(chē)道線檢測(cè)、車(chē)輛行人等目標(biāo)檢測(cè)及視覺(jué)測(cè)距，運(yùn)動(dòng)狀態(tài)的估計(jì)涉及到目標(biāo)跟蹤和視覺(jué)測(cè)距，車(chē)輛周?chē)h(huán)境信息的描述則需要建立統(tǒng)一的坐標(biāo)系。

客觀上，這些都關(guān)系到無(wú)人駕駛的核心問(wèn)題，即行車(chē)安全，因此技術(shù)指標(biāo)需求都很高；但相對(duì)而言，對(duì)目標(biāo)檢測(cè)的召回率要求最高，畢竟行車(chē)方向上一定范圍內(nèi)的目標(biāo)一旦漏檢，就很可能釀成事故，對(duì)車(chē)道線的檢測(cè)精度要求次之，而對(duì)可行駛區(qū)域分割精度要求相對(duì)較低。

雖然當(dāng)前計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)的發(fā)展，為解決這些問(wèn)題提供了可能，但受限于車(chē)載計(jì)算平臺(tái)的運(yùn)算能力，我們難以在車(chē)上部署重量級(jí)的深度學(xué)習(xí)模型，因此如何在車(chē)載平臺(tái)上做到最大化算法精度的同時(shí)確保較高的執(zhí)行效率是算法設(shè)計(jì)的核心問(wèn)題。

為解決這一問(wèn)題，需要在算法設(shè)計(jì)和模型加速兩個(gè)層面來(lái)做工作。

在算法設(shè)計(jì)層面，需要明確任務(wù)需求，針對(duì)不同指標(biāo)的要求等級(jí)來(lái)規(guī)劃算法的各步操作，統(tǒng)籌合理分配各模塊允許的計(jì)算量，實(shí)現(xiàn)總體性能的最優(yōu)化。例如，無(wú)人駕駛中目標(biāo)跟蹤的目的，是為了分析周?chē)繕?biāo)的運(yùn)動(dòng)狀態(tài)參量，對(duì)跟蹤問(wèn)題中常見(jiàn)的遮擋和交叉問(wèn)題的處理能力要求不高，因此，我們可以采用高速的跟蹤算法結(jié)合高精度的檢測(cè)模型來(lái)實(shí)現(xiàn)相對(duì)可靠的跟蹤過(guò)程。

降低模型的計(jì)算量

一類是利用深度學(xué)習(xí)模型連接權(quán)重分布的稀疏性，通過(guò)模型裁剪、量化編碼、模型蒸餾、二值化等方式來(lái)降低模型計(jì)算量。

第二類則是在深層剖析網(wǎng)絡(luò)局部連接作用的基礎(chǔ)上通過(guò)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)來(lái)降低網(wǎng)絡(luò)冗余，從而提高計(jì)算效率，典型代表如MobileNet。

第三是針對(duì)已經(jīng)訓(xùn)練好的模型通過(guò)優(yōu)化底層計(jì)算時(shí)的并行計(jì)算密度來(lái)提高模型inference過(guò)程的執(zhí)行效率，該類方法針對(duì)性很強(qiáng)，主要適用于GPU計(jì)算平臺(tái)，典型的實(shí)現(xiàn)如NVIDIA的TensorRT，其實(shí)現(xiàn)方式?jīng)Q定了對(duì)inception結(jié)構(gòu)的網(wǎng)絡(luò)具有很高的加速比（具體加速效果還受制于GPU的IO帶寬和流處理器數(shù)量）。

一般情況下，車(chē)載計(jì)算平臺(tái)主要是FPGA或者相對(duì)低端的GPU。若為FPGA，合適的優(yōu)化加速方法是模型裁剪、量化編碼和二值化，當(dāng)然在進(jìn)行這些工作之前也可以先進(jìn)行模型蒸餾；若計(jì)算平臺(tái)為低端GPU，最好的方式是結(jié)合任務(wù)需求設(shè)計(jì)針對(duì)性的具有inception結(jié)構(gòu)的網(wǎng)絡(luò)模型，在部署時(shí)先經(jīng)channel裁剪再基于TensorRT（或者自己實(shí)現(xiàn)TensorRT的計(jì)算方式）做高倍加速。

單純地基于視覺(jué)來(lái)解決無(wú)人車(chē)的路況感知問(wèn)題是可行的，但是還有很長(zhǎng)的路要走，無(wú)人車(chē)的發(fā)展過(guò)程應(yīng)該是一個(gè)視覺(jué)逐步替代高端激光雷達(dá)的過(guò)程。

現(xiàn)實(shí)中任何一款傳感器都存在穩(wěn)定性問(wèn)題，都會(huì)有其優(yōu)勢(shì)和不足，為了確保行車(chē)安全這一最核心要素，未來(lái)無(wú)人車(chē)的環(huán)境感知部分一定是多傳感融合的結(jié)果。