ADAS要如何運用深度學習？

北京交通大學電子信息工程學院袁雪副教授給我們講解了在高級輔助駕駛系統(tǒng)（ADAS）中的多任務深度學習框架的應用。

內容提綱：

ADAS系統(tǒng)包括車輛檢測、行人檢測、交通標志識別、車道線檢測等多種任務，同時，由于無人駕駛等應用場景的要求，車載視覺系統(tǒng)還應具備相應速度快、精度高、任務多等要求。對于傳統(tǒng)的圖像檢測與識別框架而言，短時間內同時完成多類的圖像分析任務是難以實現(xiàn)的。

袁雪副教授的項目組提出使用一個深度神經(jīng)網(wǎng)絡模型實現(xiàn)交通場景中多任務處理的方法。其中交通場景的分析主要包括以下三個方面：大目標檢測（車輛、行人和非機動車），小目標分類（交通標志和紅綠燈）以及可行駛區(qū)域（道路和車道線）的分割。

這三類任務可以通過一個深度神經(jīng)網(wǎng)絡的前向傳播完成，這不僅可以提高系統(tǒng)的檢測速度，減少計算參數(shù)，而且可以通過增加主干網(wǎng)絡的層數(shù)的方式提高檢測和分割精度。

以下為當天分享的內容總結。

圖文分享總結

一、任務分析

WHO在2009年統(tǒng)計的一個數(shù)據(jù)顯示，在全世界范圍內每年由交通事故死亡的人數(shù)有123萬人。但是我們知道，在朝鮮戰(zhàn)爭中，整個戰(zhàn)爭死亡的人數(shù)也差不多一百多萬。也就是說，每年死于交通事故的人數(shù)差不多等于一次非常慘烈的戰(zhàn)爭的死亡人數(shù)了。根據(jù)WHO統(tǒng)計，在全世界范圍內每年由交通事故造成的死亡人數(shù)有123萬之多；而發(fā)生交通事故90%是由司機人為原因造成的，比如注意力不集中、超速、安全意識弱等等。所以目前減少交通事故的最主要途徑通過采用高級輔助駕駛系統(tǒng)（ADAS）就是減少認為錯誤。

對于ADAS系統(tǒng)，基本上包括這些功能：夜視輔助、車道保持、司機提醒、防撞提醒、車道變換輔助、停車輔助、碰撞疏解、死角障礙物檢測、交通標志識別、車道線偏移提醒、司機狀態(tài)監(jiān)測、遠光燈輔助等。這些功能是ADAS所必備的。

為了實現(xiàn)這些功能，一般其傳感器需要包括視覺傳感器、超聲波傳感器、GPS&Map傳感器、Lidar傳感器、Radar傳感器，還有一些別的通信設備。但是我們在市面上看到的大多數(shù)傳感器其功能其實是比較少的，例如mobile I，它只有車道保持、交通標志識別、前車監(jiān)測和距離監(jiān)測的功能，但并不全面。從廠家或者用戶的角度來說，自然我們希望能用最便宜的傳感器來完成更多ADAS的功能。最便宜的傳感器基本上就是視覺傳感器。所以我們設計方案時就想，能不能通過算法將視覺傳感器實現(xiàn)更多ADAS系統(tǒng)的功能呢？這就是我們整個研發(fā)的初衷。

此外，我們還需要考慮ADAS的一些特點。ADAS系統(tǒng)（包括無人駕駛）是在一個嵌入式平臺下進行的，也就是說它的計算資源很少。那么我們也必須考慮如何在這樣一個計算資源非常少的基礎上，保證ADAS系統(tǒng)能夠快速且高精度地響應，同時還能保證多任務的需求。這是我們第二個要考慮的問題。

為了解決以上兩個問題，我們首先把ADAS的任務分解一下。如圖所示，我們將ADAS的任務分解成目標檢測與識別、圖像分割、攝像機成像目標跟蹤、圖像分割。我們過去一年多的研發(fā)工作其實就是，用一個深度學習框架來同時實現(xiàn)上述這四個的功能。

對于一個前向傳播的網(wǎng)絡，其計算量和計算時間主要取決于它的參數(shù)數(shù)量，而80%的參數(shù)都來自全鏈接層，所以我們的第一個想法就是去掉全鏈接層。其次，網(wǎng)絡越深，它的參數(shù)就會越多所以如果我們把目標檢測與識別、圖像分割、攝像機成像目標跟蹤、圖像分割做成四個網(wǎng)絡的話，就會有X4倍的參數(shù)。

所以針對這兩個考量，我們用一個主干的網(wǎng)絡來做前面的運算，然后在后面再根據(jù)具體的任務分成多個小的分支加到主干網(wǎng)絡上。這樣多個圖像處理的任務就可以通過一個主干網(wǎng)絡的前向傳播來完成了，其參數(shù)大大減少，計算速度也變的更快。同時我們也能實現(xiàn)多個任務同時進行的需求。另外，在最后我們還可以將多個結果進行融合，駕到訓練過程的調整中，這樣就可以提高我們結果的可信性。

但是在這個過程中我們也碰到一些難點。第一個難點就是我們在同一個網(wǎng)絡中需要將較大的目標（例如車輛）和較小的目標（例如交通標志）同時檢測出來。第二個難點是，測速測距時我們需要的目標的位置是非常精確的，目前這個問題我們還沒有解決。