搭建一個開源ADAS項目的步驟流程

「數(shù)據(jù)集」

在這個項目中，我只設(shè)計了對最大速度標(biāo)志進行分類的系統(tǒng)，并將每個速度級別視為一個單獨的對象類。為了收集足夠的訓(xùn)練數(shù)據(jù)，我使用了 2 個數(shù)據(jù)集：Mapillary Traffic Sign Dataset (MTSD) 和 German Traffic Sign Recognition (GRSRB) 數(shù)據(jù)集。由于 MTSD 是一個交通標(biāo)志檢測數(shù)據(jù)集，我使用標(biāo)志邊界框來裁剪它們以進行分類任務(wù)。裁剪后，我合并了 2 個數(shù)據(jù)集，得到 18,581 個最高限速交通標(biāo)志圖像分為 13 個類別，以及 879 個末端限速標(biāo)志（將所有末端限速標(biāo)志僅視為 1 類）。

此外，我使用來自其他交通標(biāo)志和物體的 20,000 張裁剪圖像作為“未知”類別。該數(shù)據(jù)集中共有 15 個類別：最大速度標(biāo)志（5km/h、10km/h、20km/h、30km/h、40km/h、50km/h、60km/h、70km/h、80km/h , 90 公里/小時, 100 公里/小時, 110km/h、120km/h）、限速終點（EOSL）等標(biāo)志（OTHER）。之后，這個數(shù)據(jù)集被分成 3 個子集：訓(xùn)練集（80%）、驗證集（10%）和測試集（10%）。每個交通標(biāo)志類別的分布是隨機的。

「訓(xùn)練步驟」

使用此存儲庫中的源代碼來訓(xùn)練交通標(biāo)志分類器

「第一步：初始化環(huán)境」

創(chuàng)建anaconda環(huán)境：

conda create --name python=3.6

激活創(chuàng)建的環(huán)境并安裝所有要求：

pip install requirements.txt

「第 2 步：訓(xùn)練模型」

準(zhǔn)備如下結(jié)構(gòu)的數(shù)據(jù)集：

使用以下命令訓(xùn)練模型：

pythontrain.py

「使用 TensorRT 進行模型優(yōu)化」

轉(zhuǎn)換為 UFF

convert_h5_to_pb.py修改和中的模型路徑convert_pb_to_uff.py。

將.h5模型轉(zhuǎn)換為.pb, 最后.uff:

pipinstallrequirements-h5-to-uff.txt
pythonconvert_h5_to_pb.py
pythonconvert_pb_to_uff.py

擁有 ONNX 模型后，轉(zhuǎn)到 OpenADAS 以更新配置文件中新交通標(biāo)志分類模型的路徑：src/configs/config_sign_classification.h.

2.車道線分割模型

車道線檢測模塊負責(zé)檢測車道線和車道偏離情況。然后將該結(jié)果用于車道偏離警告。我使用深度神經(jīng)網(wǎng)絡(luò)和霍夫變換線檢測器進行車道線檢測。下面介紹車道線檢測的流程。

車道線檢測流水線

用于車道線分割的 U-Net 模型

U-Net 是一種在生物醫(yī)學(xué)圖像分割中表現(xiàn)良好的全卷積網(wǎng)絡(luò)，它可以用較少的訓(xùn)練圖像數(shù)據(jù)展示高精度的分割結(jié)果。我將 U-Net 應(yīng)用于車道線分割問題，并結(jié)合霍夫變換以線方程的形式找到車道線。

U網(wǎng)模型

為了在嵌入式硬件上運行輕量級分割模型，我對原始 U-Net 模型進行了兩次修改：

(1) 將decoder filters的數(shù)量調(diào)整為128, 64, 32, 16, 8個filters，從decoder的頂部到網(wǎng)絡(luò)的輸出；

(2) 用 ResNet-18 主干替換原來的主干。

這些修改減少了 U-Net 中的參數(shù)數(shù)量，并為我們提供了一個可以超過 200 幀每秒 (FPS) 運行的輕量級模型（模型 U-Net ResNet-18 輸入大小 384x382，RTX 2070 GPU 上的 TensorRT float 16 ).

數(shù)據(jù)集

數(shù)據(jù)集是從Mapillary Vista 數(shù)據(jù)集準(zhǔn)備的，并進行了一些修改。原始數(shù)據(jù)集包含訓(xùn)練集中約 18000 張圖像和驗證集中約 2000 張圖像。我合并這些集合，刪除一些不包含車道線或有太多噪音的圖像。最終數(shù)據(jù)集有 15303 張圖像。我將這個集合隨機分成三個子集：10712 張圖像用于訓(xùn)練（~70%），2296 張圖像用于驗證（~15%）和 2295 張圖像用于測試（~15%）。因為 Mapillary Vista 的標(biāo)簽包含很多對象類，所以我只保留車道線類來生成二值分割掩碼作為新標(biāo)簽。

Mapillary Vistas 數(shù)據(jù)集預(yù)處理——圖像 A、B 來自 Mapillary Vitas

訓(xùn)練

使用我的存儲庫訓(xùn)練 U-Net 進行車道線分割

「第一步：初始化環(huán)境」

創(chuàng)建anaconda環(huán)境：

conda create --name python=3.6

激活創(chuàng)建的環(huán)境并安裝所有要求：

pip install requirements.txt

「第 2 步：訓(xùn)練模型」

在目錄中創(chuàng)建新的配置文件list_config請不要修改舊的配置文件，以便我們更好地觀察，模型和訓(xùn)練歷史將自動保存到saved_models文件夾中。

對于培訓(xùn)，只需運行：

python model/train.py

或者

./train.sh

使用 TensorRT 進行模型優(yōu)化

轉(zhuǎn)換為 UFF

為此任務(wù)創(chuàng)建另一個虛擬環(huán)境。

convert_h5_to_pb.py修改和中的模型路徑convert_pb_to_uff.py。

.h5將模型轉(zhuǎn)換為.pb，并最終使用這些命令（請更新和.uff中模型的正確路徑）convert_h5_to_pb.pyconvert_pb_to_uff.py

pipinstallrequirements-h5-to-uff.txt
pythonconvert_h5_to_pb.py
pythonconvert_pb_to_uff.py

擁有 UFF 模型后，轉(zhuǎn)到 OpenADAS 以在車道檢測配置文件中更新該新模型的路徑：src/configs/config_lane_detection.h.

使用霍夫變換進行車道線檢測

霍夫變換是一種在圖像處理中非常有效的線檢測算法。該算法的總體思想是創(chuàng)建從圖像空間（A）到新空間（B）的映射，空間（A）中的每條線對應(yīng)空間中的一個點（B），空間中的每個點（A）對應(yīng)空間中的正弦曲線 (B)。將 (A) 中的所有點投影到空間 (B) 中的正弦曲線后，我們找到交點密度最高的地方。然后將這些位置投影到 (A) 成線。通過這種方式，霍夫線變換算法可以在圖像空間（A）中找到線。

尋找候選車道線的過程如下圖所示。從線分割網(wǎng)絡(luò)產(chǎn)生的分割掩碼，車道線檢測模塊使用概率霍夫變換來檢測原始線段（1）。之后，使用由 Bernard A. Galler 和 Michael J. Fischer 在 1964 年反轉(zhuǎn)的不相交集/聯(lián)合查找森林算法將這些線劃分為組。我們使用線之間的空間距離和角度差將屬于一個線段分組同一條線。經(jīng)過步驟（2），我們可以看到不同的線組被繪制成不同的顏色。步驟 (3) 接收這些線組作為輸入，并使用具有 L2 距離的最大似然估計在每個組中擬合一條線。

線候選檢測

該系統(tǒng)將車道分割模型與上述車道檢測算法相結(jié)合，可以檢測不同環(huán)境下的車道線，判斷車道偏離情況。它為車道偏離警告模塊創(chuàng)建可靠的輸入。

4.警告規(guī)則

該系統(tǒng)使用基于規(guī)則的警告算法。

審核編輯：劉清