DRIVE Labs 系列文章
第三站:讀懂交通標(biāo)志與信號(hào)燈
始 發(fā) 站 | 自 動(dòng) 駕 駛 基 礎(chǔ) 功 能 |
第 二 站 | 基 本 路 況 感 知 |
第 三 站 | 讀 懂 交 通 標(biāo) 志 與 信 號(hào) 燈 |
第 四 站 | 監(jiān) 控 車(chē) 外 的 風(fēng) 吹 草 動(dòng) |
第 五 站 | 提 高 道 路 狀 況 的 可 見(jiàn) 性 |
第 六 站 | 基 于 洞 察 的 智 能 規(guī) 劃 |
第 七 站 | 為 駕 乘 人 員 的 安 全 保 駕 護(hù) 航 |
終 點(diǎn) 站 | 尋 找 車(chē) 位 與 自 動(dòng) 泊 車(chē) |
城市道路設(shè)計(jì)縱橫交錯(cuò),自動(dòng)駕駛汽車(chē)在保持車(chē)道行駛的同時(shí),還需“理解”各類(lèi)道路標(biāo)志,并在行駛過(guò)程中“眼”觀六路、隨機(jī)應(yīng)變,以保證道路交通秩序和行駛途中的安全性。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊(duì)推出的、以一輛自動(dòng)駕駛汽車(chē)從出發(fā)到最終目的地為線(xiàn)索的系列文章,共分 8 期主題,將為大家詳細(xì)解析自動(dòng)駕駛汽車(chē)如何一路“過(guò)關(guān)斬將”,以及 NVIDIA 技術(shù)與產(chǎn)品在不同場(chǎng)景中提供的支持,以便讀者能更好地了解自動(dòng)駕駛。
本期是第三期“讀懂交通標(biāo)志與信號(hào)燈”,將為大家介紹深度神經(jīng)網(wǎng)絡(luò)如何助力自動(dòng)駕駛汽車(chē)“讀懂”交通標(biāo)志以及路上的文字、“判斷”信號(hào)燈及限速標(biāo)志,以實(shí)現(xiàn)有序行駛。
上期文章主要介紹了用于基本路況感知的深度神經(jīng)網(wǎng)絡(luò)(DNN),本期文章將緊接上期 DNN 的相關(guān)內(nèi)容,介紹用于交通標(biāo)志和信號(hào)燈判斷的 LightNet DNN、SignNet DNN 和 MapNet DNN 等內(nèi)容。話(huà)不多說(shuō),趕緊與 NVIDIA 一起看看吧!
實(shí)況駕駛對(duì)自動(dòng)駕駛汽車(chē)的“觀察”和“理解”能力提出了更高的要求,不僅需要保證自身行駛的安全性,還需要遵守交通規(guī)則,根據(jù)交通標(biāo)志和信號(hào)燈指示行駛,以維護(hù)有序交通秩序,構(gòu)建安全的交通環(huán)境。
借助高精度 MapNet DNN
“觀察”道路標(biāo)記
AI 如何閱讀路上的文字
車(chē)道線(xiàn)和道路邊緣檢測(cè)對(duì)于自動(dòng)駕駛汽車(chē)的開(kāi)發(fā)來(lái)說(shuō)至關(guān)重要。車(chē)道線(xiàn)檢測(cè)能夠驅(qū)動(dòng)諸如車(chē)道偏離警告之類(lèi)的系統(tǒng),從而避免讓駕駛員偏離車(chē)道。自動(dòng)駕駛汽車(chē)?yán)?LaneNet DNN 可以檢測(cè)車(chē)道線(xiàn)以保持安全、穩(wěn)定的車(chē)道行駛。
但實(shí)況道路除車(chē)道線(xiàn)以外,還存在各式各樣的道路標(biāo)記(例如箭頭或 STOP 字樣),路邊還會(huì)設(shè)置各類(lèi)的垂直地標(biāo)(例如路標(biāo)或燈桿)。為助力自動(dòng)駕駛汽車(chē)“讀懂”更多車(chē)道標(biāo)記,NVIDIA 推動(dòng)了 LaneNet DNN 進(jìn)一步發(fā)展,開(kāi)發(fā)了新功能 MapNet DNN。觀看以上視頻,了解 MapNet DNN 模型如何實(shí)現(xiàn)道路標(biāo)識(shí)和視覺(jué)地標(biāo)的端到端檢測(cè)。
像素級(jí)可視化的 MapNet DNN 檢測(cè)結(jié)果,顯示一個(gè)部分缺失的左轉(zhuǎn)箭頭標(biāo)記。青色表示道路標(biāo)記,深藍(lán)色表示虛線(xiàn)車(chē)道線(xiàn)
MapNet DNN 延續(xù)了 LaneNet DNN 的實(shí)況數(shù)據(jù)編碼技術(shù),創(chuàng)建了足夠的冗余來(lái)保留豐富的車(chē)道線(xiàn)信息,并能夠輕松擴(kuò)展并保留任意形狀的道路標(biāo)記以及地標(biāo)(例如桿子)的信息(以“垂直車(chē)道線(xiàn)”為例)。高精度 MapNet 還能在道路標(biāo)記部分缺失或遇到道路裂縫、柏油污點(diǎn)等視覺(jué)挑戰(zhàn)的情況下,提供精確的道路標(biāo)記形狀和道路邊緣檢測(cè),并能夠檢測(cè)不同語(yǔ)言的道路文字標(biāo)記。
此外,MapNet 提供的高精度道路標(biāo)記和地標(biāo)檢測(cè)結(jié)果還可用作自動(dòng)駕駛汽車(chē)的地圖和定位功能的輸入,其檢測(cè)垂直地標(biāo)(例如桿子)的能力還有利于自動(dòng)駕駛汽車(chē)獲得準(zhǔn)確的縱向定位結(jié)果,提升自動(dòng)駕駛的可靠性。
DNN 組合助力交通標(biāo)志和信號(hào)燈檢測(cè)
利用 AI 對(duì)交通標(biāo)志和信號(hào)燈進(jìn)行分類(lèi)
每個(gè)人在最初學(xué)開(kāi)車(chē)的時(shí)候都會(huì)從最簡(jiǎn)單的規(guī)則開(kāi)始學(xué)起,其中之一就是“紅燈停,綠燈行”,自動(dòng)駕駛汽車(chē)也不例外。此外,它還要學(xué)習(xí)在各類(lèi)駕駛環(huán)境下精準(zhǔn)識(shí)別交通標(biāo)志和信號(hào)燈并對(duì)其做出正確的反應(yīng)。以上視頻為大家介紹了 NVIDIA DRIVE AV 軟件使用 DNN 組合來(lái)對(duì)交通標(biāo)志和信號(hào)燈進(jìn)行分類(lèi)。
在 NVIDIA 感知等待條件軟件的架構(gòu)中,交通信號(hào)燈和標(biāo)志的檢測(cè)與交通信號(hào)燈的狀態(tài)/形狀以及類(lèi)型分類(lèi)是分開(kāi)進(jìn)行的,以便能夠優(yōu)化交通信號(hào)燈和標(biāo)志檢測(cè)的精確率/召回率,且能夠讓檢測(cè)獨(dú)立于性能分類(lèi)運(yùn)行。
交通信號(hào)燈(TL)以及交通標(biāo)志(TS)分類(lèi)系統(tǒng)圖表
具體而言,NVIDIA 利用 WaitNet DNN 進(jìn)行交叉路口、交通信號(hào)燈和交通標(biāo)志的檢測(cè)。然后,LightNet DNN 將根據(jù)交通信號(hào)燈的形狀(例如實(shí)心與箭頭)和狀態(tài)(即顏色:紅色,黃色,綠色)進(jìn)行分類(lèi);同時(shí),SignNet DNN 將會(huì)識(shí)別交通標(biāo)志的類(lèi)型。
?
以上兩圖顯示了當(dāng)速度限制從 80 千米/小時(shí)降至 60 千米/小時(shí),SignNet 對(duì)歐洲限速標(biāo)志進(jìn)行識(shí)別分類(lèi),以通過(guò)高速公路最后路段
LightNet 實(shí)時(shí)識(shí)別單個(gè)及組合的交通信號(hào)燈并對(duì)其進(jìn)行分類(lèi)
WaitNet DNN 在上期內(nèi)容中已經(jīng)介紹過(guò),這里就不再贅述。在本期視頻中,可以看到 LightNet DNN 和 SignNet DNN 的應(yīng)用情況。總的來(lái)說(shuō),LightNet DNN、SignNet DNN 與 WaitNet DNN 共同構(gòu)成了等待條件感知軟件的核心,用于檢測(cè)車(chē)輛必須減速停止或等待的情況,這對(duì)于半城市和城市環(huán)境中的自動(dòng)駕駛而言尤為重要。
利用 AI 實(shí)時(shí)感知理解限速標(biāo)志
AI 實(shí)時(shí)感知幫助自動(dòng)駕駛汽車(chē)?yán)斫庀匏贅?biāo)志
限速標(biāo)志識(shí)別看似是一項(xiàng)簡(jiǎn)單的任務(wù),但在遇到不同車(chē)道具有不同限速的情況(例如高速公路出口)或者在一個(gè)陌生的國(guó)家駕駛時(shí),這項(xiàng)任務(wù)可能會(huì)變得復(fù)雜。以上視頻介紹了 AI 實(shí)時(shí)感知如何幫助自動(dòng)駕駛汽車(chē)同時(shí)根據(jù)顯性和隱性線(xiàn)索更好地理解復(fù)雜的限速情況。
如今,限速標(biāo)志的細(xì)致程度遠(yuǎn)勝于以前。例如,學(xué)校區(qū)域的限速標(biāo)志只在一天中的特定時(shí)段有效。有些限速要求會(huì)通過(guò)電子可變信息標(biāo)志顯示,包括顯示適用于特定車(chē)道的限速、在特定條件下的限速或在不同條件下的不同限速。此外,部分交通標(biāo)志也有可能包含限速信息且相近的標(biāo)志直接可能會(huì)有語(yǔ)義的不同。
面對(duì)如此復(fù)雜的情況,NVIDIA 推出了 NVIDIA DRIVESAS(速度輔助系統(tǒng)),通過(guò)各種能夠檢測(cè)和理解隱性、顯性與可變信息標(biāo)志的深度神經(jīng)網(wǎng)絡(luò)(DNN)充分發(fā)揮 AI 實(shí)時(shí)感知的力量。具體而言,NVIDIA WaitNet 深度神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)檢測(cè)標(biāo)志,SignNet 深度神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)對(duì)標(biāo)志進(jìn)行分類(lèi),PathNet 深度神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)提供路徑感知信息。因此,理解限速標(biāo)志和確定該標(biāo)志與道路上不同車(chē)道的相關(guān)性(這一過(guò)程被稱(chēng)為標(biāo)志-路徑關(guān)聯(lián)性)所需的所有信號(hào)均來(lái)自現(xiàn)場(chǎng)感知,無(wú)需事先從地圖中獲取信息,因而具有很強(qiáng)的靈活性。
實(shí)時(shí)感知 SAS 分析“高速公路入口”標(biāo)志
此外,NVIDIA 的實(shí)時(shí)感知 SAS 所提供的速度標(biāo)志信息和標(biāo)志-路徑相關(guān)性信息可以與地圖信息融合。通過(guò)將多樣化的信息輸入進(jìn)行融合,可以使 SAS 覆蓋更多的現(xiàn)實(shí)世界情景,從而進(jìn)一步提高穩(wěn)定性。
以上就是本期全部?jī)?nèi)容。希望大家喜歡本次的自動(dòng)駕駛之旅,下期我們將在此基礎(chǔ)上為大家介紹 AI 如何助力攝像頭、雷達(dá)、激光雷達(dá)等傳感器監(jiān)控車(chē)外的風(fēng)吹草動(dòng),敬請(qǐng)期待!點(diǎn)擊“閱讀原文”,觀看更多 NVIDIA DRIVE Labs & Dispatch 視頻,了解 NVIDIA DRIVE 軟件如何助力自動(dòng)駕駛。
往期精彩回看
「入門(mén)篇」:自動(dòng)駕駛基礎(chǔ)功能
「第二站」:基本路況感知
掃描下方海報(bào)二維碼,即可免費(fèi)注冊(cè) GTC 23,切莫錯(cuò)過(guò)這場(chǎng) AI 和元宇宙時(shí)代的技術(shù)大會(huì)!
原文標(biāo)題:DRIVE Labs“常學(xué)常新”系列「第三站」:讀懂交通標(biāo)志與信號(hào)燈
文章出處:【微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3686瀏覽量
90512
原文標(biāo)題:DRIVE Labs“常學(xué)常新”系列「第三站」:讀懂交通標(biāo)志與信號(hào)燈
文章出處:【微信號(hào):NVIDIA_China,微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論