在 GTC 2022 秋季大會(huì)上,NVIDIA 汽車部門營(yíng)銷經(jīng)理 Katie Burke Washabaugh,面向想要了解自動(dòng)駕駛汽車、并有志于投身自動(dòng)駕駛行業(yè)的觀眾,介紹了自動(dòng)駕駛汽車的相關(guān)技術(shù)以及發(fā)展前景。小編對(duì)此次分享的精華內(nèi)容進(jìn)行了匯總和整理。
在上篇,我們回顧了自動(dòng)駕駛汽車的發(fā)展歷史,介紹了自動(dòng)駕駛汽車的工作原理。得益于 AI 技術(shù)的突破,自動(dòng)駕駛汽車飛速發(fā)展,運(yùn)算速度也從 2007 年的 230 FLOPS 躍升至 2022 年的 254 TOPS,向軟件定義汽車發(fā)展?,F(xiàn)在,讓我們從汽車到后臺(tái)的數(shù)據(jù)中心,了解自動(dòng)駕駛汽車如何學(xué)習(xí)、識(shí)別現(xiàn)實(shí)世界中的物體并做出反應(yīng)。
訓(xùn)練+仿真,自動(dòng)駕駛“學(xué)海無涯”
海量數(shù)據(jù)支撐 AI 訓(xùn)練架構(gòu)
深度學(xué)習(xí)讓汽車能夠像人類一樣與世界互動(dòng)?;跀?shù)據(jù)中心和超級(jí)計(jì)算技術(shù),汽車能夠通過 AI 訓(xùn)練基礎(chǔ)架構(gòu)來進(jìn)行訓(xùn)練、學(xué)習(xí)。
在正式上路前,自動(dòng)駕駛汽車需要在數(shù)據(jù)中心進(jìn)行大量駕駛數(shù)據(jù)的訓(xùn)練。開發(fā)人員將基于這些數(shù)據(jù),進(jìn)行反復(fù)訓(xùn)練和驗(yàn)證,從而確保在自動(dòng)駕駛汽車上運(yùn)行的深度神經(jīng)網(wǎng)絡(luò)能夠準(zhǔn)確地感知相關(guān)信息。然后,這些網(wǎng)絡(luò)會(huì)進(jìn)行大量仿真測(cè)試,以確保自動(dòng)駕駛車輛能在現(xiàn)實(shí)世界中正常運(yùn)行。
接下來,讓我們深入了解自動(dòng)駕駛算法的開發(fā)過程。
第一步,從數(shù)據(jù)采集入手。單個(gè)測(cè)試車輛運(yùn)行 6 小時(shí)會(huì)產(chǎn)生 32TB 數(shù)據(jù),當(dāng)測(cè)試對(duì)象擴(kuò)展為每天都會(huì)行駛 6 小時(shí)的 50 輛車時(shí),這一數(shù)字將飆升為 1.6PB。這些數(shù)據(jù),需要傳輸、編碼和存儲(chǔ),然后才能進(jìn)行進(jìn)一步的處理。
第二步,對(duì)數(shù)據(jù)進(jìn)行梳理。開發(fā)者必須對(duì)這些數(shù)據(jù)進(jìn)行篩選,他們需要逐幀瀏覽數(shù)據(jù),從中選取對(duì)于訓(xùn)練來說較為實(shí)用的實(shí)例。這里說的“實(shí)用”,指的是該幀所包含的數(shù)據(jù)為深度神經(jīng)網(wǎng)絡(luò)從未接觸過的新數(shù)據(jù),或是在當(dāng)前訓(xùn)練數(shù)據(jù)中較為缺乏的數(shù)據(jù)。通常,實(shí)用數(shù)據(jù)約占總采集數(shù)據(jù)的 10%,這個(gè)過程非常耗時(shí)。
第三步,數(shù)據(jù)標(biāo)記。當(dāng)數(shù)據(jù)篩選完畢后,必須對(duì)篩選出的數(shù)據(jù)進(jìn)行標(biāo)記,即對(duì)圖像的每個(gè)組成部分進(jìn)行識(shí)別與標(biāo)記。這樣,當(dāng)深度神經(jīng)網(wǎng)絡(luò)基于該數(shù)據(jù)進(jìn)行訓(xùn)練時(shí),可以正確識(shí)別出相應(yīng)的組成部分。此外,在驗(yàn)證過程中,還能通過這些標(biāo)記對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行仔細(xì)檢查,確保該網(wǎng)絡(luò)能夠正確識(shí)別行人等。
第四步,訓(xùn)練。完成預(yù)處理流程后,即可開始訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。在此過程中,開發(fā)者需要長(zhǎng)時(shí)間運(yùn)行這些網(wǎng)絡(luò)來處理海量圖像,以便能夠在任何照明條件、天氣條件、地理位置下,均能準(zhǔn)確可靠地識(shí)別出相關(guān)交通標(biāo)志。
第五步,回放。訓(xùn)練完成后,這些網(wǎng)絡(luò)會(huì)通過“回放”流程接受驗(yàn)證。開發(fā)者會(huì)回放駕駛數(shù)據(jù),以檢查這些網(wǎng)絡(luò)的準(zhǔn)確性。
第六步,仿真。最后,在仿真環(huán)境中,運(yùn)行包含所有神經(jīng)網(wǎng)絡(luò)的軟件,了解它在實(shí)際駕駛環(huán)境中的表現(xiàn),并將它運(yùn)用于實(shí)際公路駕駛中。
可以看到,這個(gè)流程非常復(fù)雜。不管是從前期的數(shù)據(jù)采集、打標(biāo)、清理,還是到后期的算法驗(yàn)證、測(cè)試,以及中間各種功能模型的訓(xùn)練和開發(fā),不同的階段,會(huì)涉及到不同的復(fù)雜的工具和框架。對(duì)于自動(dòng)駕駛算法設(shè)計(jì)者來說,端到端無縫流暢的開發(fā)環(huán)境,將大大提高研發(fā)效率。
了解完訓(xùn)練,那么仿真過程究竟是如何運(yùn)作的呢?
上文也提到,深度神經(jīng)網(wǎng)絡(luò)必須能夠應(yīng)對(duì)各種天氣、道路或光線條件。由于真實(shí)駕駛可能需要很長(zhǎng)時(shí)間才能覆蓋所有可能發(fā)生的情況,因此無法通過真實(shí)駕駛來進(jìn)行針對(duì)性的測(cè)試,這個(gè)時(shí)候,我們就需要仿真。
NVIDIA 構(gòu)建了一個(gè)高保真仿真試驗(yàn)場(chǎng),用于測(cè)試這些罕見的場(chǎng)景,也就是所謂的“邊緣案例”或 “長(zhǎng)尾場(chǎng)景”,例如,一只鹿在清晨從車前跑過、從天而降的一棵樹、從卡車上掉下來的雞等等,簡(jiǎn)單來說,就是人們希望自動(dòng)駕駛汽車能夠安全應(yīng)對(duì)的各種千奇百怪的情況。
將實(shí)際道路測(cè)試與仿真技術(shù)結(jié)合,是未來部署自動(dòng)駕駛汽車的關(guān)鍵所在。NVIDIA 將通過 DRIVE Sim 實(shí)現(xiàn)這一點(diǎn)。DRIVE Sim 采用物理準(zhǔn)確的高保真仿真技術(shù),通過安全、可擴(kuò)展且經(jīng)濟(jì)高效的方式,推動(dòng)自動(dòng)駕駛汽車上路。DRIVE Sim 運(yùn)用 RTX、Omniverse 和 AI 等 NVIDIA 的核心技術(shù),打造基于云的強(qiáng)大計(jì)算平臺(tái),可以生成一系列尋?;蚝币姷默F(xiàn)實(shí)世界場(chǎng)景,從而滿足自動(dòng)駕駛?cè)骝?yàn)證的需求。除了利用從現(xiàn)實(shí)世界中收集的數(shù)據(jù),DRIVE Sim 還可以生成預(yù)先標(biāo)記的合成數(shù)據(jù)集,用戶可以繞過整個(gè)預(yù)處理流程,根據(jù)需求定制測(cè)試場(chǎng)景,填補(bǔ)當(dāng)前開發(fā)流程中的空白。
上文介紹了許多關(guān)于仿真的內(nèi)容,以下是兩段視頻,幫助大家了解實(shí)際操作。
持續(xù)開發(fā)造就無限可能
從數(shù)據(jù)采集到仿真的開發(fā)流程并不是線性的,而是一個(gè)持續(xù)的開發(fā)周期。汽車在行駛時(shí)會(huì)不斷收集數(shù)據(jù),然后這些數(shù)據(jù)會(huì)用于優(yōu)化和訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的新功能,這些功能通過 OTA 無線更新到汽車上,從而真正實(shí)現(xiàn)軟件定義汽車。
軟件定義架構(gòu)將徹底改變客戶體驗(yàn)。從前如果購(gòu)買一輛車,在駛離 4S 店的那一刻,這輛車便已達(dá)到其技術(shù)巔峰,雖然未來新功能會(huì)不斷推出,但是這些功能都將搭載在該車輛的未來型號(hào)上,而不是所購(gòu)買的這輛汽車?,F(xiàn)在,軟件定義架構(gòu)完全改變了這種局面,客戶在車輛的整個(gè)生命周期內(nèi),都能享受到最新推出的新技術(shù)、新功能。軟件定義汽車將顛覆汽車行業(yè),開啟新的商業(yè)模式。
自動(dòng)駕駛汽車開發(fā)—持續(xù)的開發(fā)流
軟件定義與 AI 合力,自動(dòng)駕駛汽車未來可期
通過上文,大家已經(jīng)了解到自動(dòng)駕駛技術(shù)的工作原理及開發(fā)方式,未來 10 年可能會(huì)有什么趨勢(shì)?
軟件定義汽車大勢(shì)所趨
未來將會(huì)推出許多值得關(guān)注的新技術(shù)。具體來說,汽車制造商將在未來幾年開始推出軟件定義汽車。2020 年,梅賽德斯-奔馳宣布將于 2024 年基于 DRIVE Orin 平臺(tái),生產(chǎn)軟件定義汽車。今年 2 月,捷豹路虎也宣布將于 2025 年推出軟件定義汽車。此外,一些新能源汽車公司已經(jīng)宣布要推出類似的架構(gòu),越來越多的汽車將會(huì)采用這個(gè)極具突破性的軟件定義架構(gòu)。
同時(shí),車載計(jì)算也將繼續(xù)發(fā)展。正如前文所述,這些計(jì)算平臺(tái)需要具備可擴(kuò)展性,以便車企能夠?qū)⑵淠壳盎?DRIVE Orin 開發(fā)的軟件,移植到可實(shí)現(xiàn) 2000 TOPS 運(yùn)算的新一代計(jì)算平臺(tái) DRIVE Thor 中,從而繼續(xù)使用這些軟件。
回顧自動(dòng)駕駛汽車的發(fā)展歷程,不禁令人感嘆創(chuàng)新速度的迅猛。令人欣喜的是,在各個(gè)階段中,自動(dòng)駕駛行業(yè)都能夠不斷利用最新的創(chuàng)新成果,其中智能座艙的發(fā)展尤其值得關(guān)注:
AI 座艙魅力無限
車載技術(shù)將變得越來越強(qiáng)大。具體來說,駕駛艙內(nèi)置的輔助功能將實(shí)現(xiàn)智能化。以下圖片展示的是 NVIDIA DRIVE Concierge。DRIVE Concierge 具有獨(dú)特的設(shè)計(jì),可以充當(dāng)駕駛員和乘客的數(shù)字助手,協(xié)助乘客進(jìn)行預(yù)訂、為乘客推薦當(dāng)?shù)靥厣?、撥打電話和發(fā)出提醒。無論是將錢包落在車上,還是外出購(gòu)物時(shí)忘記在下午 4 點(diǎn)的線上會(huì)議等,DRIVE Concierge 都可以發(fā)出提醒??偠灾?span style="color:rgb(118,185,0);">DRIVE Concierge 可為車上的駕駛員和每位乘客提供個(gè)性化服務(wù)。
NVIDIA DRIVE CONCIERGE
DRIVE Concierge 基于 Omniverse Avatar 實(shí)現(xiàn)以上功能。Omniverse Avatar 能將語音 AI、計(jì)算機(jī)視覺、自然語言理解、推薦引擎和仿真技術(shù)相結(jié)合。基于 Omniverse Avatar 創(chuàng)建的虛擬形象,是具有光線追蹤 3D 圖形效果的交互式角色,可視可聽,可就廣泛的主題進(jìn)行交談,并理解自然語言意圖。通過 Omniverse Avatar,人們將能夠與汽車進(jìn)行自然對(duì)話。此前需要通過物理控制或使用觸控屏實(shí)現(xiàn)的許多功能,現(xiàn)在只需下達(dá)語音命令即可完成。
還記得在上篇中,我們提到的電視劇《霹靂游俠》(Knight Rider)中高度人工智能的跑車 KITT 嗎?現(xiàn)在它已經(jīng)從科幻作品照進(jìn)現(xiàn)實(shí)!觀看以下視頻,了解 NVIDIA DRIVE Concierge。
以上就是本次分享的全部?jī)?nèi)容。如欲了解更多自動(dòng)駕駛訓(xùn)練和仿真的內(nèi)容,請(qǐng)查看推薦閱讀。
推薦閱讀
NVIDIA攜手IDC發(fā)布行業(yè)白皮書:現(xiàn)實(shí)+仿真,超大算力賦能自動(dòng)駕駛
一文看懂DRIVE Replicator:合成數(shù)據(jù)生成加速自動(dòng)駕駛汽車的開發(fā)和驗(yàn)證
一文讀懂自動(dòng)駕駛汽車:軟硬結(jié)合 造就未來出行體驗(yàn)(上篇)
點(diǎn)擊“閱讀原文”,了解更多關(guān)于 NVIDIA 自動(dòng)駕駛汽車解決方案的內(nèi)容。
?
即刻掃描下方海報(bào)二維碼,收下這份 GTC22 精選演講合集清單,在NVIDIA on-Demand 上點(diǎn)播觀看主題演講精選、中國(guó)精選、元宇宙應(yīng)用領(lǐng)域與全球各行業(yè)及領(lǐng)域的最新成果!
原文標(biāo)題:一文讀懂自動(dòng)駕駛汽車:軟硬結(jié)合 造就未來出行體驗(yàn)(下篇)
文章出處:【微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3686瀏覽量
90525
原文標(biāo)題:一文讀懂自動(dòng)駕駛汽車:軟硬結(jié)合 造就未來出行體驗(yàn)(下篇)
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論