英偉達(dá)的自動(dòng)駕駛藍(lán)圖：四大進(jìn)展引關(guān)注

NVIDIA（英偉達(dá)）創(chuàng)始人兼首席執(zhí)行官黃仁勛在GTC China上發(fā)表了2個(gè)多小時(shí)的主題演講中，自動(dòng)駕駛是重點(diǎn)之一，發(fā)布了軟件定義的自動(dòng)駕駛平臺(tái)Orin、開(kāi)源自動(dòng)駕駛深度神經(jīng)網(wǎng)絡(luò)NVIDIA DRIVE、并宣布與滴滴達(dá)成合作，以及遷移學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等方面的進(jìn)展等等。

根據(jù)現(xiàn)場(chǎng)演示的一段“點(diǎn)到點(diǎn)”的自動(dòng)駕駛視頻可以看到英偉達(dá)目前的進(jìn)展：在遵守紅綠燈交通規(guī)則、支持變道、進(jìn)出匝道、匯車(chē)、監(jiān)督駕駛員姿態(tài)方面都運(yùn)行順暢。

五年前很多人就說(shuō)：“2020年就能看到自動(dòng)駕駛的車(chē)輛了?！钡F(xiàn)在看來(lái)這個(gè)目標(biāo)還遙遙無(wú)期。不過(guò)技術(shù)仍在向前推進(jìn)，業(yè)界也能更為理性地看待這個(gè)問(wèn)題。

自動(dòng)駕駛的挑戰(zhàn)一直存在，“安全”無(wú)疑是最重要的一點(diǎn)。在車(chē)輛真正上路行駛前，需要大量的模型訓(xùn)練和開(kāi)發(fā)工作，讓自動(dòng)駕駛車(chē)輛盡可能多去開(kāi)更多的里程，才能夠保證自動(dòng)駕駛車(chē)輛比人類駕駛更為安全。

英偉達(dá)在汽車(chē)領(lǐng)域深耕已有超過(guò)十年的時(shí)間。在英偉達(dá)看來(lái)，AI技術(shù)在被道路上真正使用之前，其實(shí)是發(fā)生在數(shù)據(jù)中心的，因?yàn)閷?duì)于自動(dòng)駕駛來(lái)說(shuō)，第一步是海量數(shù)據(jù)的收集工作。車(chē)上安裝了多種多樣的傳感器，如果以每天行駛6小時(shí)-8小時(shí)計(jì)算，每周就會(huì)收集到PB級(jí)的數(shù)據(jù)。海量的信息需要進(jìn)行處理、標(biāo)記、存儲(chǔ)、訓(xùn)練，以便車(chē)輛能夠更好地了解周?chē)h(huán)境、識(shí)別其它車(chē)輛、車(chē)道信息等?；谶@些方面，英偉達(dá)與合作伙伴共同實(shí)踐，讓AI大腦能更好地了解、甚至去“駕駛”車(chē)輛。

黃仁勛提到，真正把這些技術(shù)應(yīng)用在實(shí)際道路之前，需要首先進(jìn)行驗(yàn)證，判斷系統(tǒng)是不是真的能效。這需要大量的訓(xùn)練和開(kāi)發(fā)工作，這也是為什么英偉達(dá)推出了很多的開(kāi)發(fā)工具，只有不斷地模擬、測(cè)試、驗(yàn)證，才能真正用于實(shí)際道路上。

開(kāi)源自動(dòng)駕駛深度神經(jīng)網(wǎng)絡(luò)NVIDIA DRIVE

“AI對(duì)于安全的自動(dòng)駕駛汽車(chē)開(kāi)發(fā)來(lái)說(shuō)至關(guān)重要，它能夠讓車(chē)輛感知周?chē)h(huán)境并做出實(shí)時(shí)反應(yīng)，從而實(shí)現(xiàn)智能行駛。其核心是由數(shù)十個(gè)深度神經(jīng)網(wǎng)絡(luò)組成的，它們可以處理冗余和不同任務(wù)，以確保精確的感知、定位和路徑規(guī)劃”，黃仁勛表示，要真正實(shí)現(xiàn)自動(dòng)駕駛，意味著車(chē)上需要更多的軟件，也需要更多的計(jì)算能力去跑這些軟件。

不過(guò)，深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜度在增加，數(shù)量也在繼續(xù)增加。要保證整個(gè)計(jì)算過(guò)程做得極其精準(zhǔn)，避免車(chē)輛出現(xiàn)任何錯(cuò)誤，開(kāi)發(fā)者所面臨的挑戰(zhàn)是巨大的。

黃仁勛宣布將在NVIDIA GPU Cloud(NGC)容器注冊(cè)上，開(kāi)源其NVIDIA DRIVE自動(dòng)駕駛汽車(chē)開(kāi)發(fā)深度神經(jīng)網(wǎng)絡(luò)。由于AI自動(dòng)駕駛汽車(chē)是軟件定義的汽車(chē)，它必須基于大量數(shù)據(jù)集才能在全球范圍行駛。向自動(dòng)駕駛汽車(chē)開(kāi)發(fā)者開(kāi)源深度神經(jīng)網(wǎng)絡(luò)，并提供學(xué)習(xí)工具，能夠使他們根據(jù)不同的數(shù)據(jù)集對(duì)這些網(wǎng)絡(luò)進(jìn)行優(yōu)化?！?/p>

英偉達(dá)向自動(dòng)駕駛汽車(chē)開(kāi)發(fā)者開(kāi)源的內(nèi)容包括：預(yù)訓(xùn)練AI模型和訓(xùn)練代碼。這些預(yù)訓(xùn)練的模型都是基于英偉達(dá)自己的IP所研發(fā)，用高質(zhì)量數(shù)據(jù)訓(xùn)練了上千小時(shí)生成。通過(guò)NVIDIA AI工具，開(kāi)發(fā)者們可以自由擴(kuò)展和自定義模型，從而提高其自動(dòng)駕駛系統(tǒng)的穩(wěn)健性與能力。這些工具能夠讓英偉達(dá)的汽車(chē)客戶去針對(duì)車(chē)型來(lái)定制自己的軟件，這是之前做不到的。

革命性的自動(dòng)駕駛平臺(tái)Orin

黃仁勛還宣布了可用于自動(dòng)駕駛和機(jī)器人的高度先進(jìn)的軟件定義平臺(tái)——NVIDIA DRIVE AGX Orin，它內(nèi)置了全新的Orin系統(tǒng)級(jí)芯片，由170億個(gè)晶體管組成，集成了NVIDIA新一代GPU架構(gòu)和Arm Hercules CPU內(nèi)核以及全新深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)加速器，每秒可運(yùn)行200萬(wàn)億次計(jì)算，幾乎是上一代Xavier系統(tǒng)級(jí)芯片性能的7倍。Orin可處理在自動(dòng)駕駛汽車(chē)和機(jī)器人中同時(shí)運(yùn)行的大量應(yīng)用和深度神經(jīng)網(wǎng)絡(luò)，并且達(dá)到了ISO 26262ASIL-D等系統(tǒng)安全標(biāo)準(zhǔn)。

（ORIN芯片）

據(jù)英偉達(dá)汽車(chē)事業(yè)部高級(jí)總監(jiān)Danny Shapiro介紹，Orin SoC是英偉達(dá)研發(fā)多年、投入數(shù)十億美元的一款芯片，代表了英偉達(dá)下一代汽車(chē)和機(jī)器人SoC技術(shù)。作為一個(gè)軟件定義平臺(tái)，DRIVE AGX Orin能夠賦力從L2級(jí)到L5級(jí)完全自動(dòng)駕駛汽車(chē)開(kāi)發(fā)的兼容架構(gòu)平臺(tái)，助力OEM開(kāi)發(fā)大型復(fù)雜的軟件產(chǎn)品系列。

值得一提的是，Orin和Xavier均可通過(guò)開(kāi)放的CUDA、TensorRT API及各類庫(kù)進(jìn)行編程，因此開(kāi)發(fā)者能夠在一次性投入后使用跨多代的產(chǎn)品。

遷移學(xué)習(xí)、聯(lián)邦學(xué)習(xí)可加速訓(xùn)練、保護(hù)數(shù)據(jù)隱私

遷移學(xué)習(xí)、聯(lián)邦學(xué)習(xí)正在被英偉達(dá)用于自動(dòng)駕駛領(lǐng)域，通過(guò)這些加速訓(xùn)練能夠幫助整個(gè)行業(yè)進(jìn)一步加快研發(fā)，并突破“數(shù)據(jù)”這一關(guān)鍵瓶頸。

對(duì)于預(yù)訓(xùn)練的模型，英偉達(dá)提供遷移學(xué)習(xí)工具，客戶可以將自己的數(shù)據(jù)放到這些模型中，進(jìn)一步進(jìn)行優(yōu)化,預(yù)訓(xùn)練的模型可以進(jìn)行適當(dāng)調(diào)整，以適應(yīng)OEM特定的汽車(chē)、傳感器和具體地區(qū)要求，加速汽車(chē)公司的研發(fā)進(jìn)程。

聯(lián)邦學(xué)習(xí)則可供多個(gè)組織和公司在不移動(dòng)或共享數(shù)據(jù)的情況下進(jìn)行合作。一直以來(lái)，數(shù)據(jù)隱私是瓶頸問(wèn)題，而聯(lián)邦學(xué)習(xí)可允許數(shù)據(jù)網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn)只負(fù)責(zé)訓(xùn)練其自身的本地模型，并定期提交給參數(shù)服務(wù)器。該服務(wù)器不斷累積并聚合各自的貢獻(xiàn)，進(jìn)而創(chuàng)建一個(gè)全局模型，再分享給各個(gè)節(jié)點(diǎn)。其突破性在于實(shí)現(xiàn)了模型的流動(dòng)，數(shù)據(jù)始終保存在本地，大大消除了數(shù)據(jù)隱私的顧慮。

特別是汽車(chē)行業(yè)跨國(guó)公司很多，在進(jìn)行跨國(guó)的數(shù)據(jù)傳輸方面其實(shí)有很多限制。通過(guò)聯(lián)邦學(xué)習(xí)，就可以用各地的數(shù)據(jù)來(lái)共同訓(xùn)練一個(gè)全球模型，這可以讓更多的合作伙伴使用，對(duì)于合作的項(xiàng)目、公司，或公司內(nèi)的其它部門(mén)，都能夠從中獲益。

可以說(shuō)聯(lián)邦學(xué)習(xí)是一個(gè)革命性的解決方案，不僅僅是汽車(chē)行業(yè)，所有有“數(shù)據(jù)隱私”需求的行業(yè)都可以采用它。

與滴滴達(dá)成合作

在客戶合作方面，黃仁勛宣布和滴滴出行達(dá)成合作。滴滴將使用NVIDIA GPU和其他技術(shù)開(kāi)發(fā)自動(dòng)駕駛和云計(jì)算解決方案，在數(shù)據(jù)中心使用NVIDIA GPU訓(xùn)練機(jī)器學(xué)習(xí)算法，并采用NVIDIA DRIVE為其L4級(jí)自動(dòng)駕駛汽車(chē)提供推理能力。

作為滴滴自動(dòng)駕駛AI處理的一部分，NVIDIA DRIVE借助多個(gè)深度神經(jīng)網(wǎng)絡(luò)融合來(lái)自各類傳感器（攝像頭、激光雷達(dá)、雷達(dá)等）的數(shù)據(jù)，從而實(shí)現(xiàn)對(duì)汽車(chē)周?chē)h(huán)境360度全方位的理解，并規(guī)劃出安全的行駛路徑。

自動(dòng)駕駛何時(shí)到來(lái)？

英偉達(dá)汽車(chē)事業(yè)部高級(jí)總監(jiān)Danny Shapiro表示，“物體識(shí)別”是一個(gè)關(guān)鍵領(lǐng)域，下一個(gè)階段就是預(yù)測(cè)，例如：預(yù)測(cè)其它車(chē)輛和物體，然后做出相應(yīng)的反應(yīng)?，F(xiàn)在全世界范圍內(nèi)有很多自動(dòng)駕駛的試點(diǎn)，包括：中國(guó)、德國(guó)、美國(guó)、日本。英偉達(dá)和合作伙伴正在非常謹(jǐn)慎地、不斷地向前推進(jìn)，以保證最高級(jí)別的安全性。

真正的自動(dòng)駕駛何時(shí)實(shí)現(xiàn)？Danny Shapiro的看法是，自動(dòng)駕駛實(shí)驗(yàn)?zāi)壳霸谝恍┦芟蕲h(huán)境已經(jīng)開(kāi)展很多了，例如在港口、機(jī)場(chǎng)、礦場(chǎng)、建筑工地、農(nóng)業(yè)，以及固定路線的巴士，或是在其他規(guī)定區(qū)域內(nèi)行駛的車(chē)輛。這些場(chǎng)景相對(duì)封閉、路線固定、目標(biāo)物體較少。而自動(dòng)駕駛真正在開(kāi)放路面使用，還有一段路要走。