特斯拉利用8個(gè)攝像頭來(lái)識(shí)別現(xiàn)實(shí)世界中的物體。攝像頭獲取的圖像包括行人、其他車(chē)輛、動(dòng)物或障礙物,這不僅對(duì)特斯拉車(chē)輛駕駛員的安全很重要,對(duì)其他人也很重要。專(zhuān)利稱(chēng),重要的是,攝像頭能夠及時(shí)準(zhǔn)確地識(shí)別這些物體。
特斯拉專(zhuān)利框
特斯拉專(zhuān)利演示
從算法的代碼層面來(lái)說(shuō),特斯拉把它們的深度學(xué)習(xí)網(wǎng)絡(luò)稱(chēng)為HydraNet。其中,基礎(chǔ)算法代碼是共享的,整個(gè)HydraNet包含48個(gè)不同的神經(jīng)網(wǎng)絡(luò),通過(guò)這48個(gè)神經(jīng)網(wǎng)絡(luò),就能輸出1000個(gè)不同的預(yù)測(cè)張量。理論上來(lái)說(shuō),特斯拉的這個(gè)超級(jí)網(wǎng)絡(luò),能同時(shí)檢測(cè)1000種物體。完成這些運(yùn)算并不簡(jiǎn)單,特斯拉已經(jīng)耗費(fèi)了7萬(wàn)個(gè)GPU小時(shí)進(jìn)行深度學(xué)習(xí)模型訓(xùn)練。
雖然工作量很大,但由于大部分工作由機(jī)器承擔(dān),特斯拉的人工智能團(tuán)隊(duì)僅由幾十人組成,與其他自動(dòng)駕駛公司數(shù)百人甚至數(shù)千人的規(guī)模相比,確實(shí)規(guī)模不大。
完成2D的圖像還不算牛掰的,畢竟云端有超級(jí)計(jì)算機(jī)可以去訓(xùn)練,本地的芯片也是自己開(kāi)發(fā)的,可以很好的匹配算法,特斯拉真正牛掰的地方,通過(guò)視覺(jué)完成3D的深度信息,并可以通過(guò)視覺(jué)建立高精度地圖,完成一些底下停車(chē)場(chǎng)的附件駕駛場(chǎng)景。
特斯拉全車(chē)共配備了8個(gè)攝像頭,一個(gè)毫米波雷達(dá)和12個(gè)超聲波雷達(dá),監(jiān)測(cè)外部環(huán)境,向自動(dòng)駕駛電腦實(shí)時(shí)傳送信息。
特斯拉車(chē)外傳感器
簡(jiǎn)單來(lái)看,特斯拉的攝像頭、毫米波雷達(dá)、超聲波雷達(dá)以及慣性測(cè)量單元記錄下當(dāng)前車(chē)輛所處的環(huán)境數(shù)據(jù),并將數(shù)據(jù)發(fā)送給特斯拉的自動(dòng)駕駛電腦。自動(dòng)駕駛電腦在進(jìn)行算法的計(jì)算之后,將速度和方向信息傳遞給轉(zhuǎn)向舵以及加速、制動(dòng)踏板,實(shí)現(xiàn)對(duì)車(chē)輛的控制。
不過(guò),在日常行駛過(guò)程中,攝像頭作為傳感器捕捉的內(nèi)容都是二維圖像,并沒(méi)有深度信息。
也就是說(shuō),雖然二維圖像已經(jīng)可以區(qū)分公路和路旁的人行道,但并不知道現(xiàn)在車(chē)輛距離“馬路牙子”還有多遠(yuǎn)。由于缺失這樣一個(gè)重要信息,自動(dòng)駕駛的運(yùn)算可能并不準(zhǔn)確,操作可能出錯(cuò)。因此,捕捉或者建立一個(gè)三維的圖景很有必要。
特斯拉使用三目相機(jī)的,它可以通過(guò)比較兩個(gè)攝像頭圖像的差異判斷物體的遠(yuǎn)近,獲得物體的深度信息。通過(guò)中央處理器對(duì)輸入圖像進(jìn)行感知、分割、檢測(cè)、跟蹤等操作,輸出給導(dǎo)航網(wǎng)絡(luò)端進(jìn)行語(yǔ)義建圖及匹配定位,同時(shí)通過(guò)目標(biāo)識(shí)別形成相應(yīng)的ADAS系統(tǒng)目標(biāo)屬性。
特斯拉還有更厲害的地方,那就是算法可以預(yù)測(cè)流媒體視頻中每一個(gè)像素的深度信息。也就是說(shuō),只要算法足夠好,流媒體視頻更加清晰,特斯拉的視覺(jué)傳感器所捕捉的深度信息甚至可以超過(guò)激光雷達(dá)。
在實(shí)際的自動(dòng)駕駛應(yīng)用中,泊車(chē)入位和智能召喚兩個(gè)使用場(chǎng)景下就能充分利用這套算法。在停車(chē)場(chǎng)行駛時(shí),車(chē)輛之間的距離很小,即使是駕駛員駕駛,稍不留神也很容易出現(xiàn)刮蹭事故。對(duì)于機(jī)器來(lái)說(shuō),停車(chē)場(chǎng)場(chǎng)景的行駛更加困難。在預(yù)測(cè)到深度信息之后,車(chē)輛可以在超聲波雷達(dá)的輔助之下,快速完成對(duì)周?chē)h(huán)境的識(shí)別,車(chē)輛泊車(chē)就會(huì)更加順利。
在完成深度信息的預(yù)測(cè)之后,這部分信息會(huì)顯示在車(chē)機(jī)上,同時(shí)也會(huì)直接參與控制轉(zhuǎn)向、加速、制動(dòng)等駕駛動(dòng)作。不過(guò),轉(zhuǎn)向、加速、制動(dòng)這些駕駛策略沒(méi)有固定的規(guī)則,有一定靈活性。因此,自動(dòng)駕駛的駕駛策略沒(méi)有最佳,只有更好。
怎么提高神經(jīng)網(wǎng)絡(luò)的算法效率:
為什么這么多廠家只有百度敢挑戰(zhàn)視覺(jué)為主的輔助駕駛方案,不使用激光雷達(dá),其中很大一個(gè)原因就是神經(jīng)網(wǎng)絡(luò)算法相當(dāng)耗費(fèi)芯片算力和內(nèi)存資源,本地端的芯片要算力足夠強(qiáng)大,對(duì)于神經(jīng)網(wǎng)絡(luò)的算法要有優(yōu)化。
對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō),其實(shí)很多的連接并不是一定要存在的,也就是說(shuō)我去掉一些連接,可能壓縮后的網(wǎng)絡(luò)精度相比壓縮之前并沒(méi)有太大的變化?;谶@樣的理念,很多剪枝的方案也被提了出來(lái),也確實(shí)從壓縮的角度帶來(lái)了很大效果提升。
需要特別提出的是,大家從圖中可以看到,深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)包括卷積層和全連接層兩大塊,剪枝對(duì)全連接層的壓縮效率是最大的。下面柱狀圖的藍(lán)色部分就是壓縮之后的系數(shù)占比,從中可以看到剪枝對(duì)全連接層的壓縮是最大的,而對(duì)卷積層的壓縮效果相比全連接層則差了很多。
所以這也是為什么,在語(yǔ)音的加速上很容易用到剪枝的一些方案,但是在機(jī)器視覺(jué)等需要大量卷積層的應(yīng)用中剪枝效果并不理想。
對(duì)于整個(gè)Deep Learning網(wǎng)絡(luò)來(lái)說(shuō),每個(gè)權(quán)重系數(shù)是不是一定要浮點(diǎn)的,定點(diǎn)是否就能滿足?定點(diǎn)是不是一定要32位的?很多人提出8位甚至1位的定點(diǎn)系數(shù)也能達(dá)到很不錯(cuò)的效果,這樣的話從系數(shù)壓縮來(lái)看就會(huì)有非常大的效果。從下面三張人臉識(shí)別的紅點(diǎn)和綠點(diǎn)的對(duì)比,就可以看到其實(shí)8位定點(diǎn)系數(shù)在很多情況下已經(jīng)非常適用了,和32位定點(diǎn)系數(shù)相比并沒(méi)有太大的變化。所以,從這個(gè)角度來(lái)說(shuō),權(quán)重系數(shù)的壓縮也會(huì)帶來(lái)網(wǎng)絡(luò)模型的壓縮,從而帶來(lái)計(jì)算的加速。
這些都需要非常資深的軟件算法團(tuán)隊(duì)去優(yōu)化,同時(shí)需要懂得底層芯片的資源情況,而百度在人工算法這方面非常具有優(yōu)勢(shì),所以有勇氣去挑戰(zhàn)視覺(jué)為主的自動(dòng)駕駛 Apollo Lite方案。
百度表示,攝像頭是相對(duì)成熟的傳感器,除具備輕巧低成本和符合車(chē)規(guī)的優(yōu)勢(shì)外,高分辨率高幀率(成像頻率)的成像技術(shù)發(fā)展趨勢(shì)意味著圖像內(nèi)蘊(yùn)含的環(huán)境信息更豐富,同時(shí)視頻數(shù)據(jù)也和人眼感知的真實(shí)世界最為相似,但和三維點(diǎn)云數(shù)據(jù)相比,二維圖像中的信息更難挖掘,需要設(shè)計(jì)更強(qiáng)大的算法、大量數(shù)據(jù)的積累和更長(zhǎng)期的研發(fā)投入。
責(zé)任編輯:lq6
-
攝像頭
+關(guān)注
關(guān)注
59文章
4782瀏覽量
95124 -
特斯拉
+關(guān)注
關(guān)注
66文章
6265瀏覽量
126366
原文標(biāo)題:【行業(yè)資訊】自動(dòng)駕駛傳感器之?dāng)z像頭(十二)特斯拉圖像識(shí)別原理闡述
文章出處:【微信號(hào):qidianxiehui,微信公眾號(hào):深圳市汽車(chē)電子行業(yè)協(xié)會(huì)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論