特斯拉的圖像識(shí)別原理是什么？

特斯拉利用8個(gè)攝像頭來(lái)識(shí)別現(xiàn)實(shí)世界中的物體。攝像頭獲取的圖像包括行人、其他車(chē)輛、動(dòng)物或障礙物，這不僅對(duì)特斯拉車(chē)輛駕駛員的安全很重要，對(duì)其他人也很重要。專(zhuān)利稱(chēng)，重要的是，攝像頭能夠及時(shí)準(zhǔn)確地識(shí)別這些物體。

特斯拉專(zhuān)利框

特斯拉專(zhuān)利演示

從算法的代碼層面來(lái)說(shuō)，特斯拉把它們的深度學(xué)習(xí)網(wǎng)絡(luò)稱(chēng)為HydraNet。其中，基礎(chǔ)算法代碼是共享的，整個(gè)HydraNet包含48個(gè)不同的神經(jīng)網(wǎng)絡(luò)，通過(guò)這48個(gè)神經(jīng)網(wǎng)絡(luò)，就能輸出1000個(gè)不同的預(yù)測(cè)張量。理論上來(lái)說(shuō)，特斯拉的這個(gè)超級(jí)網(wǎng)絡(luò)，能同時(shí)檢測(cè)1000種物體。完成這些運(yùn)算并不簡(jiǎn)單，特斯拉已經(jīng)耗費(fèi)了7萬(wàn)個(gè)GPU小時(shí)進(jìn)行深度學(xué)習(xí)模型訓(xùn)練。

雖然工作量很大，但由于大部分工作由機(jī)器承擔(dān)，特斯拉的人工智能團(tuán)隊(duì)僅由幾十人組成，與其他自動(dòng)駕駛公司數(shù)百人甚至數(shù)千人的規(guī)模相比，確實(shí)規(guī)模不大。

完成2D的圖像還不算牛掰的，畢竟云端有超級(jí)計(jì)算機(jī)可以去訓(xùn)練，本地的芯片也是自己開(kāi)發(fā)的，可以很好的匹配算法，特斯拉真正牛掰的地方，通過(guò)視覺(jué)完成3D的深度信息，并可以通過(guò)視覺(jué)建立高精度地圖，完成一些底下停車(chē)場(chǎng)的附件駕駛場(chǎng)景。

特斯拉全車(chē)共配備了8個(gè)攝像頭，一個(gè)毫米波雷達(dá)和12個(gè)超聲波雷達(dá)，監(jiān)測(cè)外部環(huán)境，向自動(dòng)駕駛電腦實(shí)時(shí)傳送信息。

特斯拉車(chē)外傳感器

簡(jiǎn)單來(lái)看，特斯拉的攝像頭、毫米波雷達(dá)、超聲波雷達(dá)以及慣性測(cè)量單元記錄下當(dāng)前車(chē)輛所處的環(huán)境數(shù)據(jù)，并將數(shù)據(jù)發(fā)送給特斯拉的自動(dòng)駕駛電腦。自動(dòng)駕駛電腦在進(jìn)行算法的計(jì)算之后，將速度和方向信息傳遞給轉(zhuǎn)向舵以及加速、制動(dòng)踏板，實(shí)現(xiàn)對(duì)車(chē)輛的控制。

不過(guò)，在日常行駛過(guò)程中，攝像頭作為傳感器捕捉的內(nèi)容都是二維圖像，并沒(méi)有深度信息。

也就是說(shuō)，雖然二維圖像已經(jīng)可以區(qū)分公路和路旁的人行道，但并不知道現(xiàn)在車(chē)輛距離“馬路牙子”還有多遠(yuǎn)。由于缺失這樣一個(gè)重要信息，自動(dòng)駕駛的運(yùn)算可能并不準(zhǔn)確，操作可能出錯(cuò)。因此，捕捉或者建立一個(gè)三維的圖景很有必要。

特斯拉使用三目相機(jī)的，它可以通過(guò)比較兩個(gè)攝像頭圖像的差異判斷物體的遠(yuǎn)近，獲得物體的深度信息。通過(guò)中央處理器對(duì)輸入圖像進(jìn)行感知、分割、檢測(cè)、跟蹤等操作，輸出給導(dǎo)航網(wǎng)絡(luò)端進(jìn)行語(yǔ)義建圖及匹配定位，同時(shí)通過(guò)目標(biāo)識(shí)別形成相應(yīng)的ADAS系統(tǒng)目標(biāo)屬性。

特斯拉還有更厲害的地方，那就是算法可以預(yù)測(cè)流媒體視頻中每一個(gè)像素的深度信息。也就是說(shuō)，只要算法足夠好，流媒體視頻更加清晰，特斯拉的視覺(jué)傳感器所捕捉的深度信息甚至可以超過(guò)激光雷達(dá)。

在實(shí)際的自動(dòng)駕駛應(yīng)用中，泊車(chē)入位和智能召喚兩個(gè)使用場(chǎng)景下就能充分利用這套算法。在停車(chē)場(chǎng)行駛時(shí)，車(chē)輛之間的距離很小，即使是駕駛員駕駛，稍不留神也很容易出現(xiàn)刮蹭事故。對(duì)于機(jī)器來(lái)說(shuō)，停車(chē)場(chǎng)場(chǎng)景的行駛更加困難。在預(yù)測(cè)到深度信息之后，車(chē)輛可以在超聲波雷達(dá)的輔助之下，快速完成對(duì)周?chē)h(huán)境的識(shí)別，車(chē)輛泊車(chē)就會(huì)更加順利。

在完成深度信息的預(yù)測(cè)之后，這部分信息會(huì)顯示在車(chē)機(jī)上，同時(shí)也會(huì)直接參與控制轉(zhuǎn)向、加速、制動(dòng)等駕駛動(dòng)作。不過(guò)，轉(zhuǎn)向、加速、制動(dòng)這些駕駛策略沒(méi)有固定的規(guī)則，有一定靈活性。因此，自動(dòng)駕駛的駕駛策略沒(méi)有最佳，只有更好。

怎么提高神經(jīng)網(wǎng)絡(luò)的算法效率：

為什么這么多廠家只有百度敢挑戰(zhàn)視覺(jué)為主的輔助駕駛方案，不使用激光雷達(dá)，其中很大一個(gè)原因就是神經(jīng)網(wǎng)絡(luò)算法相當(dāng)耗費(fèi)芯片算力和內(nèi)存資源，本地端的芯片要算力足夠強(qiáng)大，對(duì)于神經(jīng)網(wǎng)絡(luò)的算法要有優(yōu)化。

對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，其實(shí)很多的連接并不是一定要存在的，也就是說(shuō)我去掉一些連接，可能壓縮后的網(wǎng)絡(luò)精度相比壓縮之前并沒(méi)有太大的變化?；谶@樣的理念，很多剪枝的方案也被提了出來(lái)，也確實(shí)從壓縮的角度帶來(lái)了很大效果提升。

需要特別提出的是，大家從圖中可以看到，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)包括卷積層和全連接層兩大塊，剪枝對(duì)全連接層的壓縮效率是最大的。下面柱狀圖的藍(lán)色部分就是壓縮之后的系數(shù)占比，從中可以看到剪枝對(duì)全連接層的壓縮是最大的，而對(duì)卷積層的壓縮效果相比全連接層則差了很多。

所以這也是為什么，在語(yǔ)音的加速上很容易用到剪枝的一些方案，但是在機(jī)器視覺(jué)等需要大量卷積層的應(yīng)用中剪枝效果并不理想。

對(duì)于整個(gè)Deep Learning網(wǎng)絡(luò)來(lái)說(shuō)，每個(gè)權(quán)重系數(shù)是不是一定要浮點(diǎn)的，定點(diǎn)是否就能滿足？定點(diǎn)是不是一定要32位的？很多人提出8位甚至1位的定點(diǎn)系數(shù)也能達(dá)到很不錯(cuò)的效果，這樣的話從系數(shù)壓縮來(lái)看就會(huì)有非常大的效果。從下面三張人臉識(shí)別的紅點(diǎn)和綠點(diǎn)的對(duì)比，就可以看到其實(shí)8位定點(diǎn)系數(shù)在很多情況下已經(jīng)非常適用了，和32位定點(diǎn)系數(shù)相比并沒(méi)有太大的變化。所以，從這個(gè)角度來(lái)說(shuō)，權(quán)重系數(shù)的壓縮也會(huì)帶來(lái)網(wǎng)絡(luò)模型的壓縮，從而帶來(lái)計(jì)算的加速。

這些都需要非常資深的軟件算法團(tuán)隊(duì)去優(yōu)化，同時(shí)需要懂得底層芯片的資源情況，而百度在人工算法這方面非常具有優(yōu)勢(shì)，所以有勇氣去挑戰(zhàn)視覺(jué)為主的自動(dòng)駕駛 Apollo Lite方案。

百度表示，攝像頭是相對(duì)成熟的傳感器，除具備輕巧低成本和符合車(chē)規(guī)的優(yōu)勢(shì)外，高分辨率高幀率（成像頻率）的成像技術(shù)發(fā)展趨勢(shì)意味著圖像內(nèi)蘊(yùn)含的環(huán)境信息更豐富，同時(shí)視頻數(shù)據(jù)也和人眼感知的真實(shí)世界最為相似，但和三維點(diǎn)云數(shù)據(jù)相比，二維圖像中的信息更難挖掘，需要設(shè)計(jì)更強(qiáng)大的算法、大量數(shù)據(jù)的積累和更長(zhǎng)期的研發(fā)投入。

責(zé)任編輯：lq6