一文簡析Tesla FSD beta的Release note

在以上呈現(xiàn)的一共13條的Release note當(dāng)中，Tesla的FSD beta團隊展現(xiàn)了一種獨特的量化風(fēng)格——其中的5條共提供了7處精準(zhǔn)的性能改善百分比數(shù)字。這里面既包含感知部分的性能提升，也包含規(guī)劃和控制部分的性能進步。如果再往前追溯FSD beta在v10以來一共十幾個子版本（小編：似乎FSD beta在v10這個大版本階段已經(jīng)停留很久了，前所未有）中，涉及精準(zhǔn)的性能改善百分比數(shù)字更是琳瑯滿目覆蓋自動駕駛體系的方方面面。我們不禁要問why and how，Tesla提供如此具體的性能改善指標(biāo)？

前段時間知乎上曾經(jīng)有一個廣泛受到關(guān)注的問題，大意是問“對于自動駕駛行業(yè)來說，具備哪種核心的技術(shù)能力最為關(guān)鍵？”各種回答幾乎覆蓋了所有自動駕駛的技術(shù)環(huán)節(jié)，從數(shù)據(jù)規(guī)模到訓(xùn)練方法，再到感知、規(guī)劃和控制模塊，以及各種琳瑯滿目的傳感器和車載計算機、道路覆蓋車用網(wǎng)絡(luò)…… 每一個細(xì)分的技術(shù)賽道上都有為數(shù)眾多的擁躉。但似乎沒人關(guān)注的是這樣一個事實，不論哪一種技術(shù)細(xì)節(jié)，都是建立在“體系”的基礎(chǔ)之上的，只有選擇確立自動駕駛系統(tǒng)的“體系”在先，后續(xù)發(fā)展的各種模塊技術(shù)才能在體系下協(xié)調(diào)發(fā)展。所以小編的觀點是：單一評論哪一種細(xì)分技術(shù)在自動駕駛系統(tǒng)中的重要性沒有具體的實際意義，“體系”建設(shè)和技術(shù)風(fēng)格的確立，對于長期競爭力的培育才是最重要的。

回到Tesla FSD beta v10.11.2的Release note這個主題上，我們確實看到Tesla依然在堅定地走在：廣泛的量產(chǎn)車型+單純的視覺感知+豐厚的仿真和訓(xùn)練平臺=通暢且封閉的數(shù)據(jù)平臺基礎(chǔ)之上的。我們在兩三年前第一次Tesla AI Day 2019上看到的這個“老掉牙”的Data Engine數(shù)據(jù)架構(gòu)，依然是Tesla自動駕駛體系發(fā)展的核心框架。

圖一【Tesla FSD beta v9-43.png】

在過去的兩年時間里，通過越來越多的信息披露，我們對于Tesla的Data Engine有了更多較為具體的理解。比如從龐大的存量車隊中如何激發(fā)Inaccuracy狀態(tài)數(shù)據(jù)上報的機制；Boost倍增后的海量相似場景如何實現(xiàn)自動標(biāo)注；以及Tesla逐漸曝光的訓(xùn)練平臺Dojo等等。但Tesla一直維持著關(guān)鍵的技術(shù)節(jié)點屬性不變（小編：堅持純視覺傳感器路線不變，甚至取消了典型的車載雷達），而僅僅做部件規(guī)格和性能上的提升，就可以堅持在自己的Data Engine平臺上逼近L4。

可能有很多從業(yè)同行已經(jīng)厭倦了大嘴巴的Elon Musk激進風(fēng)格，不著邊際的承諾一次又一次落空。但與此同時我們也應(yīng)該注意到，在領(lǐng)先的自動駕駛技術(shù)公司中，Tesla是唯一的技術(shù)路線上堅定、市場策略上一貫，客觀上也能同時在量產(chǎn)產(chǎn)品和FSD beta測試范圍內(nèi)保持不停頓的技術(shù)迭代的技術(shù)實體……從這個角度看，毫不夸張地說，堪稱碩果僅存。所以，產(chǎn)業(yè)內(nèi)外與其把關(guān)注的焦點放在Elon Musk又吹了多少次牛皮、承諾的升級節(jié)點遲遲不能兌現(xiàn)上，不如把注意力集中在如何看待Tesla在發(fā)展過程中，呈現(xiàn)出來越來越多浮出水面的技術(shù)線索上。

圖二【Tesla FSD beta v9-41.png】

上圖2為例，這是一年前當(dāng)Tesla決定在FSD beta版本上完全放棄Radar之后所做出的技術(shù)說明。我們在當(dāng)期公眾號文章《聯(lián)結(jié)主義AI技術(shù)在Tesla Vision技術(shù)體系中的地位和未來》有相對詳細(xì)的部分參數(shù)介紹，感興趣的讀者可以移步。這些具體的Triggers參數(shù)的重要性在于，它讓我們認(rèn)識到Tesla是如何同時在規(guī)模龐大的保有車隊中（200萬輛規(guī)模）和活躍度頗高的FSD beta測試車隊中（2000輛規(guī)模）抓取關(guān)鍵數(shù)據(jù)的，而非泛泛的所謂“陰影模式”。

從搜集人類駕駛員關(guān)鍵駕駛行為和策略的shadow mode，到當(dāng)研發(fā)團隊決定對雷達傳感器做減法時，可以定制和搜集的各種對于視覺傳感器的“校準(zhǔn)數(shù)據(jù)”Trigger。這種不變應(yīng)萬變的數(shù)據(jù)閉環(huán)能力，恰恰是以機器學(xué)習(xí)為主的AI的核心要義：只要保證數(shù)據(jù)搜集的渠道暢通、數(shù)據(jù)質(zhì)量足夠好，Tesla就會一直前進。

TeslaFSD beta v10.11.2實測表現(xiàn)亮點

空口無憑，我們在本期文章里還是以FSD beta v10.11.2的實際道路測試觀測為主要內(nèi)容。在我們能能找到的公開道路測試結(jié)果中，去逐一“視覺驗證”v10.11.2的release note是否真的涉及如此眾多的技術(shù)改善，以及改善效果？我們選擇了畫面質(zhì)量和記錄視角一貫是最好水平的@Frenchie，請跟著小編一起觀察FSD beta進化證據(jù)的關(guān)鍵細(xì)節(jié)。

1 Creeping profile with higher jerk：

視頻中，當(dāng)車輛抵近丁字路口并觀察到合適的并入機會時，以往FSD beta中的保守creep動作（小編：creeping，是一種緩慢地、保守地遞進觀察和進入路口區(qū)域的低速行駛行為）被取代為更激進和快提速Jerk的左轉(zhuǎn)進入行為。小編相信這個變化是因為對歷史上FSD beta各版本的行為數(shù)據(jù)觀察之后得到的修正，也更符合人類駕駛習(xí)慣。在城市道路環(huán)境下（小編：視頻的實測地點是芝加哥鬧市區(qū)），猶猶豫豫將會造成局部的交通擁堵和事實上的不安全境地。

這種creeping行為的明顯改善，或者說果斷，符合FSD beta v10.11.2的release note中的第六條：-6 ?Improved creeping profile withhigher jerk when creeping starts and ends.//小編：改善了車輛進入路口時的creeping profile，增加了更快提速的選項；

2 Improved right-of-way understanding：

視頻中，當(dāng)車輛行駛在芝加哥較為常見的城市軌道交通支架下行線時，遭受著視覺和電磁信號的雙重惡劣駕駛環(huán)境。視覺干擾來自穿透鐵軌投射在路面上的點線陽光耀斑，和路面白色道路分割虛線類似，對于FSD的視覺系統(tǒng)構(gòu)成非常的考驗；電磁信號的惡劣環(huán)境同樣是由于鐵軌系統(tǒng)造成的，巨大的鋼結(jié)構(gòu)和道路兩側(cè)的高大建筑物是GPS信號的致命破壞，這是“城市峽谷”+“鋼結(jié)構(gòu)屏蔽效應(yīng)”的疊加。實際上車主Frenchie在路測中也抱怨Tesla Model 3的GPS系統(tǒng)在芝加哥的鬧市區(qū)經(jīng)常出錯，由于不可忽視的定位誤差，有時會導(dǎo)致Waypoint路徑點之間的線路受到錯誤定位的影響而進入重新路徑計算。

實際上我們在視頻4中也可以看到，當(dāng)Model 3車輛穿越十字路口時，由于需要即時判別新進路段的道路結(jié)構(gòu)，尤其是在光線的干擾下，Model 3的FSD beta選擇了降速，并明顯有變道行為來修正之前的識別誤差。

這種right-of-way的對于外部環(huán)境的理解能力，我們很早就在Tesla FSD beta的路測中觀察到了，隨著證據(jù)越來越多也進一步得到證實。Tesla的自動駕駛策略是堅持單車能力，盡可能降低對外界條件的依賴。這個能力體現(xiàn)，符合FSD beta v10.11.2的release note中的第三條：-3 Improved right-of-way understanding if the map is inaccurate or thecar cannot follow the navigation. ?Inparticular，modeling intersection extents is now entirely based on networkpredictions， and no longer uses map-based heuristics.//小編：改善主車對于道路結(jié)構(gòu)識別的即時性，在高精地圖數(shù)據(jù)失效而無法利用時，以主車識別結(jié)果為準(zhǔn)。在道路路口場景下，完全依賴主車的即時識別結(jié)果；

3 Improved the precision of VRU detections：

視頻5的開始階段，在道路左側(cè)的行人先后被轉(zhuǎn)彎車輛和鐵軌支柱遮擋，但車輛中控屏幕的UI顯示始終沒有丟掉對于這個行人的識別和跟蹤，雖然有時會出現(xiàn)對于目標(biāo)前進方向預(yù)測的失誤，也是短暫的。這個符合去年Tesla AI DAY上的官方展示：即通過Transformer構(gòu)造的BEV空間信息流中，將每一幀feature通過Feature Queue隊列機制在時間軸上構(gòu)成連續(xù)時間流尺度（小編：也許是10-15s范圍內(nèi)），對外界事物進行描述；與此同時還需要利用車體姿態(tài)的慣性傳感器（INS）輸出，來在上述時間流尺度范圍內(nèi)，利用Video Queue隊列繼續(xù)構(gòu)造地理上的連續(xù)空間尺度（小編：當(dāng)然這里還有個目標(biāo)物追蹤的問題需要處理）。如此，在指定的時間+空間范疇內(nèi)，感知信息將會得到類似上下文context的銜接處理，從而為后端的預(yù)測、規(guī)劃和控制模塊提供更好的數(shù)據(jù)輸入。

參照下圖6，感知系統(tǒng)在盡可能模仿人類的視覺+腦能力，不僅僅是看到，并辨識出物體的位置、尺寸、速度和語義信息，還需要在這個基礎(chǔ)上，記住關(guān)鍵的、有時效性的外界道路參與者尤其弱勢群體VRU的局部歷史信息，這對于提升系統(tǒng)安全性善莫大焉。Elon Musk在很多場合都會舉這個例子：當(dāng)你駕駛車輛看到路旁一個小朋友消失在一輛停泊在路邊的公共汽車尾部的時候，你就會特別小心駕駛車輛駛過這部公共汽車的頭部。因為你會擔(dān)心這個在視覺上“消失的”小朋友可能會在公共汽車車頭突然出現(xiàn)而來不及剎車，提前降速是一個明智的選擇，也是人類的智慧體現(xiàn)。

圖六【Tesla FSD beta v101102-4.png】

圖6黃色框內(nèi)所體現(xiàn)的網(wǎng)絡(luò)結(jié)構(gòu)，就是構(gòu)建在BEV俯視圖基礎(chǔ)上的連續(xù)時間+空間識別feature，在此基礎(chǔ)之上進一步實現(xiàn)標(biāo)準(zhǔn)的各個識別子任務(wù)。還是舉那個小朋友消失在停泊在路邊的大型公共車輛背后的例子：如果Tesla的FSD或者全體車隊可以不斷反饋類似視覺場景（小編：各種孩子、人力車等VRU闖入道路空間并消失在某些障礙后部），那么后臺的Dojo就可以在類似數(shù)據(jù)標(biāo)注完備的基礎(chǔ)上，用這種結(jié)構(gòu)化的場景去訓(xùn)練FSD的規(guī)劃模塊——Deep Reinforcement Learning的模塊會在訓(xùn)練中被系統(tǒng)通過reward獎勵告知，當(dāng)遇到明確的VRU目標(biāo)在道路范圍內(nèi)消失在遮擋物范圍后的場景下，主動降速進入保守狀態(tài)反而可以獲得更多的獎勵。如此往復(fù)，基于DRL的規(guī)劃模塊就會具備類人思考的能力。

回到視頻5，當(dāng)車輛在路口等候紅燈時，我們也有一個較為全面的視角觀察車輛視覺系統(tǒng)對于外界行人等VRU目標(biāo)的識別效果觀察，感官上確實做到比之前的版本更好、更流暢和更準(zhǔn)確。這個變化符合FSD beta v10.11.2的release note中的第六條：-4 ?Improved the precision of VRUdetections by 44.9%，dramatically reducingspurious false positive pedestrians and bicycles (especially around tar seams， skid marks, and raindrops)。? This was accomplished byincreasing the data size of the next-gen auto-labeler， training networkparameters that were previously frozen, and modifying the network lossfunctions。? We find that this decreases theincidence of VRU-related false slowdowns.//小編：針對VRU-弱勢道路使用者的識別精度提升了44.9%！特別是在各種道路環(huán)境干擾條件下，可大幅度降低對于行人和自行車的假陽性錯誤識別結(jié)果。這個精準(zhǔn)的百分比貢獻來自于下一代auto-labeler自動標(biāo)注系統(tǒng)所提供大量有效的訓(xùn)練數(shù)據(jù)，將之前版本的模型參數(shù)進一步改進；

4 More accurate predictions of vehicles：

以上視頻7中，F(xiàn)SD beta主車展示了一次“不同尋?！钡淖兙€超車行為。按照路線規(guī)劃，主車在直行通過當(dāng)前路口之后，應(yīng)該在下一個路口（小編：目測150米左右）執(zhí)行右轉(zhuǎn)動作。如果此時主車的自身位置和地圖信息都是清晰和準(zhǔn)確的，那么按照路線規(guī)劃慣例，在距離右轉(zhuǎn)路口150m的地方大概率應(yīng)該保持右側(cè)車道行駛（小編：此時道路環(huán)境為單向雙車道），而避免主動變?nèi)胱髠?cè)車道后無法變回右轉(zhuǎn)車道。這種情況下，較為保守的跟車行為將會確保安全右轉(zhuǎn)，應(yīng)該是執(zhí)行概率更大的路徑規(guī)劃結(jié)果。

當(dāng)主車觀察到本車道前方兩輛車輛實體都出現(xiàn)剎車燈點亮狀態(tài)，且前車（小編：兩車中的前車）出現(xiàn)明顯的偏移行為顯示其靠路邊臨時泊車的意圖時，主車開始選擇右側(cè)換道超車，并在完成超越之后，且右轉(zhuǎn)路口未到之前返回左側(cè)車道。總體來說，主車的這個行為在這個場景和這個時機下，是一個在效率和風(fēng)險之間平衡較好的、較為合理的路徑規(guī)劃決策。我們在2021年度Tesla AI Day上曾經(jīng)聽到較為完整的Planning and control module的介紹（by ashok），其中也提及過類似臨近路口如何做便道選擇的介紹。相比較來說，我們認(rèn)為在視頻7中的換道超車選擇，更多是NN of Planning的選擇，而非傳統(tǒng)的路徑規(guī)劃輸出的結(jié)果（小編：因為傳統(tǒng)模式比如S-L路線規(guī)劃往往更為保守，不會選擇激進的但有可能錯過轉(zhuǎn)彎路口的規(guī)劃結(jié)果）。類似行為如果越來越多被觀察到，我們就可以越來越確信龐大fleet所貢獻的各種數(shù)據(jù)，在后臺Dojo的處理下，對于FSD beta的決策規(guī)劃系統(tǒng)訓(xùn)練，產(chǎn)生了越來越正面的影響。

圖九【Tesla FSD beta v10-11.png】

請注意上圖9中的Neural Net Planner部分。Tesla FSD beta所展現(xiàn)的這種果斷的、類人的換道超車行為，歸功于此部分的決策輸出在很大程度上左右了最終的主車行為。當(dāng)然，這個變化符合release note當(dāng)中的第2條和第8條，如下：

-2 ?Use more accurate predictions of wherevehicles are turning， or merging to reduce unnecessary slowdowns for vehicles that will notcross our path.//小編：針對它車行為，提供更精準(zhǔn)的掉頭和并線預(yù)測，減少主車的非必要剎車行為；

-8 ?Reduced vehicle “parked” attribute error rateby 17%，achieved byincreasing the dataset size by 14%.? Also improved brake lightaccuracy.//小編：將它車狀態(tài)標(biāo)記為“停車狀態(tài)”的錯誤率改善了17%，同樣改善了對于它車剎車燈識別的準(zhǔn)確率。這是通過不斷擴張的訓(xùn)練數(shù)據(jù)庫（增加了14%的有效訓(xùn)練數(shù)據(jù)）來達到的；

5 Understanding intersection extents based on network predictions：

以上視頻10，充分顯示了FSD beta決策規(guī)劃模塊高度依賴視覺系統(tǒng)即時感知確立道路結(jié)構(gòu)，而非先驗的高精地圖信息。當(dāng)主車右轉(zhuǎn)進入四車道道路結(jié)構(gòu)的時候，由于視角和距離的問題，F(xiàn)SD視覺系統(tǒng)的即時感知并無法斷定關(guān)鍵的路口道路結(jié)構(gòu)（小編：這里的路口指的是下一個路口）。而近在咫尺，最多目測也就100-150m的十字路口，只會給主車正常行駛提供非常短的預(yù)判斷時間。

在這個距離上，主車camera并無法立刻識別下一個路口的道路結(jié)構(gòu)，如果不依賴HDmap的道路結(jié)構(gòu)化信息，那么主車只能選擇直行，并通過camera不斷探查路口的道路結(jié)構(gòu)。這上圖11這個具體的場景下，主車是要穿越路口直行，但他所在的目前這根車道在路口布局中是公共汽車專用車道（路口為紅色）。但顯然在這個距離上，主車并未意識到這一點，依然選擇直行。

在抵近路口的過程中，主車FSD beta開始觀察到紅色路面，訓(xùn)練的結(jié)果令它意識到這是公共汽車專用道，但與此同時，左側(cè)的直行車道分割線進入實線狀態(tài)。這意味著向左的變道行為已經(jīng)不被交通規(guī)則所支持，所以車輛的規(guī)劃模塊輸出開始搖擺指向右側(cè)車道。但同樣很快他發(fā)現(xiàn)地面的指示表示顯示右側(cè)車道是一根右轉(zhuǎn)車道。FSD beta開始輸出搖擺不定的路徑規(guī)劃結(jié)果……直到人類司機接管。

根據(jù)這個現(xiàn)象，我們可以推測，如果FSD beta仰仗HDmap先驗信息，那么我們不應(yīng)該看到這個現(xiàn)象：隨著逐步接近路口，路徑規(guī)劃模塊開始搖擺不定。依賴HD map的好處很多，包括讓FSD beta在足夠安全的距離上就可以執(zhí)行左側(cè)換道，正常通行。但依賴HDmap同樣會降低自動駕駛系統(tǒng)的整體魯棒性，在沒有HDmap的區(qū)域（或者HDmpa未及時更新的區(qū)域）行駛，則意味著自動化水平的嚴(yán)重降級。

所以有人選擇全力建設(shè)盡可能廣泛和即時的HDmap覆蓋，有人選擇干脆不依賴HDmap尤其在路口區(qū)域，執(zhí)行即時測繪……這就看各家的系統(tǒng)設(shè)計思路了。

以上觀察也符合release note中的第三點：-3 ?Improved right-of-wayunderstanding if the map is inaccurate or the car cannot follow the navigation。? In particular， modelingintersection extents is now entirely based on network predictions and no longeruses map-based heuristics.//小編：改善主車對于道路結(jié)構(gòu)識別的即時性，在高精地圖數(shù)據(jù)失效而無法利用時，以主車識別結(jié)果為準(zhǔn)。在道路路口場景下，完全依賴主車的即時識別結(jié)果；

此處另一個值得關(guān)注的問題是圖11所顯示的芝加哥鬧市區(qū)，嚴(yán)重的城市峽谷可能會產(chǎn)生不穩(wěn)定的GPS定位效果。這個必然會在路徑導(dǎo)航（注意，不是路徑規(guī)劃層面）上產(chǎn)生干擾。我們觀察到FSD beta也有這個問題，會在特定節(jié)點突然重啟路徑路由，大概率是因為GPS信號偏差嚴(yán)重所誘發(fā)。

對于FSDbeta v10.11.2一個公允的評價

FSD beta進入v10之后，大版本迭代的節(jié)奏慢了下來。V10階段已經(jīng)推送了11個小版本，但Elon Musk所多次提到的v11仍未到來。我們等到的是3月份Karpathy的停職休假。雖然不太可能是離職前奏，但在關(guān)鍵時刻，作為感知系統(tǒng)總監(jiān)，去休一個三四個月的長假……還是挺令人意外的。引發(fā)小編最大的思考還是這個問題，對于FSD beta來說，過于嚴(yán)苛的單一傳感器配置，是否在感知層面引發(fā)難以克服的技術(shù)瓶頸期？而Ashok又能在這個感知結(jié)果下，帶領(lǐng)規(guī)劃和控制團隊走多遠(yuǎn)呢？

也許現(xiàn)階段，能讓人暫時保持信心的，就是FSD beta高度數(shù)字量化的release note了！Tesla落在實處的硅步，一直都還在。

審核編輯：劉清