理想智能駕駛邁入3.0 時代

上海車展期間，理想汽車發(fā)布了最新的戰(zhàn)略計劃「雙能戰(zhàn)略」，而雙能戰(zhàn)略的核心有兩個方面：一，智能戰(zhàn)略；二，電能戰(zhàn)略。

這兩個戰(zhàn)略也很好理解，智能戰(zhàn)略包含智能駕駛和智能座艙，電能戰(zhàn)略則是圍繞增程電動和純電展開。

01

理想智能駕駛邁入 3.0 時代

在智能駕駛方面，理想汽車始終堅持全棧自研，今天，理想智能駕駛邁入3.0時代，從高速場景進(jìn)入到城市場景。

在預(yù)測及規(guī)劃中，通過實時輸出交通參與者未來的行動軌跡，為決策規(guī)劃提供準(zhǔn)確信息。

理想在即將量產(chǎn)的城市 NOA 導(dǎo)航輔助駕駛算法中，使用了三種神經(jīng)網(wǎng)絡(luò)大模型算法：

靜態(tài) BEV 網(wǎng)絡(luò)算法

動態(tài) BEV 網(wǎng)絡(luò)算法

Occupancy 網(wǎng)絡(luò)算法

對物理世界進(jìn)行還原，并使用 NeRF 技術(shù)增強 Occupancy 網(wǎng)絡(luò)算法使之實現(xiàn)更高的精度和細(xì)節(jié)。

靜態(tài) BEV 可以在部分?jǐn)z像頭被遮擋，車道線模糊的時候依舊可以補充出道路結(jié)構(gòu)，解決了高精地圖數(shù)據(jù)實時性的問題；動態(tài) BEV 神經(jīng)網(wǎng)絡(luò)具備了一定的「腦補」能力，已經(jīng)與人類的思維方式高度接近。

比如當(dāng)車輛同時出現(xiàn)在多顆攝像頭視野內(nèi)時，動態(tài) BEV 可以穩(wěn)定地追蹤并感知出物體的距離與速度。

Occupancy 網(wǎng)絡(luò)算法，則可以對物理世界進(jìn)行數(shù)據(jù)化建模，通過純視覺可以還原物理世界的真實場景，例如路上的垃圾桶、臨時的施工牌等「通用障礙物」。

在這個基礎(chǔ)上，理想汽車使用 NeRF 技術(shù)，進(jìn)一步提升了 Occupancy 在遠(yuǎn)距離的分辨率，讓系統(tǒng)的感知能力更加強大。

簡單說就是，基于以上三種神經(jīng)網(wǎng)絡(luò)大模型算法的感知結(jié)果，系統(tǒng)會實時輸出周圍所有交通參與者的軌跡預(yù)測結(jié)果，這樣的預(yù)測結(jié)果可以為理想汽車的智能駕駛系統(tǒng)在城市復(fù)雜場景的決策規(guī)劃提供準(zhǔn)確信息。

理想AD Max 3.0的城市NOA導(dǎo)航輔助駕駛系統(tǒng)二季度開始推送內(nèi)測用戶。到 2023 年年底，推送的國內(nèi)城市將超過 100 座，用一套技術(shù)，完全打通城市與高速。

車展期間我們專訪了郎咸朋博士和趙哲倫，看看他們對理想自動駕駛的一些介紹。

專訪：

理想汽車智能駕駛副總裁郎咸朋

理想汽車智能駕駛產(chǎn)品負(fù)責(zé)人趙哲倫

記者：您公布的關(guān)于自動輔助駕駛最新技術(shù)大家都很震撼。我注意到您分享的 PPT 中有個數(shù)字：訓(xùn)練里程達(dá) 4 億公里以上，關(guān)于這部分是否可以分享一下理想汽車目前用于訓(xùn)練的超算中心的具體情況？

郎咸朋：我們的超算中心在默默的建立，我們之所以不對外講，是因為我們希望有些東西可以保密，但是我們的算力儲備，可以說是國內(nèi)第一的。

我們對超算中心的建設(shè)是堅定的，大模型網(wǎng)絡(luò)必須要有算力儲備，我們會在合適的時間專門來說這件事。

記者:是理想汽車自己搭建的還是跟合作伙伴一起做的？

郎咸朋：這個我們都在考慮，我們之前用的是百度云和阿里云搭建的訓(xùn)練集群。

記者：我們現(xiàn)在整個網(wǎng)絡(luò)的進(jìn)度跟這些訓(xùn)練相關(guān)性是怎樣的？

郎咸朋：他們現(xiàn)在已經(jīng)完全滿足我們現(xiàn)在的訓(xùn)練要求，我們已經(jīng)有國內(nèi)第一能力的訓(xùn)練集群了。

記者：我聽說現(xiàn)在即使是 AD Pro 的方案，它回傳的圖像包括毫米波數(shù)據(jù)也可以加入到整個大模型的訓(xùn)練當(dāng)中，AD Max 車型也可以用是嗎？

郎咸朋：這是可以的。

如果再說的細(xì)節(jié)一點，因為現(xiàn)在用大模型，它對數(shù)據(jù)樣本的精準(zhǔn)標(biāo)注這部分可以減少一定的要求。

像原來一般情況下做的數(shù)據(jù)訓(xùn)練，因為數(shù)據(jù)量少所以需要對每張圖的標(biāo)注都精雕細(xì)琢。所以基于大量的數(shù)據(jù)樣本速度就會提升的非常快。

基于一個大模型做主干，加上幾個小的模型做微調(diào)，會對整體能力起到非常好的效果，這其中一個大模型是關(guān)鍵。

舉個例子，這就像是我們考數(shù)學(xué)，是需要多積累數(shù)學(xué)知識提升能力的，到了臨考試時再刷兩套真題，這樣的話我的考試成績就會非常好，但是你永遠(yuǎn)刷題，能力無法提升也不行。

記者：北京馬上要開始進(jìn)行「早鳥測試」，那針對普通用戶參與「早鳥測試」的規(guī)則已經(jīng)定好了么？

趙哲倫：這部分目前已經(jīng)有一些初步的計劃，基本上在前期我們還是會篩選之前在高速 NOA 場景下使用頻率相對高的，我們需要的客戶最核心的要素是確實喜歡使用智能駕駛功能，并且使用的頻率會比較高。

在前期對這套系統(tǒng)要有比較高的包容性和理解能力。

我們現(xiàn)在在云端做自動化標(biāo)注，標(biāo)注效率很高，實際上靜態(tài) BEV 和動態(tài) BEV 的結(jié)果超出我們的預(yù)期，對于下游規(guī)劃算法做的非常友好，這也是我們能把一切提前的核心原因，確實是效率會提高。

記者：您剛剛說的時候提到了基于視覺進(jìn)行智能駕駛輔助功能相關(guān)的部署研發(fā)，昨天華為說的是基于感知，激光雷達(dá)長期來看是什么樣的地位？會是保底選擇還是參與很多核心的感知？

郎咸朋：我覺得分兩個問題回答：一個是對激光雷達(dá)的看法；一個 Occupancy 占用網(wǎng)絡(luò)的問題。

先說一下 Occupancy 占用網(wǎng)絡(luò)，現(xiàn)在做 Occupancy 樣本時，我們會用到激光雷達(dá)，它來給我們提供 4D 的樣本，這是 Occupancy 的輸入，也用了激光雷達(dá)。

在使用 Occupancy 占用網(wǎng)絡(luò)時，我們希望它能做到純識別感知的能力，這是我們正在探索或正在做的。

對于激光雷達(dá)來說，一是激光雷達(dá)對夜間安全性是一個很好的補充，另外是對我們積累的樣本和數(shù)據(jù)是很好的傳感器。

趙哲倫：我補充一點，當(dāng)車子開過去之后的后像場景，門關(guān)起來之后依然在變化，如果是前像的話，過去就沒了。

記者：我想問一下，未來幾年之內(nèi)，有去掉激光雷達(dá)的計劃嗎？

郎咸朋：我們現(xiàn)在還在做測試，但現(xiàn)在不敢說去掉，還是要看研發(fā)的進(jìn)展和進(jìn)度。

記者：目前理想的車型上是否有搭載 4D 毫米波雷達(dá)？

郎咸朋：已經(jīng)搭載了，沒有對外因為我們在做 4D 毫米波雷達(dá)的驗證，現(xiàn)在雖然是 4D 毫米波雷達(dá)，但更多還是應(yīng)用于普通雷達(dá)的能力。

因為 4D 毫米波雷達(dá)比較新，我們需要更完整的驗證之后，才能確定它的特點和特性是不是可以發(fā)揮出來像它說的那么好。

記者：目前 4D 毫米波雷達(dá)是搭載在哪些車型上？

郎咸朋：在理想 L7 Pro 車型上。

記者：我想問一下，咱們年底要開放 100 個城市的 NOA，在城市方面怎么做配合？還是說嘗試有些城市不做當(dāng)?shù)氐臏y試直接開放？怎么判斷普及策略？

郎咸朋：這是一個很好的問題，我們認(rèn)為要做就做第一。

第一，因為理想汽車的城市 NOA 不依賴于高精地圖，從理論上來講只要有導(dǎo)航的地方，我們其實就可以覆蓋。所以哪怕 200 城、300 城也有可能。

第二，關(guān)于測試的部分，我們現(xiàn)在測試的手段還是拿自己的測試車去實驗，我們現(xiàn)在搭建的「波塞冬」訓(xùn)練平臺，做影子測試驗證的一些手段，可以幫我們進(jìn)行驗證，而不是用自己的測試車去做驗證，這個速度會非?？?。

記者：現(xiàn)在的測試方式是不是一個城市當(dāng)中有足夠的車主數(shù)量并且有足夠高的 NOA 層級，我們從理論上就可以認(rèn)為這個城市具備開放的條件？

郎咸朋：大的邏輯是這樣的，但是可能不用非開著輔助駕駛，人開著也是可以的。

因為背后有影子模式這種機制。

趙哲倫：這將會非常高效的輔助我們?nèi)ラ_放城市 NOA，但實際上我們在當(dāng)?shù)剡€會做一些范化性的驗證。

記者：因為城市 NOA 的技術(shù)難度要比高速 NOA 會更大一點，我個人感受理想在輔助駕駛方面相對比較保守。

理想的城市 NOA 還會和之前一樣保守嗎？

郎咸朋：我認(rèn)為保守和激進(jìn)應(yīng)該是在產(chǎn)品的表現(xiàn)和產(chǎn)品體驗上的一些感受。

首先是要符合我們產(chǎn)品定義。

其次從技術(shù)上來說，我們在技術(shù)領(lǐng)域并不是保守派，大家也能看到我們在過去五年默默積累的這些技術(shù)。

比如，從 BEV 網(wǎng)絡(luò)技術(shù)點上我們是領(lǐng)先的，至于產(chǎn)品策略表現(xiàn)什么形式，這和我們產(chǎn)品的功能設(shè)計相關(guān)。

趙哲倫：這確實是很難被理解的問題，因為從我們的保有量級別來說，AI 大部分就是招回率和準(zhǔn)確率的取舍。

如果我們變道策略做的非常激進(jìn)，但因為我們用戶量級每天可以到幾十萬公里，在這樣的大用戶量級里，這個變道的風(fēng)險率，不是說它會出事，但它的風(fēng)險率一定會提升。

所以我們把變道整體的策略變得相對更保守，對整體安全性和穩(wěn)定性會更有幫助。

我們基于大用戶量級去考慮問題的時候，會考慮最極端的情況，但回到媒體端的測試，大家會覺得為什么你很保守？

因為大家大部分日常使用是沒有問題的，但在很極端的情況下，我們的策略會對整體系統(tǒng)的安全性有很大的幫助。

因為我們整體還是希望能把這個東西做到標(biāo)配，做到更多用戶能使用，跟極客的策略還是不一樣的，所以我們整體上還會把它做到普通用戶也能使用和適應(yīng)，能應(yīng)對更多的極端場景。

記者：那之后會不會有本地部署，學(xué)習(xí)性的？

趙哲倫：目前倒還沒有討論，目前還是做通用的「司機」。

記者：對于國外的道路功能會如何？比如說我買個車在國外開？

趙哲倫：目前從算法上完全沒有問題。但什么時候出海還是跟隨整體車型出海的計劃去定，算法上是沒有問題的。

記者：我覺得現(xiàn)在不夠熟悉智能駕駛的用戶，并不知道邊界和極限在哪里，特別是用戶量增大以后。我現(xiàn)在是根據(jù)經(jīng)驗來去判斷該不該接管他，什么時候能夠放心？

趙哲倫：如果是可預(yù)期的風(fēng)險，內(nèi)部在做策略的話，規(guī)劃算法承接最后的整體控制。

在識別到橫向或縱向控制已經(jīng)難以確保安全性，比如意識到需要很大的力把方向拽回來，我們會提前向駕駛員預(yù)警，這種情況是有的。

包括有時他發(fā)現(xiàn)需要很強的急剎，但系統(tǒng)制動力沒法達(dá)到及時性那么高的情況下，車輛就會提前預(yù)警。

總體來說，任何系統(tǒng)失常的情況，無論是縱向還是橫向，都會提前發(fā)出報警，因為你已經(jīng)是老用戶了，其實你的預(yù)判比它會更早一些。

比方說你的預(yù)判是提前 3-4 秒會接管，但系統(tǒng)預(yù)判會是 1-2 秒時間，所以往往你會覺得車輛沒有提前告知。

記者：我每次看到彎道會提前把好，害怕車輛突然放開？

趙哲倫：你會發(fā)現(xiàn)到彎道，如果放開，一定會有很強的告警，這個我們是做了很強的邏輯。

記者：會不會考慮去放開一個層級？比如說對于熟悉用戶或者小白用戶自由選擇強度的問題？

趙哲倫：目前已經(jīng)在做策略了，最新的 OTA 4.4 會做一個邏輯，在設(shè)置上會找到提醒的簡潔模式和詳細(xì)模式，熟手用簡潔模式就可以了，出廠默認(rèn)會到詳細(xì)模式。

記者：硬件淘汰周期大概會有多久？2021 年的理想 ONE 我到現(xiàn)在都在開，智能輔助駕駛當(dāng)時用的時候還行，也在沒當(dāng)時體驗好了，Max 硬件配置至少在多長區(qū)間能跟上你們的開發(fā)節(jié)奏？

郎咸朋：我們的開發(fā)節(jié)奏跟基礎(chǔ)演進(jìn)相關(guān)聯(lián)。

去年底出了 GPT，大模型就出來了，出來之后就要用這個技術(shù)，匹配一定的算力，這就很難去評定我們是主動還是被動。

硬件研發(fā)和生產(chǎn)也是有周期的，我個人認(rèn)為這個周期三五年是要有的，最近這幾年發(fā)展比較快，我覺得硬件算力提升主要還是看軟件算法發(fā)展的快不快，如果發(fā)展的快，硬件肯定要跟著提升。

記者：我們在做線下調(diào)研的時候發(fā)現(xiàn)，媒體、廠商和用戶，對安全的定義不太一樣，我們會感覺只要剎住了，能夠避免危險的情況出現(xiàn)就是安全了。但對于用戶來說可能覺得一腳急剎，就是不安全的。如果消除這點分歧的話，這個模塊，可能會更提前的去預(yù)知危險的情況出現(xiàn)，包括提前做出預(yù)警，這個大概有沒有一個周期說在哪個節(jié)點之前？

趙哲倫：這個其實就是郎博今天分享中的預(yù)測能力，預(yù)測也是非常難的，今天郎博分享的這些東西全部都是檢測到的物理世界，這些東西全部進(jìn)入到我們的大模型中會出一個預(yù)測結(jié)果，但這些預(yù)測結(jié)果到底準(zhǔn)確不準(zhǔn)確依賴于感知準(zhǔn)不準(zhǔn)，感知不準(zhǔn)確預(yù)測結(jié)果就不準(zhǔn)，感知準(zhǔn)確預(yù)測結(jié)果就會更準(zhǔn)。

這本身是個持續(xù)提升的過程。

郎咸朋：剛才提的我們要做到剛才的能力，除了檢測識別準(zhǔn)確之外，還有一個能力就是預(yù)判準(zhǔn)確，人其實是有預(yù)判，我這個系統(tǒng)會算算命，大概 4 秒鐘、5 秒鐘之后大家會是什么樣的狀態(tài)而且比較準(zhǔn)一點。

我要知道每一個動態(tài)物體它過去、現(xiàn)在和未來的位置、速度，過去就是歷史的軌跡可以記錄，現(xiàn)在就靠當(dāng)前這一針的識別檢測，那么未來這幾秒鐘就是我剛才說的預(yù)測能力。

剛才說人的安全性、安全感，它就來自于一個預(yù)測能力，這樣預(yù)測的能力，剛才哲倫提到來自于感知能力的強依賴，今天主要分享的感知能力，動態(tài)的，靜態(tài)的以及你不認(rèn)識的一些東西也做出來了，相當(dāng)于那地方有個黑乎乎的東西，雖然我不知道是什么，但我知道我不能壓上去或者直接開過去。

像這樣的一些東西，我都要把它全部實時的感知出來，并且有準(zhǔn)確的預(yù)測，這個預(yù)測你們也可以看，別的家都沒有放過預(yù)測的東西，很少或者沒有，我們把預(yù)測線都顯示出來了，這個視頻有機會可以發(fā)給大家。

其實每個物體包括行人、車輛、三輪車，它在未來幾秒鐘要去哪，軌跡怎么走，速度是什么樣的，在我們的大模型里都可以輸出出來，而這再進(jìn)一步就是，我能不能更好、更安全的做一些安全的東西，這就是我們產(chǎn)品力會慢慢的提升。但是，在時間點上，我們只能說盡快。

記者：昨天這個問題我也問過華為，他們說激光雷達(dá)是差不多，大家認(rèn)為是 2025 年就可以，但我感覺這個難度還是遠(yuǎn)超預(yù)期？

趙哲倫：這主要取決于一些場景，比如路口的掉頭特別是窄路，左邊車道的車會先向右邊打一把再轉(zhuǎn)向左邊，去進(jìn)行一個大掉頭，針對類似行為的預(yù)測就會比較困難，預(yù)測也分難易等級，通常道路上大部分情況我們認(rèn)為比較快的都能達(dá)到。

但再往后可能用戶的行為或者他的行動跟大量的數(shù)據(jù)是非預(yù)期的，這到后面比較長尾的問題就需要解決。

郎咸朋：預(yù)測還是非常難的，特別是一個人他向前加速突然又急剎車向后轉(zhuǎn)，你完全無法預(yù)測 3 秒鐘或者 5 秒鐘之后是什么樣的，但我們只能說盡量的準(zhǔn)確預(yù)測。

同時，我們盡量預(yù)測的快一點，即使調(diào)整我們也可以實時跟著變，這兩個要素，一個要準(zhǔn)一個要快，都是我們要完成的。

記者：我們每進(jìn)入一個城市，有沒有它的硬性指標(biāo)，比如說需要有多少輛高配車型，在一個城市內(nèi)跑多少公里，然后這個城市已經(jīng)決定開放了，目前這個可以公布嗎？

趙哲倫：開放的基本邏輯和順序和當(dāng)?shù)氐谋Ｓ辛肯嚓P(guān)，100 多座城市覆蓋保有量已經(jīng) 90% 以上了。

郎咸朋：我們跟別人不一樣，別人是按照城市來開放，按照行政區(qū)劃分來開放，因為要依賴于地圖的開放。我們開放的邏輯是數(shù)據(jù)驅(qū)動的邏輯，這個城市的車多、里程多，在里面測試的相對多一些，這個城市的數(shù)據(jù)量大、需求量大，那這個城市就更早的容易被開放出來，是這樣的邏輯。

記者：所以就核心標(biāo)準(zhǔn)是數(shù)據(jù)，比如說一個城市大概積累多少數(shù)據(jù)？

趙哲倫：我們會評估當(dāng)?shù)赜脩粼趶?fù)雜路口的覆蓋率，因為復(fù)雜路口的訓(xùn)練量級是比較重要的，數(shù)據(jù)的體量我們還是要稍微保密一下，后面有機會會同步給大家。

記者：現(xiàn)在對于變道超車邏輯看起來相對保守，這是因為家庭用戶的車型定位還是大車應(yīng)該減少頻繁的操作？從尺寸角度來說，我們要跟其他車企做智能輔助駕駛區(qū)別開，另外還有分層的問題，我們以后會跟交付一樣單獨開通一個機器模式和標(biāo)準(zhǔn)模式嗎？到底是因為定位問題還是尺寸問題？

趙哲倫：首先是變道策略比較保守，在比較狹小的空間里或者說后車有比較高速的侵入趨勢時，是不是能進(jìn)行變道？

這部分跟定位是有關(guān)系的，我們面對的用戶跟其他品牌有些不同，有大量的是比較普通的，甚至是從原來豪華車置換的用戶，本身甚至連 LCC 這樣的功能都沒使用過，所以用到 NOA 這樣的功能，我們希望整體上相對來說更偏向于安全，或者是保守一些，是這樣的策略。

另外，從車身尺寸的角度來說，我們在做任何輔助駕駛功能時都比其他車型困難一些。

舉個例子，比如特斯拉 Model3 感覺并不會很明顯，因為本身車寬比較窄，但因為我們車寬都超過兩米，車道中稍微有些靠左或右，用戶會非常敏感，這對整體算法的控制精準(zhǔn)度要求非常高。

目前可以看到對我們 L7、L8 和 L9 基本上具備這樣范化能力，包括后面會出相對更小的車型，我們都可以完全覆蓋，做完大的再做小的相對容易一些。

第三個是分層，目前其實前面說的我們在交付邏輯上已經(jīng)在做這部分的考慮了，目前還沒做非常嚴(yán)格的，比如說你是新手就一定不能怎么用，這個目前還沒有做。

記者：比如說是否有激進(jìn)模式跟標(biāo)準(zhǔn)模式？

趙哲倫：這個會放在后面階段做個性化，我們認(rèn)為第一階段先用一個通用的，把用戶大部分的 80% 的需求滿足好，下階段才需要 20% 比方說有人有激進(jìn)有人有保守的需求。

審核編輯 ：李倩