極目智能與世界級(jí)主機(jī)廠商合作推進(jìn)S7項(xiàng)目量產(chǎn)落地

由蓋世汽車主辦的2022中國(guó)商用車自動(dòng)駕駛-云論壇如期舉行，極目智能人工智能算法專家王雅儒博士受邀參加并發(fā)表《技術(shù)驅(qū)動(dòng)，破局商用車高階智能駕駛》主題演講，王博士從技術(shù)角度出發(fā)，分享了當(dāng)前商用車高階智能駕駛技術(shù)趨勢(shì)、關(guān)鍵感知技術(shù)，并介紹了極目智能相關(guān)技術(shù)研發(fā)成果和解決方案。

智能駕駛向上進(jìn)階趨勢(shì)漸顯，域控成為邁向高階的關(guān)鍵

據(jù)佐思汽研數(shù)據(jù)顯示，2021年中國(guó)商用車ADAS整體裝配率達(dá)17.3%，2030年裝配率將達(dá)到59%，中國(guó)作為世界交通大國(guó)，將成為體量巨大的智能駕駛市場(chǎng)。

隨著中國(guó)品牌向上突破，國(guó)內(nèi)重卡車企相繼布局高端產(chǎn)品，大量采用先進(jìn)智能駕駛技術(shù)，福田歐曼銀河、一汽解放鷹途、重汽汕德卡等諸多高端車型都配備了 L2級(jí)別及以上ADAS功能（如LKA、ACC、PACC預(yù)見(jiàn)性巡航等），高端重卡車型上的智能駕駛向上進(jìn)階趨勢(shì)漸顯。

王博士表示：“當(dāng)前分布式的智能駕駛方案已經(jīng)不能滿足高階智能駕駛需求，基于先進(jìn)環(huán)境感知技術(shù)的智能駕駛域控將成為高階智能駕駛的主流方案”。域控可將AEB、LKA、LCA、ACC、TJA、DMS、NOA、HWA等功能進(jìn)行整合，其主要優(yōu)勢(shì)在于：1）打破傳統(tǒng)ECU架構(gòu)信息孤島，實(shí)現(xiàn)多攝像頭、多傳感器互聯(lián)互通；2）實(shí)現(xiàn)更高級(jí)別自動(dòng)駕駛功能；3）提升芯片算力利用率，避免算力浪費(fèi)；4）降低CAN總線負(fù)擔(dān)，節(jié)約線束；5）顯著降低研發(fā)、維護(hù)成本，節(jié)省時(shí)間；6）構(gòu)建冗余，提升安全性及魯棒性。

高階智能駕駛的感知技術(shù)研究與突破

作為智能駕駛算法的最重要板塊，精準(zhǔn)的環(huán)境感知是實(shí)現(xiàn)高階智能駕駛的前提和基石，比如前方目標(biāo)識(shí)別、車身側(cè)視感知、后方相鄰車道目標(biāo)識(shí)別、車道線檢測(cè)、駕駛員狀態(tài)監(jiān)測(cè)等，王博士介紹了目前常規(guī)的做法及極目智能的實(shí)踐方案。

首先是算法模型設(shè)計(jì)及優(yōu)化。我們前面提到，實(shí)現(xiàn)L1-L2級(jí)智能駕駛的算力需求一般是 2T-5T，實(shí)現(xiàn) L2+級(jí)智能駕駛的算力需求一般在 20T 以內(nèi)。當(dāng)前主流的智能駕駛算法都是基于深度學(xué)習(xí)，那么如何在同等算力下實(shí)現(xiàn)更好的算法精度非?？简?yàn)技術(shù)能力。

極目智能旗下方案采用的是自主研發(fā)的JMNet深度學(xué)習(xí)網(wǎng)絡(luò)系列，這套網(wǎng)絡(luò)的優(yōu)勢(shì)是能根據(jù)不同硬件的特點(diǎn)設(shè)計(jì)最適合的網(wǎng)絡(luò)結(jié)構(gòu)，專網(wǎng)專用，充分發(fā)掘硬件性能，在同等算力條件下實(shí)現(xiàn)更好的性能，其定制的QAT量化方案可實(shí)現(xiàn)檢測(cè)量化無(wú)精度損失，非常適合在端側(cè)運(yùn)行。JMNet易訓(xùn)練、易拓展，可大幅減少訓(xùn)練時(shí)間，且具有較強(qiáng)的泛化能力，能夠靈活部署在不同算力硬件，同級(jí)別硬件性能下準(zhǔn)確性大幅領(lǐng)先。此外，極目的專利技術(shù)可針對(duì)ADAS圖像特點(diǎn)進(jìn)行計(jì)算量壓縮，實(shí)現(xiàn)檢測(cè)距離加倍。

接下來(lái)算法迭代。對(duì)于智能駕駛來(lái)說(shuō)，數(shù)據(jù)是非常重要的，尤其是自動(dòng)駕駛中的長(zhǎng)尾問(wèn)題，需要采集大量的困難樣本。普通樣本的采集相對(duì)容易，真正讓算法失效的場(chǎng)景才更有價(jià)值，比如雨天夜間標(biāo)識(shí)牌反光場(chǎng)景、遠(yuǎn)處的隧道、倒地的三角錐等都是相對(duì)比較困難的場(chǎng)景。

極目智能基于海量精準(zhǔn)數(shù)據(jù)，打造了數(shù)據(jù)驅(qū)動(dòng)的算法迭代閉環(huán)，實(shí)現(xiàn)了數(shù)據(jù)驅(qū)動(dòng)算法升級(jí)。在數(shù)據(jù)采集方面我們分為四個(gè)階段：先普遍采集大量樣本，驗(yàn)證模型算法正確性，之后補(bǔ)充不均衡類別樣本，訓(xùn)練基線版本，然后根據(jù)基線版本測(cè)試結(jié)果針對(duì)典型失效場(chǎng)景進(jìn)行廣泛采集，階段長(zhǎng)期累積困難樣本，這個(gè)階段甚至需要持續(xù)數(shù)年以持續(xù)提升困難場(chǎng)景下的魯棒性。

一般來(lái)說(shuō)，行業(yè)內(nèi)普遍使用共用基礎(chǔ)網(wǎng)絡(luò)的方法節(jié)省算力，之后接多個(gè)不同的HEAD網(wǎng)絡(luò)完成不同的任務(wù)，這樣就涉及到樣本使用的問(wèn)題。不同場(chǎng)景對(duì)于樣本的要求可能不一致，比如彎道場(chǎng)景對(duì)于車道線檢測(cè)屬于困難場(chǎng)景，而對(duì)于目標(biāo)檢測(cè)來(lái)說(shuō)并不屬于困難場(chǎng)景，前者需要較多的相應(yīng)樣本以提升車道線檢測(cè)效果，這對(duì)后者來(lái)說(shuō)會(huì)降低訓(xùn)練效率甚至影響其性能。

極目智能采用跨樣本聯(lián)合訓(xùn)練的方式使用，可以更好地利用樣本，檢測(cè)、分割、車道線使用不同的樣本，不需要在同一批樣本上分別作出所有標(biāo)注可以更高效、更靈活、更方便地利用樣本。通過(guò)將多種樣本放在一個(gè)BACTH中進(jìn)行訓(xùn)練，不僅降低了對(duì)樣本的要求，避免了不同任務(wù)困難樣本不同的矛盾，也可以更好地訓(xùn)練網(wǎng)絡(luò)，提升多任務(wù)下的性能。另一方面，跨樣本的聯(lián)合訓(xùn)練在加入額外的任務(wù)時(shí)，不需要對(duì)所有原樣樣本重新進(jìn)行標(biāo)注就可以很方便地進(jìn)行訓(xùn)練，極大地提升了效率。

接下來(lái)是漏檢誤檢的問(wèn)題。L2 級(jí)智能駕駛就已涉及車輛控制，比如 AEB 自動(dòng)緊急剎車功能。我們認(rèn)為AEB 自動(dòng)緊急剎車是一個(gè)對(duì)于提升駕駛安全性非常重要、同時(shí)技術(shù)要求比較高的功能，要實(shí)現(xiàn)AEB尤其是基于單視覺(jué)的AEB功能，需要把漏檢誤檢控制到非常低的水平。為了實(shí)現(xiàn)行業(yè)最低的漏檢誤檢率，極目智能做了大量的工作，比如通過(guò)大量類人類車物的標(biāo)注和訓(xùn)練，增加類別之間的差異來(lái)降低誤檢，同時(shí)采用代價(jià)敏感矩陣來(lái)對(duì)模型進(jìn)行精細(xì)調(diào)控，進(jìn)一步降低漏檢誤檢。

測(cè)距的精準(zhǔn)度對(duì)于智能駕駛是至關(guān)重要的，它的難點(diǎn)在于檢測(cè)框容易抖動(dòng)，尤其是商用車，由于載重變化導(dǎo)致相機(jī)抖動(dòng)和高度變化，會(huì)造成測(cè)距不準(zhǔn)。為實(shí)現(xiàn)更精準(zhǔn)的測(cè)距，極目智能采用動(dòng)態(tài)補(bǔ)償技術(shù)，可以有效解決誤差問(wèn)題，同時(shí)通過(guò)金字塔圖像推理技術(shù)，實(shí)現(xiàn)多級(jí)目標(biāo)檢測(cè)，一方面可有效提升小目標(biāo)的檢測(cè)精度，另一方面構(gòu)建冗余，提升了回歸的精度，且由于目標(biāo)被放大，測(cè)距的精度也會(huì)顯著提升。

接下來(lái)是3D目標(biāo)檢測(cè)。傳統(tǒng)的2D感知結(jié)果難以體現(xiàn)物體的距離和場(chǎng)景的深度信息，而車輛等動(dòng)態(tài)目標(biāo)的3D 位姿對(duì)于實(shí)現(xiàn)高階智能駕駛中的軌跡預(yù)測(cè)、規(guī)劃控制等環(huán)節(jié)至關(guān)重要。我們簡(jiǎn)單地將目前的 3D 技術(shù)分為偽 3D、升維3D、單目 3D 等類別類。偽3D僅支持2D維度，升維3D、單目3D等可實(shí)現(xiàn)3D檢測(cè)框。升維3D可僅使用來(lái)源于相機(jī)的圖像樣本，結(jié)合相機(jī)的內(nèi)外參將2D結(jié)果升維到3D，因此幾乎能復(fù)用所有之前累積的樣本，能有效地保證量產(chǎn)產(chǎn)品的性能。單目3D、BEV等算法可通過(guò)網(wǎng)絡(luò)端到端預(yù)測(cè)目標(biāo)3D信息，包括車輛的長(zhǎng)寬高、距離、方向角等信息。Transformer也屬于BEV算法，但是它的某些特性區(qū)別于BEV算法，比如計(jì)算量大、芯片支持度低?；赥ransformer、BEV的算法優(yōu)勢(shì)在于融合難度會(huì)更低，相機(jī)的多目一致性可以做到更高。

我們認(rèn)為，基于BEV+單目3D的環(huán)境感知技術(shù)組合是未來(lái)更合理的發(fā)展方向?；贐EV算法可以提取周圍各個(gè)相機(jī)的特征，然后投影到車輛周圍規(guī)則的柵格之中，在此基礎(chǔ)上進(jìn)行推理實(shí)現(xiàn)3D的檢測(cè)以及分割。因?yàn)锽EV算法檢測(cè)大范圍區(qū)域時(shí)計(jì)算量激增，所以很難檢測(cè)較遠(yuǎn)距離的目標(biāo)，可以通過(guò)單目3D來(lái)實(shí)現(xiàn)遠(yuǎn)距離目標(biāo)檢測(cè)，然后將二者結(jié)果進(jìn)行融合，達(dá)到兼顧融合的一致性和較遠(yuǎn)的檢測(cè)距離，實(shí)現(xiàn)用較少的計(jì)算量實(shí)現(xiàn)更遠(yuǎn)的檢測(cè)距離和更高的檢測(cè)精度。

在高階智能駕駛中，車輛周視的感知通常會(huì)采用魚(yú)眼相機(jī)。在使用魚(yú)眼相機(jī)測(cè)距時(shí)，常規(guī)做法是采用矩形框進(jìn)行標(biāo)注，但由于缺少了方位角的信息，很難準(zhǔn)備判斷目標(biāo)車輛與自車的距離。為了解決這個(gè)問(wèn)題，極目智能采用了斜目標(biāo)的方案，可以對(duì)目標(biāo)進(jìn)行更好的包圍，實(shí)現(xiàn)精準(zhǔn)測(cè)距。此外我們嘗試了box監(jiān)督的實(shí)例分割，其優(yōu)勢(shì)是復(fù)用檢測(cè)樣本，無(wú)需進(jìn)行復(fù)雜的分割標(biāo)注，其也能有效提升測(cè)距精度，是一個(gè)很有潛力的研究方向。

另外，針對(duì)一般障礙物的檢測(cè)，極目智能采用自監(jiān)督的方法來(lái)實(shí)現(xiàn)單目深度估計(jì)，這樣可以不需要做過(guò)多的標(biāo)注，最主要的工作是動(dòng)態(tài)估計(jì)左右相機(jī)姿態(tài)的變化，達(dá)到更好的適應(yīng)性，更好地解決因外參的變化、形變導(dǎo)致的精度低的問(wèn)題。通過(guò)將2D光流升維到3D光流，再進(jìn)行前景目標(biāo)的提取可實(shí)現(xiàn)一般障礙物的檢測(cè)分割。

最后是 3D車道線檢測(cè)。車道線是自動(dòng)駕駛環(huán)境中最重要的靜態(tài)目標(biāo)，如果只是在圖像上進(jìn)行車道線的檢測(cè)，它僅僅是2D的車道線，如果想要將之映射到世界坐標(biāo)系，只通過(guò)外參內(nèi)參來(lái)進(jìn)行映射，在上下坡等俯仰角發(fā)生變化的場(chǎng)景下可能會(huì)產(chǎn)生內(nèi)八外八的情況。極目智能的做法是通過(guò)深度估計(jì)來(lái)校正3D車道線，使得上下坡、顛簸造成的內(nèi)八外八得到恢復(fù)，得到更加精準(zhǔn)的3D車道線。

面向量產(chǎn)，從英雄之城到世界級(jí)的中國(guó)力量

櫛風(fēng)沐雨十年路，自主科創(chuàng)楊帆遠(yuǎn)。當(dāng)前極目智能產(chǎn)品線已覆蓋L2-L4級(jí)智能駕駛，供貨30 余家乘商用主機(jī)廠，并得到頭部客戶量產(chǎn)驗(yàn)證。

回歸本質(zhì)，強(qiáng)大的“量產(chǎn)落地能力“背后是不斷謀求核心技術(shù)突破，不斷進(jìn)行10倍的技術(shù)變革而不是2倍的改良。

作為國(guó)內(nèi)少有的擁有自主感知、融合、規(guī)控全棧技術(shù)能力的國(guó)產(chǎn)智能駕駛方案供應(yīng)商，極目智能堅(jiān)持以技術(shù)為驅(qū)動(dòng)，破局高階智能駕駛基于自研的JMNet系列深度學(xué)習(xí)網(wǎng)絡(luò)，極目智能旗下產(chǎn)品核心技術(shù)指標(biāo)位列行業(yè)第一梯隊(duì)，算法性能行業(yè)領(lǐng)先，并且是唯一通過(guò)韓國(guó)KIAPI ADAS技術(shù)測(cè)試、日本AEB測(cè)試標(biāo)準(zhǔn)的中國(guó)廠商。強(qiáng)大的技術(shù)實(shí)力，讓極目智能有與國(guó)際巨頭同臺(tái)較量的底氣。

不久前，極目智能面向全球商用車市場(chǎng)推出了領(lǐng)先的多路視頻域控解決方案JIMU S7，采用大算力硬件平臺(tái)支持MOIS（Moving Off Information System）及BSIS（Blind Spot Information System）功能，并可拓展ReIS（Reversing Information System）、AVM環(huán)視感知、DMS等功能，支持L2+級(jí)智能駕駛感知需求。作為全球首批視覺(jué)MOIS及 BSIS方案，JIMU S7具備感知精度高、感知范圍廣、系統(tǒng)擴(kuò)展性強(qiáng)等優(yōu)勢(shì)。目前，極目智能已與某世界級(jí)主機(jī)廠合作推進(jìn)S7項(xiàng)目的量產(chǎn)落地。

智能駕駛是汽車智能化技術(shù)上的璀璨明珠，極目智能將堅(jiān)持技術(shù)創(chuàng)新謀求持續(xù)發(fā)展，不斷深耕技術(shù)科創(chuàng)、持續(xù)突破技術(shù)壁壘，希望通過(guò)極目人的努力，為智能駕駛的發(fā)展注入中國(guó)智慧！