中科慧眼推出基于華為MDC域控制器的雙目路面預(yù)瞄系統(tǒng)

隨著去年底梅賽德斯·奔馳全新一代Drive Pilot系統(tǒng)(首發(fā)搭載新一代S級轎車)獲得監(jiān)管機構(gòu)L3級(低速)自動駕駛上路許可，前置雙目立體視覺+毫米波雷達+激光雷達的配置成為焦點。

按照此前公開的數(shù)據(jù)，這套感知系統(tǒng)的選裝價格低于9500美元。其中，雙目立體視覺感知(視場角70度)由Veoneer提供，完全集成硬件和感知軟件(CNN+3D立體視覺，對車前物體進行精確分類和定位)，支持車道檢測、可行駛區(qū)域檢測、小障礙物檢測和三維物體分類。

而在前裝市場，去年開始，雙目立體視覺的搭載車型也在增加。比如，吉利旗下星越L、領(lǐng)克07/09以及極狐阿爾法S華為HI版等自主品牌新車也在陸續(xù)增加雙目立體視覺配置。

高工智能汽車研究院監(jiān)測數(shù)據(jù)顯示，2021年全年國內(nèi)新車(自主+合/獨資)標配雙目立體視覺ADAS上險量為22.4萬輛，同比上年增長13.71%。而在供應(yīng)端，除了日立、Veoneer、大陸、博世等傳統(tǒng)雙目立體視覺方案商，也有不少初創(chuàng)公司進入賽道。

比如，去年奇瑞汽車宣布與以色列視覺感知供應(yīng)商Foresight簽署商業(yè)合作備忘錄，對后者的QuadSight(四目)視覺原型系統(tǒng)進行技術(shù)評估，并尋求進一步量產(chǎn)落地的可能性。雙方還計劃考慮在中國成立合資企業(yè)在中國市場推廣解決方案。

而成立于2014年10月的中科慧眼，在國內(nèi)率先推出可量產(chǎn)車載后裝、準前裝、前裝(適用于L4級自動駕駛以及商用車)雙目立體視覺感知系統(tǒng)。去年，該公司推出的第三代立體視覺感知系統(tǒng)也獲得了多家OEM的前裝定點。

近日，中科慧眼再次實現(xiàn)技術(shù)應(yīng)用創(chuàng)新，基于華為MDC域控制器推出雙目路面預(yù)瞄系統(tǒng)，為OEM提供更高性價比，更高集成化的智能底盤預(yù)瞄與控制解決方案。“這也是業(yè)內(nèi)首次在智能駕駛域控平臺上基于AI-Engine實現(xiàn)產(chǎn)品化的可商用、可落地的雙目立體視覺解決方案?！?/p>

什么是智能底盤?半主動懸架或主動懸架系統(tǒng)就是其中一個特色配置，通過改變懸掛系統(tǒng)的高度、形狀和阻尼等，起到控制車身振動和車身高度的功能，主要能增進汽車操作穩(wěn)定性、乘坐舒適性等性能。

近年來，隨著智能汽車搭載傳感器數(shù)量以及車載計算能力的增加，智能底盤成為各大車企新的業(yè)務(wù)增長點。智能底盤通過各類觀瞄感知零部件結(jié)合線控懸掛底盤，可以實現(xiàn)車體在垂直方向上的自適應(yīng)控制，顯著提高智能駕駛車輛的行駛平順性與通過性。

中科慧眼基于雙目立體視覺的路面預(yù)瞄系統(tǒng)，可以實現(xiàn)路面狀態(tài)3D重建感知、車輪軌跡高程曲線預(yù)測，以及路面類型檢測，預(yù)先引導(dǎo)車輛的半主動懸架或主動懸架系統(tǒng)實時獨立調(diào)節(jié)各個車輪減震器阻尼的軟硬系數(shù)、車身的整體高低、以及車輛行駛的模式。

基于雙目立體視覺的路面預(yù)瞄技術(shù)系統(tǒng)是實現(xiàn)“魔毯懸掛系統(tǒng)”的關(guān)鍵感知模塊與融合決策模塊，而未來五年，這種智能懸掛系統(tǒng)有望成為30萬元以上車型的標配。這背后，還得益于大算力車載域控制器的前裝落地。

目前，大部分車載域控制器的架構(gòu)中缺少立體視覺硬件處理模塊。如何在盡量不增加整車硬件配置的前提下，實現(xiàn)基于雙目的路面預(yù)瞄系統(tǒng)，這其中將雙目立體校準與立體匹配算法部署在域控制器現(xiàn)有的計算模塊中成為關(guān)鍵點。

一直以來，雙目立體視覺的優(yōu)勢也非常明顯，通過生成三維圖像點云，為ADAS及自動駕駛感知提高安全和可靠性，并提供出色的目標檢測能力和準確性。

這對于一個攝像頭來說是很困難的，但是兩個攝像頭的立體視覺方案變得更加容易。同時，雙目不依賴模式識別，幾乎任何材料、顏色或形狀都能被探測到。

目前，傳統(tǒng)的單目視覺最大瓶頸在于天氣變化，尤其是雨霧及夜晚環(huán)境。而立體視覺是一個全類型環(huán)境識別，以目前的主流自適應(yīng)巡航ACC為例，以雙目為代表的立體視覺技術(shù)可以減少光照變化帶來的影響。

同時，雙目立體感知是一個天然融合的傳感器，它將深度學習和圖像學習進行有效糅合，以應(yīng)對所有天氣和照明條件，從而解決現(xiàn)有單目感知方案的全場景覆蓋的瓶頸。

隨著國內(nèi)包括中科慧眼、元橡科技、華為、大疆陸續(xù)發(fā)布基于雙目(立體視覺)感知的輔助駕駛/自動駕駛方案，這個一直以來僅有少數(shù)幾家外資供應(yīng)商參與研發(fā)量產(chǎn)的技術(shù)路線，正在重新成為市場的焦點。

作為國內(nèi)雙目立體視覺領(lǐng)域的領(lǐng)軍企業(yè)之一，中科慧眼公司認為，雙目相機既有圖像可以進行深度學習識別，又有點云可以進行分割與測距，融合了類激光雷達和機器視覺的綜合能力。

將立體視覺的深度點云圖和深度學習融合，也是立體視覺發(fā)展的趨勢。比如，夜間同車道、對向車道的目標檢測與測距精度都可以借助深度學習的能力得到加強。

同時，將立體視覺和深度學習結(jié)合，可以為客戶提供性價比更高、性能更強的智能視覺傳感器，構(gòu)成一個比較完備的邊緣運算模塊，直接將識別數(shù)據(jù)，3D-BOX，以及精確的測距距離信息等，輸送給域控制器直接進行AEB剎車或者自動駕駛控制。

除了與市面上主流傳統(tǒng)單目攝像頭前向感知“競爭”，雙目立體視覺+智能底盤則是另一種創(chuàng)新應(yīng)用。這意味著，雙目立體視覺感知技術(shù)可以實現(xiàn)在整車上的復(fù)用。

此前，中科慧眼和華為MDC通過聯(lián)合開發(fā)，共同推進雙目路面預(yù)瞄系統(tǒng)在華為MDC上的方案落地，為OEM提供更高性價比，更高集成化的智能底盤預(yù)瞄與控制解決方案。整套系統(tǒng)主要包含三部分，雙目成像模塊、立體匹配模塊以及功能實現(xiàn)模塊。

而一直以來，雙目立體視覺對算力要求較高。域控制器的導(dǎo)入，意味著，傳統(tǒng)依靠高成本FPGA的算力支持成為過去時。同時，獨立開發(fā)ASIC芯片也不再是剛需。

其中，華為MDC域控制中的SoC中主要包含三部分計算資源：ISP模塊主要實現(xiàn)攝像頭傳感器的成像信號處理;AI模塊實現(xiàn)感知融合的神經(jīng)網(wǎng)絡(luò)算法處理，包含cube、vector、scalar三種計算資源;CPU模塊則適合通用計算的感知融合、規(guī)劃、決策、控制等處理。

目前，華為MDC搭載昇騰SoC(集成ISP/NPU/CPU等異構(gòu)計算模塊)，支持系統(tǒng)級ASIL D功能安全，支持R-Lock高安全冗余架構(gòu)。算力覆蓋48~400 TOPS，可滿足L2+~L4級別的自動駕駛算力所需。整機能效比可達2TOPS/W。

同時，華為MDC智能駕駛計算平臺，具備組件服務(wù)化、接口標準化、開發(fā)工具化的特性，配套好用易用的工具鏈，基于此平臺可快速開發(fā)、調(diào)測、運行上層自動駕駛算法與功能應(yīng)用。

而中科慧眼的方案，就是盡量復(fù)用既有車載相機成像信號與中央域控制算力，在域控制架構(gòu)上低成本地實現(xiàn)雙目路面預(yù)瞄系統(tǒng)。其中，雙目成像模塊主要包含ISP調(diào)試、相機標定、圖像Remap，這三個模塊決定了雙目相機能夠獲取合格的左右模組成像。

將雙目相機的標定參數(shù)輸入到AI Core中，只利用了其中少量的Vector計算資源進行圖像矯正，復(fù)用MDC底層的AI算子，避免了復(fù)雜的算子部署適配及開發(fā)工作。在AI Core中實現(xiàn)圖像的矯正，也節(jié)省了不同芯片之間的帶寬消耗。

立體匹配模塊則主要包含特征匹配、代價聚合、視差計算三部分，這三部分涉及到大量的并行計算，對硬件性能以及算法的運行效率有很高的要求。

中科慧眼技術(shù)團隊通過與華為MDC專家團隊的緊密合作，根據(jù)AI-Engine的計算特性，創(chuàng)新性地設(shè)計了適配的立體匹配方案，將大量的并行運算通過MDC深度學習底層AI算子實現(xiàn)，為部署在MDC域控的AI Core上提供了算法及部署方案。

高精度立體匹配稠密視差效果。上圖為柏油路與減速帶的視差效果，以及路面三維重建的效果，視差圖顏色越藍的點，表示實際成像物體離相機系統(tǒng)的物理距離越遠。

經(jīng)過雙方的聯(lián)合研發(fā)，在只使用其中少量的Vector計算資源的前提下，就實現(xiàn)了基于華為MDC的25FPS以上的稠密高精度雙目匹配視差輸出。該方案，不僅能夠節(jié)省立體視覺方案落地的硬件成本，而且大大降低了立體視覺方案在AI平臺上的移植與升級難度，可快速投入商用。

最后，功能實現(xiàn)模塊主要包含融合感知、功能開發(fā)兩部分。立體視覺方案可以賦予計算系統(tǒng)前融合“點點對齊”的高精度視差信息與高質(zhì)量圖像信息，增加了感知結(jié)果的精確性與魯棒性。

中科慧眼借助于華為MDC強大的開發(fā)與編譯調(diào)測工具，將視差和圖像的多維感知信息作為輸入，完成路面預(yù)瞄感知功能的部署。

該融合感知模塊不僅能夠輸出高質(zhì)量的2D以及3D的綜合感知信息，而且在單AI Core中的耗時還能夠控制在10ms以內(nèi)，有效降低了整個感知功能的延時，為快速調(diào)整底盤參數(shù)提供了更寬裕的緩沖時間。

中科慧眼&華為MDC雙目路面預(yù)瞄系統(tǒng)城市道路示例，Demo展示的是城市道路減速帶的檢測與三維分析效果，展示了目標的高程曲線以及空間位置。

同時，通過華為MDC中的CPU計算能力，將根據(jù)綜合的感知信息進行功能后處理并輸出最終的功能感知信息。功能感知信息包含引導(dǎo)前后輪的獨立懸架調(diào)整以及調(diào)節(jié)減震器阻尼系數(shù)的路面高程曲線，以及引導(dǎo)懸架高度調(diào)整、制動力與動力分配的路面狀態(tài)類型等。

在高工智能汽車研究院看來，域控時代的到來，傳統(tǒng)視覺感知技術(shù)也可能會發(fā)生新的變革。尤其是軟件技術(shù)的迭代加上大算力硬件的性能加持，技術(shù)玩法也會越來越多，對于OEM來說，可選項也在增加。

原文標題：雙目立體視覺“復(fù)用”，中國企業(yè)組合首次“領(lǐng)跑”全球

文章出處：【微信公眾號：中科慧眼】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅