紐勱科技以基于深度學(xué)習(xí)的多傳感融合方案打造量產(chǎn)級自動駕駛

作為一家最早一批拿到加州路測牌照的公司之一，紐勱科技一直低調(diào)而務(wù)實(shí)，公司以視覺為主、基于深度學(xué)習(xí)的多傳感融合方案，可以實(shí)現(xiàn)高準(zhǔn)確率（遠(yuǎn)高于常規(guī)方案）的目標(biāo)識別、跟蹤，應(yīng)用于全天候、不同天氣狀況的場景，目前已收到了L4級別自動駕駛訂單。

紐勱科技自動駕駛試驗(yàn)車

自動駕駛汽車的發(fā)展正成為社會各界關(guān)注的熱點(diǎn)，國內(nèi)外已有越多越多城市（或州）允許車輛進(jìn)行道路測試。加利福尼亞州作為美國僅有的幾個允許自動駕駛汽車路測的州之一，在技術(shù)和人才方面擁有豐富的資源，再加上該州對自動駕駛開放的態(tài)度，吸引了眾多車企及科技公司前往加州申請自動駕駛測試牌照。

據(jù)官方數(shù)據(jù)統(tǒng)計，截至2018年8月29日，加州DMV已向59個實(shí)體頒發(fā)了自動駕駛汽車路測許可證（帶駕駛員），其中包括以下：

在這59家獲得加州牌照的公司里，有我們耳熟能詳?shù)能嚻螅ù蟊?、寶馬、福特等），也有一些圍繞自動駕駛技術(shù)發(fā)展起來的科技公司（特斯拉、景馳、Pony.ai、Nuro等）。其中有一家神秘的創(chuàng)業(yè)公司——紐勱科技（Nullmax），是最早一批拿到加州牌照公司之一。

2016年底，紐勱科技創(chuàng)立于美國硅谷，總部位于上海，應(yīng)用計算機(jī)視覺、深度學(xué)習(xí)和人工智能等技術(shù)，致力于打造低成本、可靠、可量產(chǎn)的L3/L4級自動駕駛解決方案。公司CEO徐雷是美國紐約州立大學(xué)計算機(jī)博士、前特斯拉（Tesla）計算機(jī)視覺高級工程師，負(fù)責(zé)深度學(xué)習(xí)框架的搭建，算是特斯拉Autopilot團(tuán)隊的核心成員，同時也是特斯拉第一代Tesla Vison團(tuán)隊的重要成員，參與了特斯拉自動駕駛從無到有的研發(fā)和落地。他與前Tesla（特斯拉）高級供應(yīng)鏈質(zhì)量和產(chǎn)品經(jīng)理宋新雨有著相同的情懷，希望將世界領(lǐng)先的技術(shù)和經(jīng)驗(yàn)帶回中國，帶著硅谷精神一起創(chuàng)辦了紐勱科技。徐雷表示：“在特斯拉的工作經(jīng)歷讓我對自動駕駛領(lǐng)域創(chuàng)業(yè)有了自己的理解，Nullmax的一切研發(fā)都是以技術(shù)落地為目標(biāo)來進(jìn)行的，整套系統(tǒng)一切符合車規(guī)級標(biāo)準(zhǔn)并且可量產(chǎn)?！?/p>

以視覺為主的多傳感融合方案，出于藍(lán)而勝于藍(lán)

紐勱科技部分傳感器陣列

紐勱科技與特斯拉都在致力于打造低成本可量產(chǎn)的自動駕駛解決方案，與堅持 “無人車應(yīng)該丟掉激光雷達(dá)這個拐杖” 的馬斯克不同的是，Nullmax采用以視覺為主的多傳感融合方案，除了攝像頭外，還會根據(jù)具體情況使用激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)、GPS/IMU傳感器。不同場景要求的自動駕駛汽車，設(shè)計運(yùn)行范圍（ODD）也不同，Nullmax會根據(jù)具體應(yīng)用環(huán)境對方案進(jìn)行定制和調(diào)整，以傳感器部分為例：會根據(jù)實(shí)際情況配備不同類型和數(shù)量的傳感器，并調(diào)整傳感器的裝配位置。比如低速L4，一般會采用低線激光雷達(dá)+攝像頭；高速L4（Robotaxi），一般會采用多線激光雷達(dá)+攝像頭；而L3則可以不依賴激光雷達(dá)來實(shí)現(xiàn)。

Nullmax以視覺為主、基于深度學(xué)習(xí)的多傳感融合方案，可以實(shí)現(xiàn)高準(zhǔn)確率（遠(yuǎn)高于常規(guī)方案）的目標(biāo)識別、跟蹤，應(yīng)用于全天候、不同天氣狀況的場景，融合構(gòu)建世界模型、輕地圖。該融合方案主要有三層融合體系：１）同一傳感器不同算法的融合，比如針對可行駛區(qū)域，攝像頭不止用一種方法確保行駛區(qū)域安全；２）不同傳感器之間檢測結(jié)果的融合，比如攝像頭和毫米波的目標(biāo)融合；３）世界模型層面的融合，包括靜態(tài)障礙物，動態(tài)障礙物，和動態(tài)障礙物的行為預(yù)測，通過融合障礙物、可行駛區(qū)域、其他車輛軌跡做出合理決策。三層融合體系下，自動駕駛系統(tǒng)在感知過程中具有很高的準(zhǔn)確性和很快的感知速度。

中國的交通習(xí)慣與美國不同，國內(nèi)城市快速路和城市主干道的使用頻率大于高速公路。相應(yīng)的，城市工況的復(fù)雜性和多變性帶來的挑戰(zhàn)也遠(yuǎn)遠(yuǎn)大于結(jié)構(gòu)化的高速公路。另外，近距離的cut in（車輛并入）在中國非常普遍，Nullmax會根據(jù)中國特色的駕駛環(huán)境和駕駛員行為等情況對方案進(jìn)行定制和調(diào)整，產(chǎn)品會更偏向于中國本土化。

圖像ISP技術(shù)解決自動駕駛汽車識別難題

目前，視覺傳感器容易出現(xiàn)過曝和欠曝等問題，在夜晚弱光、雨雪天氣等狀況下自動駕駛汽車往往會出現(xiàn)錯誤識別，比如之前特斯拉的事故就是因?yàn)橐曈X系統(tǒng)將白色的車身與天空的顏色混淆。Nullmax是如何應(yīng)對這些視覺識別邊緣難題的？

據(jù)CEO徐雷博士介紹，“公司采用多攝像頭方案，達(dá)到車身周圍360度中遠(yuǎn)距離覆蓋。另外我們會對攝像頭進(jìn)行優(yōu)化，提升弱光等情況下的性能表現(xiàn)。然后基于這些傳感器數(shù)據(jù)，我們來實(shí)現(xiàn)目標(biāo)識別、目標(biāo)融合、跟蹤預(yù)測、構(gòu)建世界模型。我們的圖像ISP技術(shù)主要是高動態(tài)范圍圖像處理，配合攝像頭參數(shù)調(diào)優(yōu)，解決一般攝像頭方案中依賴光線、雨雪天氣或者夜晚弱光情況下性能差的問題，以應(yīng)對復(fù)雜情況?！?/p>

光線的差異會帶來圖像本質(zhì)上的變化，最直接的影響就是會損失掉很多重要信息，比如會造成發(fā)黑、過曝、完全沒有信息、顏色的灰度不對、顏色偏差以及邊緣會失真、不清楚等一系列問題，反映在后端的視覺識別算法時看到的都是跟訓(xùn)練模型不一樣的效果，出現(xiàn)信息量太少或者沒法檢測、沒法分析等，尤其是在自動駕駛，不可避免地碰到各種各樣的復(fù)雜光線的環(huán)境。隧道、迎面遠(yuǎn)光燈、夜間紅路燈等場景下，會產(chǎn)生弱光、逆光、背光等情況，視覺方案的自動駕駛一定要解決全天候的被動光學(xué)成像，也就是在各種光線環(huán)境下都能夠看得很清楚。應(yīng)用于自動駕駛汽車上的圖像ISP技術(shù)，并不是單純的3A、自動曝光以及自動白平衡，它包含了圖像算法、信號處理算法、CMOS控制器以及接口等，通過ISP技術(shù)實(shí)現(xiàn)了高動態(tài)范圍圖像處理。

Nullmax一方面通過前期的場景數(shù)據(jù)積累，為基于深度學(xué)習(xí)的計算機(jī)視覺提供了充足的訓(xùn)練數(shù)據(jù)；另一方面，擁有一套完整的數(shù)據(jù)采集、標(biāo)定、清洗的流程和能力，保證模型高效快速迭代。同時，由于視覺為主、基于深度學(xué)習(xí)的感知方案，對攝像頭的要求比較高，所以公司在攝像頭等硬件上進(jìn)行了設(shè)計優(yōu)化和參數(shù)調(diào)整，進(jìn)一步提升了視覺感知效果。

車規(guī)級標(biāo)準(zhǔn)打通落地量產(chǎn)之路

近兩年的自動駕駛行業(yè)異常熱鬧，有種“亂花漸欲迷人眼”的味道，不同公司發(fā)展策略也不盡相同，但是本質(zhì)上都面臨著落地的挑戰(zhàn)。作為最早一批拿到美國加州路測牌照的科技公司之一，Nullmax顯得低調(diào)而務(wù)實(shí)。他們目前規(guī)劃了兩條自動駕駛的落地路線：為傳統(tǒng)車企轉(zhuǎn)型賦能，為智慧城市賦能。2018年1月，紐勱公司簽訂第一筆L4級別自動駕駛訂單，正式開啟了為機(jī)場、政府等低速場景開發(fā)定制化的L4自動駕駛技術(shù)的序幕,將整套自動駕駛解決方案開始運(yùn)用到商業(yè)中。

“自動駕駛到后期會形成一個大的生態(tài)圈，不同的企業(yè)專注不同的部分，側(cè)重應(yīng)用不同的場景，解決不同的需求，基于不同的技術(shù)路線來實(shí)現(xiàn)。我們自己會更加專注，去解決我們認(rèn)為最重要的問題。同樣是L3/L4解決方案，有的公司運(yùn)行條件比較苛刻，對車輛速度和道路條件的限制很多，用戶有可能要在自動駕駛和非自動駕駛之間頻繁切換，大大降低了駕乘體驗(yàn)，而我們的方案可運(yùn)行設(shè)計范圍更廣，更針對地解決了用戶的痛點(diǎn)?！毙炖兹缡钦f。