傳感器融合，挑戰(zhàn)重重！

針對多種數(shù)據(jù)類型正在探索多種方法，但現(xiàn)在說哪一種最好，或者其中任何一種是否會縮短自動駕駛汽車的上市時間還為時過早。

全自動駕駛汽車的一個關(guān)鍵策略是能夠?qū)⒍鄠€傳感器的輸入融合在一起，這對于做出安全可靠的決策至關(guān)重要，但事實證明這比最初想象的要困難得多。

有多個問題需要解決，包括如何對不同類型的數(shù)據(jù)進行分區(qū)、優(yōu)先級排序和最終組合，以及如何構(gòu)建車輛內(nèi)的處理架構(gòu)，以便車輛能夠足夠快地根據(jù)這些不同的數(shù)據(jù)類型做出決策，以避免事故。對于如何實現(xiàn)這一目標(biāo)，沒有單一的最佳實踐，這就是為什么許多汽車原始設(shè)備制造商采取截然不同的方法的原因。這也有助于解釋為什么今天道路上還沒有完全自動駕駛的車輛。

“可以通過三種主要方法來看待這個問題，” Siemens Digital Industries Software混合物理和虛擬系統(tǒng)、汽車和軍用航空副總裁 David Fritz 說道?！耙环N方法是在處理之前融合來自多個傳感源的原始數(shù)據(jù)。雖然這種方法可以降低功耗，但一個傳感器陣列的不良數(shù)據(jù)可能會污染其他傳感器的良好數(shù)據(jù)，從而導(dǎo)致不良結(jié)果。此外，大量原始數(shù)據(jù)的傳輸還帶來了帶寬、延遲和系統(tǒng)成本等其他挑戰(zhàn)?！?/p>

第二種方法是對象融合，其中每個傳感器處理數(shù)據(jù)并將其特定于傳感器的處理結(jié)果表示為對其檢測到的內(nèi)容的解釋?！斑@具有無縫集成機載傳感器結(jié)果的優(yōu)點?；A(chǔ)設(shè)施傳感器以及其他車輛上的傳感器，”弗里茨說。“這種方法的挑戰(zhàn)是對象的通用表示和標(biāo)記，以便它們可以在不同的車輛和基礎(chǔ)設(shè)施之間共享。

第三種選擇——也是我們認為從功耗、帶寬和成本角度來看最引人注目的一種——是前兩種方法的混合。在這種方法中，物體被傳感器檢測到但不被分類。在這種情況下，物體的點云被傳輸?shù)綑C載中央計算系統(tǒng)，該系統(tǒng)對來自內(nèi)部和外部不同傳感器的點云進行分類（標(biāo)記）。這顯著降低了帶寬和延遲要求，降低了傳感器的成本和負載，并允許車輛解釋或分類，

汽車生態(tài)系統(tǒng)中的討論才剛剛開始，還有很多挑戰(zhàn)需要克服。

“你需要弄清楚你擁有哪些對象，以及何時使用它們，” Arteris IP業(yè)務(wù)開發(fā)副總裁 Frank Schirrmeister 說道?！八械母袷蕉挤浅２煌Ｈ绻谘芯考す饫走_，就會發(fā)現(xiàn)一些帶有距離的時髦地圖。在相機中，它是RGB，并且有一組像素。有了熱量，還有別的東西。即使在關(guān)聯(lián)和融合所有這些內(nèi)容之前，您也需要以某種方式理解這些格式。從架構(gòu)的角度來看，這可能導(dǎo)致最需要在傳感器處或靠近傳感器處進行處理。然后，在不同位之間完成對象關(guān)聯(lián)。但你需要弄清楚細節(jié)，比如物體有多熱、物體有多遠等。這些不同傳感器的維恩圖具有一組重疊的特征，其中一些比其他傳感器更好?！?/p>

傳感器融合是一個快速創(chuàng)新的領(lǐng)域，得益于算法的不斷改進和芯片行業(yè)對 SoC 架構(gòu)的深入了解。

“傳感器融合的一個共同點是需要異構(gòu)處理方法，因為它需要結(jié)合信號處理——通常使用 DSP、專用加速器上的人工智能處理以及使用 CPU 的控制代碼，”高級工程師 Markus Willems 說。新思科技產(chǎn)品經(jīng)理?！案鶕?jù)傳感器的類型，需要支持不同的數(shù)據(jù)類型。這包括用于圖像數(shù)據(jù)的 8 位整數(shù)處理，或用于雷達處理的 32 位單精度 (SP) 浮點，而 AI 處理可能需要 bfloat16 等。在單芯片上運行不同類型的處理器需要復(fù)雜的軟件開發(fā)流程，利用優(yōu)化的 C/C++ 編譯器和函數(shù)庫，以及支持最新神經(jīng)網(wǎng)絡(luò)（包括傳感器融合中使用的變壓器）的圖形映射工具。內(nèi)存、帶寬和延遲是關(guān)鍵的設(shè)計參數(shù)，設(shè)計人員希望看到處理器仿真模型和 SoC 架構(gòu)探索工具的早期可用性，以檢查假設(shè)場景。”

雖然傳感器融合在汽車領(lǐng)域受到廣泛關(guān)注，但它對于其他市場也很有用。

Cadence Tensilica IP 小組產(chǎn)品管理組總監(jiān) Pulin Desai 表示：“我們專注于汽車領(lǐng)域，因為攝像頭、雷達中將會有圖像傳感器，或許還有激光雷達?！薄?a target="_blank">機器人應(yīng)用中還可能有圖像傳感器和 IMU?？赡苡卸鄠€圖像傳感器，并且您將融合這些東西。其他傳感器包括陀螺儀、磁力計、加速度計，這些傳感器在許多不同的領(lǐng)域以多種不同的方式使用。雖然汽車方面?zhèn)涫荜P(guān)注，但家用掃地機器人也使用相同的圖像傳感器和雷達傳感器。它可能具有與無人機非常相似的架構(gòu)。任何類型的無人駕駛車輛都具有此類傳感器?！?/p>

有大量數(shù)據(jù)流入。弄清楚在哪里處理所有數(shù)據(jù)是一個挑戰(zhàn)，部分原因是并非所有數(shù)據(jù)都采用相同的格式。

“這里存在經(jīng)典的邊緣計算情況，您需要決定如何平衡整個鏈條的處理 - 從模擬世界獲取數(shù)據(jù)的地方，到在大腦中做出決定或與駕駛員交互的地方混合使用模型，”Arteris 的 Schirrmeister 說道。“對象關(guān)聯(lián)聽起來更現(xiàn)實，但也存在各種各樣的挑戰(zhàn)。熱雷達、激光雷達和雷達都使用不同的類型來表示數(shù)據(jù)。如果您查看激光雷達，因為它本質(zhì)上是為您提供一定距離內(nèi)的點，所以這是與從相機獲得的數(shù)據(jù)完全不同類型的數(shù)據(jù)。將這些全部關(guān)聯(lián)起來當(dāng)然不是一件小事，并且可能需要大量計算。更重要的是，您還需要確定不同的項目是否彼此不一致。如果是這樣，你選擇什么？你使用一些平均值嗎？對于所有這些傳感器的組合來說絕對是一個挑戰(zhàn)?！?/p>

當(dāng)談到數(shù)據(jù)的實際融合時，西門子的弗里茨觀察了多種方法?！霸谠缙诘囊恍﹪L試中，NVIDIA 迅速起步，他們說，‘我們可以做很多人工智能的事情。當(dāng)傳感器數(shù)據(jù)傳入時，我們可以使用高端 GPU，嘗試降低其功耗，然后使用神經(jīng)網(wǎng)絡(luò)對其進行處理。”這就是幾年前我們在后備箱中安裝一個必須進行水冷卻的機架的原因。然后，激光雷達人員會說，‘我知道你不能為每臺激光雷達支付 20,000 美元，所以我們正在努力讓激光雷達更便宜。有人說，‘好吧，等一下。相機大概是35美分。我們?yōu)槭裁床环胖靡欢严鄼C并將所有這些融合在一起呢？這是幾年前開始的，采用的是一種蠻力的、幾乎是腦死亡的方法。這就是方法，“我有原始激光雷達數(shù)據(jù)。我有原始相機數(shù)據(jù)。我有雷達、激光雷達、攝像頭。我如何將所有這些放在一起？人們做了一些瘋狂的事情，比如將激光雷達數(shù)據(jù)轉(zhuǎn)換為 RGB?！拔覀冇卸鄠€幀，因為有距離信息。然后我們將通過最簡單的卷積神經(jīng)網(wǎng)絡(luò)運行它來嘗試檢測對象并對它們進行分類。這就是事情的嚴(yán)重程度。但有些人仍在嘗試這樣做。”

相比之下，特斯拉仍然主要依賴攝像頭數(shù)據(jù)。弗里茨說，這是可能的，因為立體相機的功能，甚至是單聲道相機中固定時間段內(nèi)的連續(xù)幀，使用視差來確定深度?！罢驗槿绱耍麄冋f，‘為什么我需要激光雷達？因為我沒有激光雷達，所以我沒有傳感器融合問題。它只是簡化了事情。但是假設(shè)相機上的鏡頭被水或污垢覆蓋。他們有這些問題需要擔(dān)心。在極端的另一端，如果你完全依賴激光雷達，我見過這樣的場景：你有一個人穿過街道的 2D 表示，而汽車認為這是一個真人。為什么？因為反射。激光雷達發(fā)生了各種各樣人們不知道的事情。

融合不同的數(shù)據(jù)類型還取決于存在的傳感器類型?！叭藗冋谡?wù)撛缙?、中期和晚期融合，”Cadence 的 Desai 說?！斑@一切都取決于我們的客戶和我們客戶的客戶的系統(tǒng)設(shè)計，這表明他們正在嘗試解決什么類型的問題。我們對其中一些事情是不可知的，因為立體傳感器可以進行早期融合或后期融合，因為你的圖像和數(shù)據(jù)都已經(jīng)識別了物體，并且你可以對其進行后期融合。還可能存在中間融合，這更像是系統(tǒng)供應(yīng)商選擇他們想要如何進行融合，他們想要做多少計算，信息有多強大，或者他們試圖解決什么類型的問題解決。這有多難？嗯，這取決于融合的類型?！?/p>

傳感器融合的類型

圖 1：不同的融合選項。來源：Cadence

Desai 說，另一個需要考慮的因素是何時使用它們，或者經(jīng)典 DSP 是否更合適，尤其是在人們對 AI/ML 技術(shù)高度關(guān)注的情況下?！拔覍⑽覀冞^去所做的一些事情與我們今天所做的事情進行了比較。在某些問題上，你可以通過某種確定性的方式利用人工智能實現(xiàn)非常高的成功率。例如，我們在2012年和2013年做人臉和人物檢測時，我們使用了經(jīng)典的計算機視覺算法，但當(dāng)時它們不是很準(zhǔn)確。達到準(zhǔn)確度是非常困難的。然后，當(dāng)我們轉(zhuǎn)向人工智能時，我們在人臉檢測和人物檢測方面獲得了非常強大的性能。所以現(xiàn)在有一個非常確定的情況，你會說，‘我要做人臉檢測，我可以達到人類所說的 99% 的準(zhǔn)確率，而人工智能可以給我 97% 的準(zhǔn)確率。為什么我需要玩一些不夠好的東西？我會去使用這個人工智能，因為我確切地知道它的作用，并且它提供了最好的準(zhǔn)確性。但在某些情況下，例如當(dāng)我仍在嘗試解決問題時，我需要嘗試不同的算法并在我的環(huán)境中進行操作。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續(xù)使用數(shù)字信號處理器來執(zhí)行這些算法?！蔽倚枰獓L試不同的算法并在我的環(huán)境中進行游戲。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續(xù)使用數(shù)字信號處理器來執(zhí)行這些算法。”我需要嘗試不同的算法并在我的環(huán)境中進行游戲。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續(xù)使用數(shù)字信號處理器來執(zhí)行這些算法。”

此外，很多時候，使用人工智能引擎時，進入人工智能引擎的數(shù)據(jù)必須經(jīng)過預(yù)處理，這意味著它必須采用特定的格式。

“在特定的數(shù)據(jù)類型中，你的人工智能引擎可能會說，‘我只做定點，’”德賽解釋道。“所以你可以使用可編程引擎來做到這一點。那么，一旦你把某些東西放入人工智能中，你可能就沒有太大的靈活性了。四年后，當(dāng)新事物出現(xiàn)時，你可能必須改變它。有很多不同的因素。本質(zhì)上，如果您正在做一些非常確定的事情，您就會知道您可以獲得非常高的性能率，并且您今天就知道了。你可能會說，‘今天我要引入人工智能來解決這個問題。明天，我可能還會這么做。然后，我通過使用可編程引擎來增加靈活性。或者，如果我不知道我需要使用它，那么我仍然會使用經(jīng)典算法來使用它。即使我有AI，我仍然需要做數(shù)據(jù)的預(yù)處理和后處理。

結(jié)論

隨著汽車原始設(shè)備制造商和系統(tǒng)公司將其計算架構(gòu)向傳感器融合發(fā)展，實驗將成為一項要求。

西門子的弗里茨認為，在這個進化時期，處理開發(fā)的正確方法是雇用和/或組建一些小團隊來進行大量試點項目?！翱赡苡惺畮讉€人或兩打人。例如，他們的目標(biāo)可能是到 2026 年或 2028 年在測試環(huán)境中生產(chǎn) 300 個原型?！?/p>

盡管如此，每個 OEM 目前的處境仍取決于 OEM、他們進行架構(gòu)開發(fā)的時間以及他們未來希望如何做到這一點。

“不同的原始設(shè)備制造商擁有不同水平的專業(yè)知識。有些人正試圖加強他們的團隊來解決這個問題，”弗里茨指出。“大多數(shù)原始設(shè)備制造商都有一點‘不是這里發(fā)明的’綜合癥，他們認為自己可以做到這一點，因為他們有很多聰明的人。問題是，您是否要將 ECU 從 100 個增加到 200 個，并使車輛的重量增加一倍？換句話說，他們現(xiàn)在的員工中往往沒有全面思考這個問題的人。他們的想法是，“我有一把錘子，因此這一定是一顆釘子?！比缓笏麄兙蛻K敗了?！?/p>

與大多數(shù)新技術(shù)一樣，開發(fā)人員認識到他們需要一個適合自己 CPU 的編譯器，因此他們嘗試構(gòu)建自己的編譯器。“然后他們發(fā)現(xiàn)他們認為可以做到的兩個人卻做不到，并意識到他們還需要四個人，然后，再需要一兩個人，”他說?！暗阶詈螅麄儗λ度肓巳绱硕嗟母星?，很難消滅它，而且這種情況會永遠持續(xù)下去，直到最后他們最終購買了他們需要的芯片并解雇了 100 名內(nèi)部開發(fā)人員。這種情況經(jīng)常發(fā)生，在汽車領(lǐng)域也不例外。傳感器融合是我們正在看到這種現(xiàn)象發(fā)生的幾個關(guān)鍵領(lǐng)域之一。就像這個領(lǐng)域的其他一切一樣，就像多年前發(fā)令槍響了一樣，人們開始跑步，然后意識到，‘我還沒有為這場馬拉松進行訓(xùn)練。’”