車載攝像頭在ADAS HiL中的仿真方法

車輛自動駕駛包括感知、判斷和執(zhí)行，而感知是整個過程的源頭，是自動駕駛系統(tǒng)的重要模塊。在車輛行車過程中，感知系統(tǒng)會通過傳感器實時采集周邊環(huán)境的信息，相當于自動駕駛汽車的“眼睛”，幫助汽車實現(xiàn)類似于人類駕駛員一樣效果的觀察能力。感知系統(tǒng)主要由攝像頭、超聲波雷達、毫米波雷達、激光雷達（可選）等傳感器構成。攝像頭作為主要的環(huán)境感知傳感器起著非常重要的作用，可以實現(xiàn)360°全面視覺感知，彌補雷達在物體識別上的缺陷，是最接近人類視覺的傳感器。隨著自動駕駛技術的發(fā)展，要求的車載攝像頭數(shù)量越來越多，清晰度越來越高，穩(wěn)定性越來越強。

目前L2+、L3級別車輛搭載的攝像頭根據(jù)安裝位置主要分為前視攝像頭、環(huán)視攝像頭、后視攝像頭、側(cè)視攝像頭以及內(nèi)置攝像頭五種類別。在行車時，前視、側(cè)視、后視與毫米波、激光雷達共同感知融合，提供給算法模塊可行駛區(qū)域、目標障礙物等信息，實現(xiàn)ACC/ICA/NCA、AEB、LKA、TSR等功能，同時內(nèi)置攝像頭會監(jiān)控駕駛員的狀態(tài)，實現(xiàn)疲勞監(jiān)測功能；在泊車時，環(huán)視攝像頭和超聲波雷達共同感知停車位環(huán)境，實現(xiàn)APA功能。 車載攝像頭在汽車高級駕駛輔助系統(tǒng)（ADAS）中扮演著重要角色，為我們的行車安全提供了強大的支持。

那么在做ADAS HiL測試時如何實現(xiàn)Camera仿真呢？ 北匯信息提供以下兩種實現(xiàn)方案
視頻暗箱視頻暗箱是將虛擬仿真場景視頻信號連接到暗箱中的顯示器上，使用真實攝像頭對著顯示器拍攝視頻，通過同軸線纜將拍攝到的視頻信號傳輸給自動駕駛控制器，使控制器認為處于實車環(huán)境中，從而達到對ADAS控制器測試的目的。 圖2視頻暗箱方案示意圖暗箱設備主要由箱體、滑軌、顯示器、透鏡、攝像頭及相關支架、底座組成。視頻暗箱不需要主機廠或者Tire1提供圖像采集模塊與圖像處理模塊之間的通信協(xié)議，其采用真實的攝像頭，這種方式容易實現(xiàn)、成本較低，但是需要根據(jù)顯示器的大小，精確的設定攝像頭的擺放位置和角度，易受光線和顯示器的影響，同時顯示器的頻率有可能會造成圖像識別的延遲。此方案適用于單目攝像頭，并且攝像頭視場角要小于120°（環(huán)視攝像頭無法使用此方案），視頻暗箱設備較大，一個暗箱只支持一路攝像頭，精度也較低。 圖3視頻暗箱整體結(jié)構

攝像頭標定分兩部分，首先是硬件設備位置標定，保持攝像頭、透鏡、顯示器中心在一條水平線上；其次要在仿真場景中對拍攝到的車道線進行標定。 視頻注入視頻注入系統(tǒng)可用于攝像頭原始數(shù)據(jù)流視頻注入，使用VX1161視頻回灌硬件對ADAS系統(tǒng)的車載攝像頭傳感器進行替換。攝像頭仿真設備通過HDMI/DVI接口接收虛擬仿真場景不同Camera視角的視頻信號，內(nèi)部進行圖像處理后以特定協(xié)議的視頻信號注入給ADAS控制器。

圖4視頻注入方案示意圖視頻注入技術不受光線的影響，仿真精度高，支持在線調(diào)節(jié)攝像頭信號顏色空間（RGB，YUV，RAW等）。一個VX1161視頻回灌硬件同時支持多路攝像頭仿真，設備體積較小，在仿真多路攝像頭信號時，各通道視頻信號可通過串行器來同步信號觸發(fā)，適用于多目攝像頭、多通道注入。視頻注入需要特定的視頻協(xié)議信息，需要主機廠或者Tire1提供圖像采集模塊與圖像處理模塊之間的通信協(xié)議，開發(fā)存在畸變標定、色差調(diào)節(jié)等技術難點，成本較高。視頻注入系統(tǒng)支持對多種Camera安裝位置和特征進行配置（包括Resolution、Frame rate、Optics和Sensor特性等），適用于各類基于攝像頭的應用。使用DYNA4作為場景和動力學仿真軟件，視頻注入+攝像頭模型還能在仿真環(huán)境中實現(xiàn)其他鏡頭特性效果，例如屏閃、鏡頭畸變、魚眼、運動模糊等，模擬由于環(huán)境光線突變導致的攝像頭短時間曝光過度或不足、部分或全部通道增益調(diào)節(jié)錯誤、攝像頭成像噪點或圖像失真、鏡頭被雨霧或污泥遮擋導致的成像故障。

對于視頻注入方案，攝像頭仿真模型需要根據(jù)真實畸變數(shù)據(jù)、FOV、像素大小、分辨率等參數(shù)生成，但仿真模型仍與真實車載攝像頭存在細微畸變差異，需要進行標定。標定有兩種方法，方法一是獲取攝像頭模型拍攝的圖片，計算出圖片的畸變參數(shù)，修改ADAS控制器配置的攝像頭畸變參數(shù)；方法二是使用模型生成的黑白棋盤格圖像和真實攝像頭圖像比照，細微調(diào)整仿真模型的參數(shù)，以達到畸變參數(shù)一致。

ADASHiLADAS HiL中，仿真的攝像頭視頻流數(shù)據(jù)與動力學模型數(shù)據(jù)及其他傳感器數(shù)據(jù)共同傳輸給控制器，在CANoe軟件中做實驗管理，形成閉環(huán)鏈路。

1

仿真攝像頭可以模擬真實世界中的各種場景和情況，包括不同的道路條件、天氣條件和交通情況。通過模擬這些場景，可以評估控制器在各種情況下的性能和魯棒性。

2

ADAS控制器接收視頻流原始數(shù)據(jù)、激光雷達點云數(shù)據(jù)、毫米波雷達和超聲波雷達目標列表數(shù)據(jù)，評估控制器對不同傳感器數(shù)據(jù)的融合和處理能力。

3

攝像頭仿真還可以用于測試和驗證控制算法和功能。通過模擬各種場景和情況，可以驗證控制器的目標檢測、目標跟蹤、車道保持、自動緊急制動等功能的準確性和可靠性。

4

視頻流數(shù)據(jù)模擬全黑、全白、噪聲疊加、運動模糊、丟幀、延遲等故障，注入給控制器，驗證控制器功能安全機制。

總結(jié)

本文首先介紹了車載攝像頭在ADAS系統(tǒng)中的作用，重點描述了在ADAS HiL中視頻暗箱和視頻注入兩種攝像頭仿真方案的差異，最后簡要介紹了車載攝像頭仿真在ADAS HiL中的應用。
北匯信息作為Vector的技術合作伙伴，覆蓋智能駕駛系統(tǒng)MiL/HiL/ViL測試、車聯(lián)網(wǎng)測試，傳感感知測試等，為客戶提供優(yōu)質(zhì)的智駕測試解決方案、測試集成系統(tǒng)和服務，助力智能駕駛仿真測試系統(tǒng)的快速驗證和測試。