使用 ARC VPX DSP IP 以嵌入式方案的預算實現(xiàn)高性能傳感器融合

推動傳感器融合需求的主要趨勢

傳感器融合是指組合來自多個傳感器的數(shù)據(jù)，以獲得更為完整和準確的結(jié)果。通過使用由多個傳感器提供的信息，可以實現(xiàn)更好的環(huán)境感知。拿我們?nèi)祟悂碚f，我們可以通過組合各種“傳感器”（眼睛、耳朵、鼻子、舌頭、皮膚）中收集的信息，來了解周圍的環(huán)境，從而決定如何應對各種情況。這就是一個典型的傳感器融合示例。 ? 傳感器融合需要滿足三個條件：小型化的傳感器、從傳感器產(chǎn)生的數(shù)據(jù)流中提取相關(guān)信息的復雜算法，以及在可用功耗和成本預算內(nèi)提供執(zhí)行算法所需性能的 SoC。 ? 人類身體的每個“傳感器”具有互補優(yōu)勢并提供獨特的信息，嵌入式系統(tǒng)中的傳感器也必須如此。以 ADAS 為例，雷達在不同光線和天氣條件下性能穩(wěn)健，LiDAR 可提供具有良好視角分辨率的廣闊視野，而基于攝像頭的視覺功能則可對物體實現(xiàn)快速準確的分類（圖 1）。 ?

圖 1：ADAS 系統(tǒng)中的多個不同傳感器 ?

從傳感器信號中提取有效信息，以及組合來自不同傳感器流的信息，都需要用到算法。根據(jù)應用的不同，這些算法的復雜程度可能會有很大差異，性能要求也大不相同。比如在消費類應用中，只有檢測到某個語音命令時，始終在線的智能家居設備才會醒來，但 ADAS 系統(tǒng)必須持續(xù)監(jiān)控其環(huán)境。 ?

復雜的算法需要能夠提供執(zhí)行算法所需性能的 SoC。當然，該SoC需要需要滿足可用功耗和面積的限制，因為這將在很大程度上影響企業(yè)總體盈利能力。散熱和有限的電池容量是兩個主要驅(qū)動因素，具體情況視應用而定。理想情況下，這類 SoC 完全可編程，以實現(xiàn)最大的靈活性。算法在產(chǎn)品的生命周期內(nèi)可能發(fā)生演進，傳感器在其生命周期內(nèi)可能需要不同的校準，而且非常希望在可通過軟件進行區(qū)分的情況下，對產(chǎn)品的多個版本使用相同的 SoC。 ?

傳感器融合高效實現(xiàn)的關(guān)鍵特性

如前所述，傳感器融合包含兩個主要階段：(1) 提取信息，(2) 結(jié)合信息以得出結(jié)果。這在圖 2 中加以說明。 ?

圖 2：傳感器融合處理鏈 ?

第 1 階段也可以稱為傳感器融合的前端。根據(jù)傳感器和感興趣的信息，應用不同的數(shù)字信號處理算法。對于語音，這可能是計算梅爾頻率倒譜系數(shù) (MFCC)，應用傅里葉變換和其它各種 DSP 操作，從語音信號提取頻譜特征。數(shù)據(jù)將以整數(shù)格式，很可能以 16 位表示。 ?

對于攝像頭，它是具有圖像縮放、色彩空間轉(zhuǎn)換、過濾或特征檢測等功能的圖像信號處理。此處數(shù)據(jù)表示為像素，數(shù)據(jù)格式為 8 比特，最多 16 比特。 ?

最后，對于雷達，此類前端處理包括范圍和速度 FFT ，以及用于閾值的恒定虛警率 (CFAR)。由于動態(tài)范圍和精度要求，數(shù)據(jù)類型為半精度或全精度浮點。 ? 第二階段是信息結(jié)合（后端處理）。要使用的算法與應用息息相關(guān)。任務包括對象檢測、識別、跟蹤以及預測?？梢詰没?AI 的機器學習算法和線性代數(shù)操作。當然，數(shù)據(jù)類型將取決于算法。 ?

由于這些特定但不同的要求，傳感器融合需要一款滿足下列關(guān)鍵要求的數(shù)字信號處理器 (DSP)。 ?

多功能性

算法和數(shù)據(jù)類型在很大程度上取決于應用。因此，DSP 架構(gòu)必須支持豐富的指令集，以便高效實現(xiàn)不同的算法，并特別關(guān)注 FFT 或線性代數(shù)等性能關(guān)鍵型操作。DSP 必須支持不同精度的整數(shù)和浮點數(shù)據(jù)類型。 ?

這種 DSP 需要成為合格的靈活計算資源，這意味著它需要能夠執(zhí)行通常與 DSP 相關(guān)聯(lián)的“經(jīng)典”過濾操作，以及機器學習和計算機視覺算法。 ?

可擴展性

為了避免一次性投資，可擴展性是關(guān)鍵。雖然對不同傳感器的要求不同，但對于不同設計的所有信號處理要求，非常希望使用相同的基準架構(gòu)，以降低系統(tǒng)集成工作，并最大限度地提高整體軟件開發(fā)效率?？蓴U展性讓設計師能夠選擇配置，從而為目標應用提供最佳 PPA。 ?

可擴展性不僅僅關(guān)乎硬件。針對特定架構(gòu)進行內(nèi)核優(yōu)化，是軟件方面的一項重大投入。重要的是，此類軟件可以在這些 SoC 上重復使用，從而能夠重復使用不同版本的 SoC（例如低端/中端/高端版本）。 ?

PPA 優(yōu)化

就性能/功耗/面積（PPA）而言，有很多方面可進行優(yōu)化。首先，性能關(guān)乎核心本身的循環(huán)效率（即執(zhí)行特定功能所需的循環(huán)次數(shù)），以及可用的處理引擎和能夠利用這些引擎的 ISA。這直接關(guān)系到對數(shù)據(jù)移動的有效支持，與數(shù)據(jù)處理并行，然后連接到一組豐富（最好是可配置的）接口。例如將加速器和外圍設備直接連接到核心，而不通過系統(tǒng)存儲器。 ?

DSP 的最大時鐘頻率體現(xiàn)出另一方面的性能。它決定 DSP 可以提供多少功率（以每秒周期為單位），但也影響物理 SoC 設計中時序收斂所需的工作量。 ? 低功耗與性能效率，以及僅在需要時喚醒某些內(nèi)核的選項直接相關(guān)（如智能家居應用中所述：等待喚醒信息）。 ?

最后，小面積對成本以及漏電有直接影響。 ?

高效的軟件開發(fā)

軟件開發(fā)必須高效，因為對于幾乎所有項目來說，大筆的投資（以及相關(guān)人員）都耗費在了軟件開發(fā)和測試上。這需要一個具有優(yōu)化編譯器的高級編程模型，以及一組豐富的庫，其中包含用于濾波、轉(zhuǎn)換（例如 FFT）、矢量數(shù)學、線性代數(shù)和機器學習的現(xiàn)成優(yōu)化內(nèi)核。當然，還需要驅(qū)動程序、DMA 處理程序、中斷處理程序等低級模塊。 ?

DesignWare? ARC? VPX DSP IP

VPX DSP IP 是 VLIW/SIMD 處理器系列，適用于從常開設備到汽車 ADAS 再到視覺、機器學習和高性能計算等廣泛的信號處理應用。圖 3 提供了概述。 ?

圖 3：DesignWare ARC VPX DSP IP 塊狀圖 ?

VPX 系列非常適合傳感器融合要求，因為它可提供可擴展性和多功能性，以實現(xiàn)最佳的 PPA 和軟件開發(fā)效率，從而提高整體生產(chǎn)效率。 ?

所有 VPX 系列產(chǎn)品均基于相同的 VLIW/SIMD 架構(gòu)?？蛻艨梢愿鶕?jù)自己的需求擴展解決方案，從 128 位到 512 位的不同矢量長度中進行選擇。 ? 除矢量長度外，客戶可以從單核、雙核或四核配置中進行選擇，多核配置已預先集成并準備好用于緩存一致性和共享的多通道 DMA。 ?

除了不同的矢量長度外，每個 VPX 內(nèi)核都高度可配置，從而可定制架構(gòu)以獲得最佳性能，同時擁有最小的面積。 ?

正如前文所解釋，根據(jù)傳感器和算法不同，需要不同的數(shù)據(jù)類型。VPX 支持的數(shù)據(jù)類型范圍廣泛，從浮點到覆蓋應用（如高分辨率雷達）所需的動態(tài)范圍，再到用于 AI 應用的小規(guī)模整數(shù)類型。 ? VPX 指令集架構(gòu) (ISA) 已調(diào)整為高效執(zhí)行關(guān)鍵信號處理內(nèi)核，例如 FFT 或矩陣操作。這避免了采用專用硬件加速器而帶來的成本開支，從而實現(xiàn)了功率和面積的節(jié)省。 ?

ISA 和微架構(gòu)（即實施不同功能單元的方式）是實現(xiàn)最佳 PPA 的關(guān)鍵要素。但是，需要一個軟件開發(fā)環(huán)境來釋放硬件的功能。VPX 配有 MetaWare 工具套件，其包括優(yōu)化 C/C++ 編譯器、模擬工具和復雜的調(diào)試環(huán)境。為了支持對 AI 日益增長的需求，MetaWare 還提供 NN SDK 和先進的圖形映射工具（支持 TensorFlow、Caffe、ONNX）。 ?

圖 4：隨 MetaWare 一起提供的庫，針對 VPX 進行了優(yōu)化 ?

VPX 系列包括為功能安全 (FuSa) 認證量身定制的 VPXxFS 變體（VPX2FS、VPX3FS 和 VPX5FS）。這些核心滿足隨機故障檢測和系統(tǒng)功能安全開發(fā)流程要求，完全符合 ASIL D ISO 26262 合規(guī)性。VPXxFS DSP 集成了硬件安全功能，例如存儲器和接口的 ECC 保護、安全監(jiān)測器和鎖步機制。一套全面的安全文檔可幫助汽車設計師獲得 ISO 26262 功能安全認證。此外，VPXxFS DSP 還提供“混合”選項，使用戶可以選擇更高ASIL D 的安全級別。 ?

總結(jié)

傳感器融合是一個快速增長的市場，已進入幾乎所有應用領域。得益于低成本傳感器的可用性，以及先進的算法，它可以在不同市場實現(xiàn)新的用戶體驗，包括智能移動設備、汽車、健康或工業(yè)控制。傳感器融合導致不同的信號處理工作負載，因為不同的傳感器需要不同的數(shù)據(jù)類型來表示數(shù)據(jù)，并且需要不同的 DSP 算法來提取與實際融合過程相關(guān)的信息。 ?

融合過程（即組合各種傳感器信息流并從中產(chǎn)生有意義的決策）在很大程度上是特定于應用程序的。要處理這些不同的工作負載，需要一個可擴展的處理器來處理不同的數(shù)據(jù)格式和性能要求，并且需要通用和可配置的架構(gòu)，包括儲存器和接口，以滿足 PPA 要求。DesignWare ARC VPX IP 系列是傳感器融合應用的理想解決方案：其矢量長度為 128 位、256 位或 512 位，可滿足各種信號處理工作負載的需求。憑借定制的指令集和專用的數(shù)學硬件引擎，它可通過無與倫比的 PPA 提供卓越的循環(huán)效率。其可變矢量長度編程模型可確保軟件可在 VPX 系列的所有產(chǎn)品之間重復使用。