利用 Renesas 的 RZ/V2 系列 MPU 加速視覺識(shí)別系統(tǒng)設(shè)計(jì)

作者：Jacob Beningo

邊緣視覺識(shí)別正成為許多產(chǎn)品的一個(gè)越來越關(guān)鍵的特性，機(jī)器學(xué)習(xí) （ML） 和人工智能 （AI） 的應(yīng)用范圍不斷擴(kuò)大。開發(fā)人員面臨的問題在于，ML/AI賦能的視覺運(yùn)行識(shí)別算法所需要的計(jì)算能力可能超出了功耗受限應(yīng)用所能提供的能力。如果需要昂貴的熱管理解決方案，則成本還會(huì)增加。

邊緣 ML/AI 的目標(biāo)是找到最優(yōu)架構(gòu)方法以平衡性能與功耗，同時(shí)提供一個(gè)強(qiáng)大的軟件生態(tài)系統(tǒng)來開發(fā)應(yīng)用程序。

基于這些考慮，本文介紹了 Renesas Electronics RZ/V2 系列微處理器單元 （MPU） 解決方案，該方案內(nèi)置 AI硬件加速器。本文探討了 MPU——而非微控制器 （MCU） 或高端圖形處理單元 （GPU）——如何解決設(shè)計(jì)人員面臨的幾個(gè)問題，本文還說明了如何利用 RZ/V2系列設(shè)計(jì)視覺識(shí)別系統(tǒng)，并提供了一些有助于順利完成該過程的“技巧與訣竅”。

RZ/V2 系列 MPU 介紹

RZ/V2 系列 MPU 解決方案為使用三核微處理器的開發(fā)人員解鎖了許多能力。RZ/V2L 系列微處理器包含兩個(gè)運(yùn)行在 1.2 GHz 的 ArmCortex-A55 處理器和一個(gè)運(yùn)行在 200 MHz 的實(shí)時(shí)微控制器內(nèi)核 （Arm? Cortex?-M33）。此外，該系列器件包含一個(gè)基于 ArmMali-G31 多媒體處理器的 GPU，具有 NEON 單指令/多數(shù)據(jù) （SIMD）指令。這三個(gè)處理核心和多媒體處理器相結(jié)合，為從事視覺識(shí)別系統(tǒng)的開發(fā)人員提供了功能全面的解決方案。

RZ/V2 系列目前有兩類 MPU，即 RZ/V2L 和 RZ/V2M 系列。RZ/V2L 有一個(gè)簡單的圖像信號(hào)處理器 （ISP）、3D圖形引擎和一個(gè)高度通用的外設(shè)集。RZ/V2M 則增加了一個(gè)高性能 ISP，支持每秒 30 幀 （fps） 的 4K 分辨率。本文重點(diǎn)介紹 RZ/V2L系列，包括 R9A07G054L23GBG 和R9A07G054L24GBG。這兩款器件的主要區(qū)別在于：R9A07G054L23GBG 采用 15 mm2456-LFBGA 封裝，而 R9A07G054L24GBG 采用 21 mm2 551-LFBGA 封裝。

RZ/V2L 系列的方框圖如圖 1 所示。除了三個(gè)處理核心外，這些 MPU 還包括 DDR3/DDR4內(nèi)存、SPI、USB、以太網(wǎng)、I2C、CAN、SCI、GPIO、模數(shù)轉(zhuǎn)換器 （ADC）等標(biāo)準(zhǔn)外設(shè)的接口。此外，這些器件包含安全功能，如安全啟動(dòng)、加密引擎和真隨機(jī)數(shù)發(fā)生器 （TRNG）。不過，該 MPU 系列的出眾之處在于其動(dòng)態(tài)可配置處理器（DRP） AI 加速器。

秘密武器——DRP-AI 加速器

DRP-AI 加速器是讓 RZ/V2L 系列 MPU 以較少的能耗和較低的溫度快速執(zhí)行視覺識(shí)別應(yīng)用的秘密武器。DRP-AI 包括兩個(gè)元件：DRP 和 AI乘法累加 （MAC），二者能通過內(nèi)部開關(guān)優(yōu)化數(shù)據(jù)流來高效處理卷積網(wǎng)絡(luò)和全組合層的操作（圖 2）。

DRP-AI 硬件專門用于執(zhí)行 AI 推理。DRP-AI 采用 Renesas開發(fā)的獨(dú)特動(dòng)態(tài)可配置技術(shù)，可提供靈活性、高速處理和高能效。此外，免費(fèi)軟件工具 DRP-AI 翻譯器可以讓用戶實(shí)施優(yōu)化的 AI 模型，迅速實(shí)現(xiàn)性能最大化。由DRP-AI 翻譯器輸出的多個(gè)可執(zhí)行文件可以放在外部存儲(chǔ)器中。然后，應(yīng)用程序可以在運(yùn)行時(shí)在多個(gè) AI 模型之間動(dòng)態(tài)切換。

DRP 可以通過動(dòng)態(tài)改變硬件配置來快速處理復(fù)雜的活動(dòng)，如圖像預(yù)處理和 AI 模型池化層。

DRP-AI 翻譯器

DRP-AI 翻譯器工具從訓(xùn)練好的 ONNX 模型生成 DRP-AI 優(yōu)化的可執(zhí)行文件，與具體 AI 框架無關(guān)。例如，開發(fā)人員可以使用PyTorch、TensorFlow 或任何其他 AI 建?？蚣埽灰茌敵?ONNX 模型即可。模型一旦訓(xùn)練完畢，就被送入 DRP-AI 翻譯器，由其生成DRP 和 AI-MAC 可執(zhí)行文件（圖 3）。

DRP-AI 翻譯器有三個(gè)主要用途：

調(diào)度 AI 模型處理的每個(gè)操作。

隱藏開銷，如計(jì)劃表中每個(gè)操作的轉(zhuǎn)換期間發(fā)生的內(nèi)存訪問時(shí)間。

優(yōu)化網(wǎng)絡(luò)圖結(jié)構(gòu)。

翻譯器自動(dòng)將 AI 模型的每個(gè)進(jìn)程分配給 AI-MAC 和 DRP，用戶無需成為硬件專家就能輕松使用DRP-AI。開發(fā)人員可通過所提供的驅(qū)動(dòng)程序進(jìn)行調(diào)用，以運(yùn)行高性能 AI 模型。此外，DRP-AI 翻譯器可持續(xù)更新以支持新開發(fā)的 AI模型，而無需改變硬件。

系統(tǒng)用例和流程

使用 RZ/V2L MPU 訓(xùn)練和部署視覺識(shí)別應(yīng)用的一般流程如圖 4所示。像平常一樣，工程師可以獲取數(shù)據(jù)集，并使用它來訓(xùn)練自己的視覺識(shí)別模型。無論嘗試識(shí)別的是貓咪、購物車中的產(chǎn)品，還是裝配線上的故障零件，他們都可以使用熟悉的AI 框架開展訓(xùn)練流程。模型訓(xùn)練完成后，就會(huì)被轉(zhuǎn)換成 ONNX 格式，并被送入 DRP-AI 翻譯器，翻譯器進(jìn)而輸出可以在 DRP-AI硬件上執(zhí)行的目標(biāo)代碼。隨后，來自攝像頭、加速計(jì)或其他傳感器的數(shù)據(jù)經(jīng)采樣后饋入可執(zhí)行文件，提供運(yùn)行推理的結(jié)果。

工程師在其設(shè)計(jì)中可以通過多種方式利用 RZ/V2L MPU（圖 5）。首先，RZ/V2L MPU 可用于獨(dú)立的設(shè)計(jì)中，RZ/V2L用作系統(tǒng)中唯一的處理器。它有三個(gè)核心和 AI 加速硬件，系統(tǒng)可以不需要額外的計(jì)算能力。

第二個(gè)用例是 RZ/V2L 用作更大系統(tǒng)中的 AI 處理器。在此用例中，RZ/V2L 運(yùn)行 AI推理，并將結(jié)果返回給另一個(gè)處理器或系統(tǒng)，后者針對(duì)該結(jié)果進(jìn)行操作。所選用例取決于多個(gè)因素，如成本、整體系統(tǒng)架構(gòu)、性能和實(shí)時(shí)響應(yīng)要求。

現(xiàn)實(shí)生活應(yīng)用示例

有許多可以部署視覺識(shí)別技術(shù)的用例。一個(gè)有趣的例子是在超市。如今，在雜貨店結(jié)賬時(shí)，員工或購物者通常會(huì)掃描購物車中的每件物品。一個(gè)有趣的用例是利用視覺識(shí)別檢測穿過傳送帶的物品，并自動(dòng)計(jì)費(fèi)。

可以使用簡單的 CMOS 攝像頭和 Renesas 的 RTK9754L23S01000BE 評(píng)估板來構(gòu)建原型（圖 6）。RZ/V2L嵌入式開發(fā)板帶有系統(tǒng)級(jí)模塊 （SOM） 和載板，便于開發(fā)人員快速啟動(dòng)和運(yùn)行。此外，開發(fā)板支持 Linux 和 DRP-AI 翻譯器等各種工具。

圖 7 中可以看到獲取圖像數(shù)據(jù)和產(chǎn)生 AI 結(jié)果所需的操作概述。在此應(yīng)用示例中，使用 CMOS 傳感器通過板載 ISP拍攝傳送帶的圖像。然后，圖像被保存到存儲(chǔ)器中并被送入 DRP-AI 引擎。最后，DRP-AI 引擎運(yùn)行推理并提供 AI結(jié)果。例如，結(jié)果可能是發(fā)現(xiàn)了香蕉或蘋果，或其他某種水果。

該結(jié)果通常伴隨一個(gè) 0 到 1 的置信度。例如，置信度 0.90 意味著 AI 確信檢測到蘋果，而置信度 0.52 可能表示 AI認(rèn)為是蘋果但不確定。將多個(gè)樣本的 AI 結(jié)果進(jìn)行平均以提高正確結(jié)果的概率，這種做法并不罕見。

最后，在此例中，檢測到的物體周圍會(huì)繪制一個(gè)方框，識(shí)別到的物體的名稱與置信度一起顯示在方框中（圖 8）。

RZ/V2L 入門技巧與訣竅

希望在 Renesas 的 RZ/V2L MPU
上開始機(jī)器學(xué)習(xí)的開發(fā)人員會(huì)發(fā)現(xiàn)，他們有很多資源可資利用。為了簡化和加快開發(fā)，開發(fā)人員應(yīng)牢記以下幾個(gè)“技巧和竅門”：

從開發(fā)板和現(xiàn)有示例開始，體驗(yàn)應(yīng)用的部署和運(yùn)行。

如果有必要執(zhí)行多個(gè)推理，則將可執(zhí)行模型保存到外部存儲(chǔ)器中，并使用 DRP-AI 功能在模型間快速切換。

查看 Renesas 的 RZ/V 嵌入式 AI MPU 網(wǎng)站上的文檔和視頻。

下載 DRP-AI 翻譯器。

下載 RZ/V2L DRP-AI 支持包。

開發(fā)人員遵循這些“技巧和竅門”，可以在開始使用時(shí)節(jié)省更多的時(shí)間并省去更多的麻煩。

結(jié)語

ML 和 AI 正在進(jìn)入許多邊緣應(yīng)用，實(shí)時(shí)識(shí)別物品的能力變得越來越重要。設(shè)計(jì)人員的困難在于找到合適的架構(gòu)，以便在邊緣執(zhí)行 AI/ML。GPU通常非常耗電，而 MCU 可能沒有足夠的計(jì)算能力。

如本文所述，配備 DRP-AI 的 Renesas RZ/V MPU 系列具備多個(gè)優(yōu)點(diǎn)，如硬件加速 AI，同時(shí)還有大量的工具鏈和原型開發(fā)支持。