Arm推動生成式AI落地邊緣！全新Ethos-U85 AI加速器支持Transformer 架構(gòu)，性能提升四倍

電子發(fā)燒友網(wǎng)報道（文/黃晶晶）在嵌入式領(lǐng)域，邊緣與端側(cè)AI推理需求不斷增長，Arm既有Helium 技術(shù)使 CPU 能夠執(zhí)行更多計算密集型的 AI 推理算法，也有Ethos 系列 AI 加速器，以滿足更高性能和更復(fù)雜的 AI 工作負(fù)載。Ethos-U NPU系列是業(yè)界首款 AI 微加速器，英飛凌、恩智浦半導(dǎo)體、奇景光電 (Himax)、Alif Semiconductor 和 Synaptics 等領(lǐng)先企業(yè)均已推出搭載 Ethos-U 的量產(chǎn)芯片。最近，Arm發(fā)布Arm Ethos-U85 AI加速器，這款加速器在性能、算力、應(yīng)用場景方面進(jìn)一步拓展，著眼于未來幾年的邊緣AI的應(yīng)用所需。

全新Arm Ethos-U85 AI加速器

與上一代產(chǎn)品相比，Ethos-U85 性能提升四倍，能效提高 20%，它支持MAC 單元從 128 個擴(kuò)展到 2048 個（在 1GHz 時，算力實現(xiàn) 4 TOPs）。Ethos-U85 提供了相同的一致工具鏈，實現(xiàn)無縫的開發(fā)者體驗。全新 Ethos-U85 NPU 支持TensorFlow Lite 和 PyTorch 等 AI 框架。Ethos-U85可滿足于智能家居、零售、工業(yè)等新興的邊緣 AI 場景對更高性能計算的需求。

圖：Arm Ethos-U85 提供卓越的神經(jīng)網(wǎng)絡(luò)加速功能

Ethos-U85支持Transformer 架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò) (CNN) 以實現(xiàn) AI 推理。Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健Chloe Ma分析，Ethos-U85 不僅僅提供卷積神經(jīng)網(wǎng)絡(luò) (CNN) 所需的權(quán)重矩陣乘的運(yùn)算，還支持矩陣相乘，這是 Transformer 架構(gòu)網(wǎng)絡(luò)的一個基本組成部分。Ethos-U85 增加對Transformer 架構(gòu)網(wǎng)絡(luò)的支持，這是優(yōu)化大模型邊緣落地微調(diào)時間、提升模型泛化的一個關(guān)鍵特性。

馬健表示：“基于 Transformer 的模型具有優(yōu)異的泛化功能，它將更快地驅(qū)動新 AI 應(yīng)用的發(fā)展。Transformer 在視覺和生成式 AI 用例中，比如視頻理解、圖文結(jié)合，圖像增強(qiáng)與生成、圖像分類和目標(biāo)檢測等方面都極有價值。Transformer 架構(gòu)網(wǎng)絡(luò)的注意力機(jī)制容易利用并行計算來實現(xiàn)，提高硬件使用效率，使得這些模型能夠部署在計算資源有限的邊緣設(shè)備上。開發(fā)者可以通過選用針對 Transformer 架構(gòu)網(wǎng)絡(luò)優(yōu)化的設(shè)計，發(fā)掘邊緣 AI 的新機(jī)遇，使這些應(yīng)用享有更快的推理、更優(yōu)化的模型性能和可擴(kuò)展性?！?br />
Ethos-U85 不僅支持低功耗MCU的AI加速。在高性能邊緣計算系統(tǒng)中，Ethos-U85與Armv9 Cortex-A CPU相結(jié)合，為基于應(yīng)用處理器的智能物聯(lián)網(wǎng)平臺上運(yùn)行的AI任務(wù)實現(xiàn)加速。這將使 Ethos-U85 能夠在工業(yè)機(jī)器視覺、邊緣網(wǎng)關(guān)、可穿戴設(shè)備和消費(fèi)類機(jī)器人等應(yīng)用中，帶來高效能的邊緣推理。

全新Arm Corstone-320智能物聯(lián)網(wǎng)參考設(shè)計平臺

Corstone-320 包含了 Cortex-M 系列最高性能的嵌入式處理器 Cortex-M85，Ethos-U85 NPU AI 加速器以及Arm Mali-C55 ISP等，以實現(xiàn)為視覺應(yīng)用優(yōu)化的低功耗系統(tǒng)。與此前推出的Arm物聯(lián)網(wǎng)參考設(shè)計一致，Corstone-320 不僅僅提供芯片計算子系統(tǒng) IP 組合，還附帶了軟件、AI 模型庫和開發(fā)工具，以實現(xiàn)軟件的復(fù)用，同時也利用了 Arm 強(qiáng)大的生態(tài)系統(tǒng)。它還附帶了仿真 Corstone-320 完整系統(tǒng)的 Arm 虛擬硬件，以及單獨(dú)的 CPU 和 NPU 的固定虛擬平臺 (FVP) 模型，以簡化開發(fā)并加速產(chǎn)品設(shè)計，支持軟硬件并行協(xié)同開發(fā)。這種提供邊緣 AI 和智能物聯(lián)網(wǎng)計算子系統(tǒng)全套軟硬件和工具鏈的方法，使得合作伙伴能夠在一系列性能點(diǎn)上快速開發(fā)，并聚焦于打造差異化價值。

圖：Arm 助力加速邊緣 AI 設(shè)備部署進(jìn)程

馬健介紹，全新的參考設(shè)計是針對實際工作負(fù)載開發(fā)的，參考用例包括部署在智能家居中的電池供電攝像系統(tǒng)，以及在工業(yè)和零售系統(tǒng)中的低幀率網(wǎng)絡(luò)攝像頭。同時，Corstone-320 參考設(shè)計提供了有安全保證的軟硬件組合，使得在此參考設(shè)計基礎(chǔ)上開發(fā)的合作伙伴們能夠順利地通過 PSA Certified Level 2 認(rèn)證，實現(xiàn)對區(qū)域和全球安全標(biāo)準(zhǔn)的合規(guī)?？傊?，通過 Corstone-320 預(yù)先集成、預(yù)先驗證的參考設(shè)計模版，Arm 能幫助合作伙伴減少邊緣智能芯片開發(fā)的成本和時間。

基于 Arm 平臺的 AI 軟件生態(tài)系統(tǒng)

“只有 Arm 計算平臺才能提供 AI 從云到端、現(xiàn)代敏捷開發(fā)和部署流程中所需的特性和功能，實現(xiàn)基于量產(chǎn)驗證的一致架構(gòu)，并采用統(tǒng)一工具鏈完成AI 轉(zhuǎn)型?！瘪R健說道。實際上，一致性的工具鏈和平臺對于開發(fā)者而言非常重要，尤其是面對物聯(lián)網(wǎng)碎片化，加上AI功能引入的復(fù)雜性，如果缺少一個良好的生態(tài)、工具支持，將耗費(fèi)開發(fā)者大量的開發(fā)時間。

隨著邊緣 AI 的持續(xù)擴(kuò)展，簡單易用才更適于普及推廣，因此物聯(lián)網(wǎng)生態(tài)鏈上下游的芯片與系統(tǒng)供應(yīng)商、算法軟件開發(fā)者與集成商們匯聚在Arm計算平臺。目前，包括開發(fā)者、數(shù)據(jù)科學(xué)家、學(xué)術(shù)界在內(nèi)的 AI 研究開發(fā)社區(qū)，不僅持續(xù)受益于 Arm 生態(tài)系統(tǒng)與合作伙伴提供的豐富信息與知識，也圍繞 Arm 計算平臺構(gòu)建日益增長的軟件和工具生態(tài)系統(tǒng)，以及開源軟件庫和 AI 框架，以更簡化的開發(fā)流程，擴(kuò)展邊緣 AI 的部署。

圖：基于 Arm 平臺的 AI 軟件生態(tài)系統(tǒng)

馬健舉例說：“大家熟知的 PyTorch 開源 ML 框架，廣泛用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，而我們也很高興看到 PyTorch 基金會投資邊緣 AI，發(fā)布針對移動和邊緣設(shè)備推理工具包 ExecuTorch，提供了輕量級運(yùn)行時 (Runtime) 和算子注冊表，覆蓋了PyTorch生態(tài)系統(tǒng)中的各類模型。此外，由于 Arm 特有的 IP 授權(quán)許可模式和開放生態(tài)，OEM 和 ODM 可以有多種基于 Arm 架構(gòu)和計算平臺的芯片與模組選擇，更靈活地開發(fā)適于最終應(yīng)用的系統(tǒng)方案。”

小結(jié)：

隨著邊緣 AI 的持續(xù)發(fā)展，Arm 始終處于推動市場和技術(shù)進(jìn)步的核心地位，從 Cortex-M 嵌入式處理器的 Helium 矢量增強(qiáng)指令集，到 Cortex-A 應(yīng)用處理器的 SVE、SVE2、SME 對矢量和矩陣運(yùn)算的優(yōu)化，再到 Ethos-U AI 加速器，Arm 不斷豐富產(chǎn)品線并拉高性能。

馬健表示，Arm 不會止步于此。隨著大模型持續(xù)通過量化、剪枝和聚類技術(shù)來縮減優(yōu)化模型，使大模型適于在邊緣和超級終端設(shè)備部署，Arm認(rèn)為大小模型云邊端結(jié)合成為未來 AI 產(chǎn)品的重要發(fā)展趨勢，也是 AI 應(yīng)用賦能行業(yè)發(fā)展的重要方向。而 Arm 已經(jīng)為此做好準(zhǔn)備，來挑戰(zhàn)物聯(lián)網(wǎng)與大模型、多模態(tài) AI 結(jié)合的性能與效率極限。