Arm物聯(lián)網(wǎng)再發(fā)力，智能攝像頭技術(shù)升級(jí)，最新Mali-C55 ISP IP有哪些高招？

最近，Arm發(fā)布Mali-C55新一代高性能、低面積、易配置、超高清圖像處理器IP，以及相應(yīng)的軟件和工具鏈，便于開(kāi)發(fā)者使用和配置這些先進(jìn)的圖像處理能力。

據(jù)悉，瑞薩電子(Renesas)已經(jīng)率先選用了Arm的Mali-C55。搭載Mali-C55的芯片跟終端設(shè)備有望在2023年面市。

Arm為何在此時(shí)推出Mali-C55ISP IP，該IP有哪些獨(dú)特之處呢，Arm物聯(lián)網(wǎng)兼嵌入式事業(yè)部業(yè)務(wù)拓展副總裁馬健Chloe Ma向電子發(fā)燒友網(wǎng)等科技媒體做了詳細(xì)的解讀。

面向智能攝像頭的Arm Mali-C55

市場(chǎng)數(shù)據(jù)顯示，商用和消費(fèi)類(lèi)智能攝像頭市場(chǎng)規(guī)模，從2021年250億美元，有望2025 年達(dá)到450億美元。高速增長(zhǎng)的視覺(jué)應(yīng)用正在逐漸深入各行各業(yè)，包括支持高清商務(wù)視頻會(huì)議、安防/智能監(jiān)控、智慧城市，乃至電池供電的可視門(mén)鈴和智能貓眼等應(yīng)用非常廣泛。

在性能方面，Mali-C55的吞吐量高達(dá)1.2Gpix/sec，支持高達(dá)8路的多流處理。在圖像處理品質(zhì)方面，Mali-C55 不僅可以輕松處理8K高清，高達(dá)4800萬(wàn)像素分辨率，而且還顯著提高了色調(diào)映射和降噪能力。

ArmMali-C55在性能大幅度提升的同時(shí)，對(duì)面積做了深度優(yōu)化，Mali-C55僅用一半的芯片面積就實(shí)現(xiàn)了品質(zhì)和性能的提升，更適用于低功耗智能終端和邊緣應(yīng)用，也進(jìn)一步將圖像處理和AI在邊側(cè)完美結(jié)合，提升了邊緣AI的性能。

由于IP的模塊化設(shè)計(jì)，Mali-C55 更易于配置，可以支持各種畫(huà)質(zhì)、性能、能耗、面積的組合，能夠觸及更多的用例。與此同時(shí)，Mali-C55 也更易于整合，包括與ML加速器整合實(shí)現(xiàn)邊緣智能終端上本地視頻數(shù)據(jù)處理，以及通過(guò)標(biāo)準(zhǔn)的AXI和AHB接口，與現(xiàn)有的Arm Cortex-A和Cortex-M系列的CPU進(jìn)行無(wú)縫對(duì)接。

Chloe Ma分析，高可配置性方面，客戶(hù)和合作伙伴們可以根據(jù)他們的目標(biāo)應(yīng)用所需要的特性和功能對(duì)Mali-C55 以及其他芯片上的IP 做一些精準(zhǔn)配置，這樣更能實(shí)現(xiàn)低延時(shí)、低能耗、面積優(yōu)化的設(shè)計(jì)。

高可配置性的好處顯而易見(jiàn)，比如在安防監(jiān)控領(lǐng)域，室外的攝像頭成像經(jīng)常會(huì)受到光線(xiàn)、天氣和物體移動(dòng)速度等因素的影響。借助 Mali-C55 增強(qiáng)的色調(diào)映射和降噪能力，人臉和物體識(shí)別就會(huì)更加精確，并且在車(chē)輛以時(shí)速 120.7 公里的速度行駛的情況下，也能做到比較準(zhǔn)確的車(chē)牌識(shí)別。

在智能家居領(lǐng)域，可視門(mén)鈴經(jīng)常是電池供電，所以對(duì)能耗的要求特別高，Mali-C55 的低面積、低能耗特性，使智能可視門(mén)鈴產(chǎn)品更耐用，并且能夠更準(zhǔn)確地根據(jù)人臉識(shí)別的結(jié)果進(jìn)行開(kāi)鎖。

“Arm 作為智能攝像頭領(lǐng)域的領(lǐng)先 IP 提供商，我們的Cortex-A 系列CPU 基本上占據(jù)了較大的市場(chǎng)份額。未來(lái)智能攝像頭除了包含基本的CPU 之外，也會(huì)更多地使用ISP 和ML 加速器，通常我們的一些NPU 或者通用GPU、ISP 等IP 都會(huì)逐漸地在現(xiàn)有或者下一代芯片中得到應(yīng)用，用于從圖像中提取更多有用的信息。對(duì)于實(shí)現(xiàn)高效的系統(tǒng)設(shè)計(jì)而言，擁有可針對(duì)此類(lèi)活動(dòng)所需要的數(shù)據(jù)類(lèi)型和處理進(jìn)行匹配的ISP是非常重要的?！盋hloe Ma說(shuō)道。

總之，隨著智能攝像頭的應(yīng)用更加廣泛，行業(yè)朝著更高分辨率和更復(fù)雜的圖像處理方向發(fā)展，ISP 的性能也成為支持更高計(jì)算工作負(fù)載的非常關(guān)鍵的組件。Mali-C55 正是為了滿(mǎn)足這些趨勢(shì)的要求所設(shè)計(jì)的。

去年10月Arm物聯(lián)網(wǎng)全面解決方案 (Arm Total Solutions for IoT)發(fā)布，今年4月底更新。這將是Arm面向客戶(hù)應(yīng)用，簡(jiǎn)化芯片開(kāi)發(fā)，加速I(mǎi)oT產(chǎn)品設(shè)計(jì)的主要產(chǎn)品上市途徑。后續(xù)每個(gè)推出的解決方案，都會(huì)包括Arm Corstone 子系統(tǒng)的參考設(shè)計(jì)，Arm 虛擬硬件和諸如Project Cassini 和Project Centauri 的生態(tài)計(jì)劃和軟件實(shí)現(xiàn)。據(jù)介紹，最新的Mali-C55 也不例外，未來(lái)推出的智能視覺(jué)全面解決方案，將包括這款最新的Mali-C55 ISP，使機(jī)器視覺(jué)更加敏銳。

Arm在物聯(lián)網(wǎng)領(lǐng)域看到的機(jī)會(huì)

在物聯(lián)網(wǎng)領(lǐng)域，Arm將以全面解決方案 (Total Solutions for IoT) 的產(chǎn)品方式協(xié)助客戶(hù)因應(yīng)市場(chǎng)需求。Chloe Ma表示，在中國(guó)的物聯(lián)網(wǎng)領(lǐng)域，應(yīng)用都處在世界領(lǐng)先水平，比如在智能視覺(jué)方面，由于中國(guó)人口密度非常大，所以在智能安防和監(jiān)控方面對(duì)圖像處理的畫(huà)質(zhì)和性能提出更高的要求。中國(guó)是一個(gè)制造業(yè)大國(guó)，智能制造等智能產(chǎn)業(yè)都受到大力的扶持，而智能制造需要在智能語(yǔ)音、智能視覺(jué)方面得到更多應(yīng)用。同時(shí)，在零售領(lǐng)域，中國(guó)在智能化方面也處于非常領(lǐng)先的市場(chǎng)水平，如智能無(wú)人售貨柜、智能無(wú)人店，以及無(wú)接觸的智能購(gòu)物。從 Arm的角度來(lái)看，我們會(huì)與中國(guó)本土用例進(jìn)行創(chuàng)新的芯片和系統(tǒng)廠(chǎng)商、軟件廠(chǎng)商、算法廠(chǎng)商持續(xù)進(jìn)行緊密合作，推出更適用于未來(lái)趨勢(shì)和中國(guó)本土用例、本土需求的更先進(jìn)的產(chǎn)品。

具體到Arm在物聯(lián)網(wǎng)的策略有兩點(diǎn)：一是邊緣智能，未來(lái)物聯(lián)網(wǎng)市場(chǎng)的發(fā)展會(huì)從萬(wàn)物互聯(lián)到萬(wàn)物智連，智能包括智能視覺(jué)、智能聽(tīng)覺(jué)等技術(shù)，這也是Arm的解決方案投資的焦點(diǎn)。二是，Arm希望能夠在比較通用的市場(chǎng)上，如MCU、NPU市場(chǎng)，推出更先進(jìn)的產(chǎn)品，使這些通用市場(chǎng)得到性能提升，更好地支持AI、ML等工作負(fù)載。