AI下沉，Arm的“硬”普及與“軟”開(kāi)放

當(dāng)以5G、IoT、AI等作為主要驅(qū)動(dòng)力的第五波浪潮（fifth wave）來(lái)襲時(shí)，計(jì)算領(lǐng)域的發(fā)展重新構(gòu)建了我們的生活。

一直以來(lái)，大量的數(shù)據(jù)從邊緣流向云端，但隨著數(shù)據(jù)和設(shè)備的數(shù)量呈指數(shù)型增長(zhǎng)，把所有數(shù)據(jù)都放到云端處理變得越來(lái)越不現(xiàn)實(shí)，更不用說(shuō)安全和成本效益。

機(jī)器學(xué)習(xí)（Machine Learning，ML）向“邊緣”轉(zhuǎn)移成為必然趨勢(shì)，它將助力AI在更大范圍的普及，推進(jìn)更為多元化的應(yīng)用。從整體架構(gòu)來(lái)看，只有提升邊緣的智能性，才能解決帶寬、功耗、成本、延時(shí)、可靠性和安全性等多方面問(wèn)題。

持續(xù)拓寬ML處理器IP覆蓋

在日前的Arm Tech Symposia 2019北京站上，Arm宣布進(jìn)一步擴(kuò)充其IP組合。這些IP組合沿襲了Arm一直倡導(dǎo)的大小核理念，既有比較高端的配置（如Ethos-N57和Mali-G57），也有入門(mén)級(jí)的產(chǎn)品（如Ethos-N37和Mali-D37），目的在于將軟硬件充分結(jié)合，并充分發(fā)揮生態(tài)系統(tǒng)的力量來(lái)提升主流設(shè)備的使用體驗(yàn)。

由于消費(fèi)級(jí)設(shè)備越來(lái)越智能化，通過(guò)專(zhuān)屬的ML處理器提供額外的AI性能與效率非常有必要。

自從推出Cortex-A73后，Arm便逐步且逐代地提升性能，大幅拓寬針對(duì)ML的CPU覆蓋。計(jì)算能力不斷被推升至全新水平，直到最新一代Matterhorn內(nèi)核，預(yù)計(jì)其計(jì)算性能將提升10倍。

當(dāng)CPU和GPU面對(duì)邊緣計(jì)算更密集計(jì)算、更復(fù)雜任務(wù)、更高效需求等顯現(xiàn)出一定的匱乏時(shí)，NPU將派上用場(chǎng)。

繼定位于高端設(shè)備的Ethos-N77發(fā)布后，此次，Ethos NPU家族又添Ethos-N57與Ethos-N37兩位新成員，將ML處理器延伸到主流市場(chǎng)。全新的Ethos對(duì)成本與電池壽命最為敏感的設(shè)計(jì)進(jìn)行了優(yōu)化，可以為日常生活設(shè)備帶來(lái)優(yōu)質(zhì)的AI體驗(yàn)。

Ethos-N57與Ethos-N37的設(shè)計(jì)理念包括：

針對(duì)Int8與Int16數(shù)據(jù)類(lèi)型的支持性進(jìn)行優(yōu)化；
先進(jìn)的數(shù)據(jù)管理技術(shù)，以減少數(shù)據(jù)的移動(dòng)與相關(guān)的耗電；
通過(guò)如創(chuàng)新的Winograd技術(shù)的落地，使性能比其他NPU提升超過(guò)200%。

Ethos-N57旨在提供平衡的ML性能與功耗效率，能夠針對(duì)每秒2兆次運(yùn)算次數(shù)的性能范圍進(jìn)行優(yōu)化；Ethos-N37則為了提供面積最小的ML推理處理器(小于1平方毫米)而設(shè)計(jì)，能夠針對(duì)每秒1兆次運(yùn)算次數(shù)的性能范圍進(jìn)行優(yōu)化。

Arm在ML內(nèi)核方面主要關(guān)注數(shù)據(jù)管理，在設(shè)計(jì)中更多地注入了智能數(shù)據(jù)管理的功能和理念，例如數(shù)據(jù)敏感型的壓縮技術(shù)、高密度剪枝和稀疏功能等。

Mali-G57：為主流市場(chǎng)帶來(lái)智能與沉浸式體驗(yàn)的GPU

同時(shí)推出的還有將優(yōu)質(zhì)智能與沉浸式體驗(yàn)帶到主流市場(chǎng)的Mali-G57，是第一個(gè)基于Valhall架構(gòu)的主流GPU。主要針對(duì)移動(dòng)市場(chǎng)中最大的一部分應(yīng)用，包括高保真游戲、媲美電玩主機(jī)的移動(dòng)設(shè)備圖型效果、DTV的4K/8K用戶(hù)接口，以及更為復(fù)雜的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的負(fù)荷等。

Mali-G57關(guān)鍵功能包括：

與Mali-G52相比，各種內(nèi)容都能達(dá)到1.3倍的性能密度；
能效比提升30%，電池壽命更長(zhǎng)；
針對(duì)VR提供注視點(diǎn)渲染支持，且設(shè)備ML性能提升60%，以便進(jìn)行更復(fù)雜的XR實(shí)境應(yīng)用。

Mali-D37：Arm單位面積效率最高的處理器

Mali-D37是一個(gè)在最小的可能面積上包含豐富顯示與性能的DPU。對(duì)于終端用戶(hù)而言，這意味著當(dāng)面積成為首要考慮，在例如入門(mén)級(jí)智能手機(jī)、平板電腦與分辨率在2K以?xún)?nèi)的小顯示屏等成本較低的設(shè)備上，會(huì)有更佳的視覺(jué)效果與性能。

Mali-D37關(guān)鍵功能包括：
單位面積效率高，DPU在支持全高清（Full HD）與2K分辨率的組態(tài)下，16nm制程的面積將小于1 mm²；
通過(guò)減少GPU核心顯示工作以及包括MMU-600等內(nèi)存管理功能，系統(tǒng)電力最高可節(jié)省30%；
從高階的Mali-D71保留關(guān)鍵的顯示功能，包括與Assertive Display 5結(jié)合使用后，可混合顯示高動(dòng)態(tài)對(duì)比(HDR)與標(biāo)準(zhǔn)動(dòng)態(tài)對(duì)比(SDR)的合成內(nèi)容。

ML選擇通用還是專(zhuān)用處理器？

是否一定需要專(zhuān)用的ML處理器？能否通過(guò)跨IP組合設(shè)計(jì)，或是對(duì)加速器進(jìn)行優(yōu)化，從而達(dá)到同樣的或類(lèi)似的性能？

對(duì)此，Arm市場(chǎng)營(yíng)銷(xiāo)副總裁Ian Smythe表示，這首先取決于是什么樣的機(jī)器學(xué)習(xí)負(fù)載，如果是關(guān)鍵字識(shí)別，確實(shí)不需要專(zhuān)門(mén)的ML處理器，只需要在Cortex-M上運(yùn)行推理引擎就可以，因?yàn)樗旧砭途哂袛?shù)據(jù)管理的能力，基本適用于一般的傳感器系統(tǒng)。但如果是更加復(fù)雜的機(jī)器學(xué)習(xí)，就要考慮工作負(fù)載的卸載問(wèn)題了，具體包括硬件方面的成本，以及編程工具的工作量等等。

Arm建議從系統(tǒng)級(jí)別出發(fā)進(jìn)行選擇，以達(dá)到降低功耗、減小芯片面積、提高效率、優(yōu)化總體設(shè)計(jì)的目的。以圖形處理任務(wù)為例，如果用GPU，它在執(zhí)行任務(wù)時(shí)會(huì)多次訪問(wèn)內(nèi)存，可能需要強(qiáng)制縮小像素，降低清晰度；但用DPU執(zhí)行同樣的任務(wù)，它會(huì)在完成任務(wù)后直接把數(shù)據(jù)發(fā)給GPU，這時(shí)GPU就無(wú)需再去訪問(wèn)內(nèi)存，相當(dāng)于把GPU的一些工作負(fù)載分配給DPU，從而能夠節(jié)約能耗和帶寬。

Arm ML事業(yè)群商業(yè)與營(yíng)銷(xiāo)副總裁Dennis Laudick強(qiáng)調(diào)，Arm的NPU屬于通用型。其實(shí)現(xiàn)在市場(chǎng)上大部分還是用Arm的CPU來(lái)處理ML工作負(fù)載，新發(fā)布的NPU是對(duì)其CPU ML性能的進(jìn)一步提升，以便提供更多的IP選擇。

現(xiàn)在的市場(chǎng)時(shí)機(jī)之下，Dennis Laudick認(rèn)為，選擇通用型處理器非常合適。就ML處理能力來(lái)看，用戶(hù)對(duì)于CPU和GPU的需求還是非常高的，同時(shí)也有一些針對(duì)NPU的需求。由于AI本身還處于非常初期的階段，選擇通用處理器是比較安全的做法，即便算法迭代非?？?，硬件還能夠有2到3年的生命周期。

開(kāi)源Arm NN——標(biāo)準(zhǔn)化前提下的定制化

此次Arm的一個(gè)重要舉措還有開(kāi)源類(lèi)神經(jīng)網(wǎng)絡(luò)開(kāi)發(fā)工具包 Arm NN，允許第三方合作伙伴進(jìn)行定制化——Arm稱(chēng)之為“允許標(biāo)準(zhǔn)化前提下的定制化”。

探究Arm這一舉動(dòng)背后的含義。

首先，當(dāng)我們真正進(jìn)入IoT時(shí)代時(shí)，不論傳感器還是其他IoT設(shè)備都是萬(wàn)億級(jí)的，客戶(hù)規(guī)模及類(lèi)型都將指數(shù)級(jí)增長(zhǎng)，Arm需要授予客戶(hù)能力，讓他們能夠根據(jù)實(shí)際需求實(shí)現(xiàn)自己指令集的定制化。

其次，可以說(shuō)市場(chǎng)上一些開(kāi)源指令集的出現(xiàn)對(duì)Arm構(gòu)成了一定的競(jìng)爭(zhēng)，Arm雖然能夠提供非常全面的指令集產(chǎn)品，但是定制化需求確實(shí)越來(lái)越強(qiáng)勁。

去年11月，F(xiàn)acebook就曾發(fā)表白皮書(shū)，要求其開(kāi)發(fā)人員在移動(dòng)設(shè)備上針對(duì)Cortex A53 SoC進(jìn)行優(yōu)化。由于不同SoC對(duì)AI加速的實(shí)施方法不同，如果是原生的軟件，可以利用SoC的加速能力；但如果是第三方軟件（Facebook就屬于第三方應(yīng)用），就很難用到這些SoC的加速能力。

類(lèi)似的案例，使Arm逐漸認(rèn)識(shí)到了有定制需求的市場(chǎng)規(guī)模。通過(guò)框架開(kāi)源，能夠允許第三方開(kāi)發(fā)人員接入，在標(biāo)準(zhǔn)的編譯訪問(wèn)、工具訪問(wèn)的情況下，只需一次開(kāi)發(fā)就可以獲得Arm全系列的硬件產(chǎn)品性能。

此外，Arm也宣布延伸與Unity的合作伙伴關(guān)系。目前，有七成VR內(nèi)容的開(kāi)發(fā)都在Unity工具鏈中發(fā)生，雙方將進(jìn)一步優(yōu)化基于Arm的SoC、CPU和GPU的性能，使開(kāi)發(fā)人員得以將更多的時(shí)間用于創(chuàng)造全新的、沉浸式的內(nèi)容。

Total Compute理念應(yīng)對(duì)未來(lái)復(fù)雜邊緣計(jì)算

應(yīng)對(duì)未來(lái)復(fù)雜邊緣計(jì)算的趨勢(shì)，不難發(fā)現(xiàn)，Arm的關(guān)注焦點(diǎn)正在從單一的產(chǎn)品演進(jìn)轉(zhuǎn)化為以應(yīng)用場(chǎng)景與體驗(yàn)為導(dǎo)向的系統(tǒng)解決方案。

全面計(jì)算（Total Compute）的理念被應(yīng)用到Arm的每一個(gè)計(jì)算要素，包括CPU、NPU、GPU、DPU，以及互連或系統(tǒng)IP等。初衷在于確保它們是由實(shí)際體驗(yàn)所驅(qū)動(dòng)，同時(shí)針對(duì)解決未來(lái)工作負(fù)荷的復(fù)雜運(yùn)算挑戰(zhàn)進(jìn)行了優(yōu)化。

硬件方面普及性不斷提升，軟件開(kāi)始一定的開(kāi)源嘗試——這是Arm對(duì)于未來(lái)計(jì)算架構(gòu)思考方式的重大轉(zhuǎn)變。

在介紹Total Compute理念的時(shí)候，Ian Smythe提到了三個(gè)因素：性能、可訪問(wèn)、安全。前兩個(gè)因素主要來(lái)自于軟硬件的協(xié)同發(fā)展，而第三個(gè)因素——安全，是一切設(shè)想得以實(shí)現(xiàn)的基礎(chǔ)。

Total Compute的安全性基于三個(gè)層次：

第一個(gè)層級(jí)是最基本的平臺(tái)級(jí)安全，涉及標(biāo)準(zhǔn)以及規(guī)則，做到合規(guī)；
第二個(gè)是處理級(jí)的安全，指的是處理器運(yùn)行的軟件線程，主要防止通過(guò)某一個(gè)處理通道發(fā)起的攻擊，屬于深度防御；
第三個(gè)是應(yīng)用級(jí)的安全，即虛擬機(jī)在云端的應(yīng)用安全。

在最基本層次的安全方面，Arm將會(huì)加強(qiáng)基本安全級(jí)別如身份驗(yàn)證、鑒權(quán)等工作，同時(shí)還有防止分支攻擊的方式。此外還有一種安全架構(gòu)叫做內(nèi)存時(shí)間延展，Arm發(fā)現(xiàn)70%的操作系統(tǒng)崩潰或錯(cuò)誤，都是因?yàn)閮?nèi)存不當(dāng)?shù)脑L問(wèn)造成的，于是和Google共同合作了Arm V8.5，來(lái)防止類(lèi)似的情況發(fā)生。

針對(duì)應(yīng)用層安全，Arm與微軟、谷歌等公司聯(lián)合進(jìn)行了安全架構(gòu)方面的研究，主要通過(guò)編程方式的改變來(lái)防范現(xiàn)在比較流行的攻擊方式。與劍橋大學(xué)共同開(kāi)發(fā)的Prototype能力架構(gòu)，能夠?qū)⒚總€(gè)應(yīng)用獨(dú)立隔離，如果黑客攻破其中一個(gè)應(yīng)用，其他不受影響。

Arm正在將創(chuàng)新的安全功能整合到Total Compute內(nèi)，以迎合客戶(hù)的各種需求。

結(jié)語(yǔ)

未來(lái)，隨著數(shù)據(jù)類(lèi)型愈發(fā)多樣，如大數(shù)據(jù)應(yīng)用、分布式存儲(chǔ)和部分邊緣計(jì)算等對(duì)多核、高能效計(jì)算提出明確需求，單個(gè)設(shè)備的計(jì)算能力固然很重要，但已不再是唯一的關(guān)注點(diǎn)，整個(gè)系統(tǒng)的計(jì)算能力更應(yīng)該被關(guān)注。

這種異構(gòu)計(jì)算需求能否為Arm及其生態(tài)發(fā)展帶來(lái)新一輪增長(zhǎng)點(diǎn)？Arm生態(tài)中的合作伙伴能否從中獲得巨大的商業(yè)價(jià)值？市場(chǎng)還需要持續(xù)的發(fā)酵和驗(yàn)證。不過(guò)，觀察他們是如何提升生態(tài)系統(tǒng)的高度，找到長(zhǎng)久盛放的辦法，可以從中得到一些答案。