邊緣AI的“靈魂”，能否跟上Ta飛快腳步

邊緣計(jì)算的快速發(fā)展使得計(jì)算能力加速向邊緣遷移，AI也逐步從中心節(jié)點(diǎn)向更貼近數(shù)據(jù)源和業(yè)務(wù)現(xiàn)場(chǎng)的邊緣側(cè)拓展，邊緣與云的關(guān)系已經(jīng)呈現(xiàn)出既有分工又彼此合作的局面。在邊緣側(cè)，當(dāng)邊緣智能與邊緣計(jì)算和人工智能相結(jié)合，能有效地執(zhí)行實(shí)時(shí)、小數(shù)據(jù)的處理，開(kāi)展AI模型的推理，并將結(jié)果回傳至云端，這種“云—邊—端”協(xié)同的邊緣智能架構(gòu)，解決了目前AI應(yīng)用中存在的海量數(shù)據(jù)處理、實(shí)時(shí)響應(yīng)以及數(shù)據(jù)安全等問(wèn)題，為AI在更多行業(yè)的應(yīng)用奠定了基礎(chǔ)。

邊緣智能：拓展AI應(yīng)用邊界

邊緣人工智能 (Edge AI) 主要是指在用戶設(shè)備上處理人工智能算法。具體來(lái)講，Edge AI依靠的是設(shè)備自身的硬件來(lái)處理與機(jī)器學(xué)習(xí)和深度學(xué)習(xí)相關(guān)的數(shù)據(jù)和過(guò)程。Edge AI帶來(lái)的好處主要有3個(gè)方面：一是減少延遲以改善用戶體驗(yàn)；二是減少必要的帶寬，從而降低互聯(lián)網(wǎng)服務(wù)的成本；三是提高數(shù)據(jù)的安全性和隱私性。

IDC預(yù)測(cè)，到2025年，全球?qū)⒂?14億臺(tái)物聯(lián)網(wǎng)設(shè)備，期間將產(chǎn)生73147EB數(shù)據(jù)，其中約四分之一屬于實(shí)時(shí)生成的。要想完全在云端對(duì)這些數(shù)據(jù)進(jìn)行處理和AI分析很可能超過(guò)系統(tǒng)和通信鏈路的處理極限，再加上網(wǎng)絡(luò)帶寬、數(shù)據(jù)安全等限制，要實(shí)現(xiàn)AI向多行業(yè)的滲透，困難重重。

隨著人工智能向邊緣側(cè)的轉(zhuǎn)移，AI行業(yè)的應(yīng)用得到了極大擴(kuò)展。根據(jù)德勤的分析，現(xiàn)在的AI計(jì)算已經(jīng)在制造業(yè)、政府、零售、電信、醫(yī)療等不同應(yīng)用場(chǎng)景下獲得應(yīng)用。很顯然，邊緣智能在拓展AI邊界過(guò)程中發(fā)揮了重要作用，它能顯著提升AI針對(duì)現(xiàn)場(chǎng)多樣化業(yè)務(wù)場(chǎng)景的適應(yīng)性，從而更好地支撐業(yè)務(wù)運(yùn)營(yíng)、為客戶創(chuàng)造更多的價(jià)值。

制造業(yè)是國(guó)民經(jīng)濟(jì)的基礎(chǔ)性產(chǎn)業(yè)，同時(shí)也是推動(dòng)智能化發(fā)展最迫切的行業(yè)之一。根據(jù)IDC的預(yù)測(cè)，未來(lái)幾年，邊緣智能支出在生產(chǎn)過(guò)程智能化、智能供應(yīng)鏈與物流、數(shù)據(jù)安全與合規(guī)等應(yīng)用場(chǎng)景將保持20%以上的年均復(fù)合增長(zhǎng)率。以產(chǎn)品質(zhì)檢為例，傳統(tǒng)的產(chǎn)品質(zhì)檢主要依靠人工目視或傳統(tǒng)的基于模式匹配技術(shù)的機(jī)器視覺(jué)，漏檢、誤檢率高。采用Edge AI技術(shù)后，不僅顯著提升了機(jī)器視覺(jué)的檢測(cè)能力和適用性，產(chǎn)品質(zhì)量也能得到有效控制。

在智慧城市建設(shè)中，AI應(yīng)用已經(jīng)滲透到城市管理、交通、民生等諸多方面，隨著智慧城市向精細(xì)化和社區(qū)化下沉，邊緣智能在智慧交通、應(yīng)急響應(yīng)、城市安全等場(chǎng)景下的應(yīng)用日漸增多。IDC的預(yù)測(cè)是，在未來(lái)幾年，邊緣智能支出在城市運(yùn)維管理場(chǎng)景這一市場(chǎng)將保持25%的增速。

5G支持的人工智能和創(chuàng)新應(yīng)用對(duì)網(wǎng)絡(luò)延遲有很高的要求，邊緣智能在此過(guò)程中將發(fā)揮重要作用。比如電信運(yùn)營(yíng)商通過(guò)建設(shè)具備GPU的MEC邊緣數(shù)據(jù)中心，就可以為行業(yè)用戶提供邊緣計(jì)算服務(wù)，降低企業(yè)自建邊緣計(jì)算中心的成本。

對(duì)許多應(yīng)用而言，邊緣側(cè)顯然是進(jìn)行機(jī)器學(xué)習(xí)處理的理想位置。在制造業(yè)、政府、零售、電信、醫(yī)療等重點(diǎn)領(lǐng)域，敏捷聯(lián)接、實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)已經(jīng)成為核心需求，邊緣智能是實(shí)現(xiàn)行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵。隨著邊緣智能技術(shù)和解決方案的不斷完善，在汽車、消費(fèi)電子、服裝、鋼鐵、化工等信息化基礎(chǔ)良好的行業(yè)，AI場(chǎng)景化應(yīng)用也將逐步落地。IDC的預(yù)測(cè)是，到2024年，制造業(yè)、政府、零售、電信、醫(yī)療五大行業(yè)在邊緣智能應(yīng)用上的支出將達(dá)到159億美元，占整體邊緣智能市場(chǎng)支出的49%。

邊緣人工智能面臨的挑戰(zhàn)

過(guò)去幾年，人工智能正在成為許多組織商業(yè)計(jì)劃中不可或缺的一部分。正如谷歌首席執(zhí)行官Sundar Pichai宣稱的那樣，人工智能對(duì)人類的影響將遠(yuǎn)遠(yuǎn)超過(guò)火和電。IDC更是看好邊緣計(jì)算及邊緣智能在未來(lái)幾年的發(fā)展前景，據(jù)其分析，到2024年，全球AI市場(chǎng)支出將達(dá)到1100億美金，邊緣智能將占到AI市場(chǎng)支出的29.5%。

良好的發(fā)展前景并非意味著前進(jìn)道路一片坦途，在Edge AI的發(fā)展過(guò)程中，仍存在諸多技術(shù)挑戰(zhàn)：

糟糕的數(shù)據(jù)質(zhì)量

全球主要互聯(lián)網(wǎng)服務(wù)提供商的數(shù)據(jù)質(zhì)量差是Edge AI研發(fā)的主要障礙。最近的一份Alation報(bào)告顯示，以IT公司為主的受訪者中，其中有87%的員工認(rèn)為，數(shù)據(jù)質(zhì)量差是他們所在企業(yè)未能部署Edge AI基礎(chǔ)設(shè)施的重要原因。

潛在的安全威脅

邊緣計(jì)算的分散性增加了較多的安全風(fēng)險(xiǎn)。以物聯(lián)網(wǎng)為例，那些提供數(shù)據(jù)的物聯(lián)網(wǎng)設(shè)備多且分散，這使得Edge AI基礎(chǔ)設(shè)施比較容易受到各種網(wǎng)絡(luò)攻擊。

受限的機(jī)器學(xué)習(xí)能力

在邊緣計(jì)算硬件平臺(tái)上，機(jī)器學(xué)習(xí)常常需要強(qiáng)大的計(jì)算能力的支持。在Edge AI基礎(chǔ)設(shè)施中，計(jì)算性能僅限于邊緣或物聯(lián)網(wǎng)設(shè)備的性能。在大多數(shù)情況下，大型復(fù)雜的邊緣人工智能模型必須在部署到邊緣人工智能硬件之前進(jìn)行簡(jiǎn)化，這樣才能提高其準(zhǔn)確性和效率。

邊緣AI芯片：邊緣智能的靈魂

AI計(jì)算極度占用處理器資源，它需要成百上千個(gè)不同類型的 (傳統(tǒng)) 芯片來(lái)執(zhí)行所需的運(yùn)算。因此，幾年前的AI計(jì)算幾乎都是在數(shù)據(jù)中心、企業(yè)核心設(shè)備或電信邊緣處理器上遠(yuǎn)程執(zhí)行而不是在設(shè)備本地。

Edge AI芯片正在改變這一切。理由是：Edge AI芯片的體積更小，價(jià)格相對(duì)便宜，耗電量以及產(chǎn)生的熱量也小得多。因此，可以將它們集成到手持設(shè)備和機(jī)器人等設(shè)備中，在本地執(zhí)行密集型人工智能計(jì)算。此外，Edge AI芯片還能減少或消除向遠(yuǎn)程位置發(fā)送大量數(shù)據(jù)的需要，從而在可用性、速度、數(shù)據(jù)安全性和隱私性方面帶來(lái)好處。

利用Edge AI芯片，可極大地增強(qiáng)企業(yè)的自身能力，能夠深入分析來(lái)自聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)，并將分析結(jié)果轉(zhuǎn)換為行動(dòng)，同時(shí)避免將大量數(shù)據(jù)發(fā)送至云端產(chǎn)生的高昂成本、復(fù)雜問(wèn)題和安全挑戰(zhàn)

根據(jù)德勤的分析數(shù)據(jù)，2020年，Edge AI芯片的銷量預(yù)計(jì)超過(guò)了7.5億片，并創(chuàng)造26億美元的收入。其中，消費(fèi)類設(shè)備市場(chǎng)可能占到Edge AI芯片市場(chǎng)的90%以上。無(wú)論是從銷售數(shù)量還是從其美元價(jià)值來(lái)看，這些Edge AI芯片的絕大多數(shù)將進(jìn)入高端智能手機(jī)領(lǐng)域。在目前使用的所有消費(fèi)類Edge AI芯片中，智能手機(jī)占到70%以上。當(dāng)然，智能手機(jī)并不是唯一使用Edge AI芯片的設(shè)備，其他如平板電腦、可穿戴設(shè)備、智能音箱也在使用這些芯片，只是目前這些設(shè)備對(duì)Edge AI芯片銷量影響要比智能手機(jī)小得多。

德勤還提出，至2024年，邊緣人工智能芯片銷量預(yù)計(jì)將超過(guò)15億片，甚至可能遠(yuǎn)遠(yuǎn)超過(guò)這一數(shù)據(jù)，年銷量增長(zhǎng)率預(yù)計(jì)達(dá)到20%以上，是半導(dǎo)體行業(yè)整體長(zhǎng)期預(yù)測(cè)9%的復(fù)合年均增長(zhǎng)率的兩倍還多。德勤還指出，雖然消費(fèi)端的人工智能芯片市場(chǎng)比企業(yè)市場(chǎng)大得多，但增長(zhǎng)速度可能低于企業(yè)市場(chǎng)。在企業(yè)市場(chǎng)，機(jī)器人、攝像頭、傳感器和其他物聯(lián)網(wǎng)設(shè)備中將是AI芯片未來(lái)的重要應(yīng)用場(chǎng)景。

作為邊緣智能的靈魂，Edge AI芯片的重要性不言而喻，邊緣設(shè)備只有通過(guò)AI芯片獲得了自主計(jì)算的能力，才能稱之為是真正的邊緣智能。

現(xiàn)在的AI 芯片主要有兩種，即云端AI芯片和邊緣AI芯片。按照功能劃分，可分為訓(xùn)練芯片和推斷芯片，市場(chǎng)上的邊緣AI芯片很多屬于邊緣推斷芯片。雖然邊緣AI芯片市場(chǎng)興起時(shí)間不長(zhǎng)，但參與者眾多，其中包括NVIDIA、Intel、NXP、Xilinx、ST、Maxim等跨國(guó)企業(yè)，也有以寒武紀(jì)為代表的國(guó)內(nèi)企業(yè)。

01 NVIDIA EGX邊緣AI平臺(tái)

NVIDIA是全球GPU的龍頭，在AI訓(xùn)練市場(chǎng)擁有強(qiáng)大的領(lǐng)先優(yōu)勢(shì)。面向邊緣計(jì)算市場(chǎng)，NVIDIA有兩款性能出眾的EGX邊緣AI平臺(tái)產(chǎn)品，一個(gè)是用于較大型商業(yè)通用服務(wù)器上的EGX A100聚合加速器，另一個(gè)是用于微型邊緣服務(wù)器的微型EGX Jetson Xavier NX。這兩款產(chǎn)品均擁有安全、高性能的AI處理能力。搭載了EGX A100的服務(wù)器可以管理機(jī)場(chǎng)中的數(shù)百臺(tái)攝像頭，而EGX Jetson Xavier NX則可用于管理便利店中的少量攝像頭。

EGX A100是首個(gè)基于NVIDIA Ampere架構(gòu)的邊緣AI產(chǎn)品。它結(jié)合了NVIDIA Ampere架構(gòu)所具有的突破性計(jì)算性能以及NVIDIA Mellanox ConnectX-6 Dx SmartNIC所具備的網(wǎng)絡(luò)加速和關(guān)鍵性安全功能，能將標(biāo)準(zhǔn)型和專用型的邊緣服務(wù)器轉(zhuǎn)變?yōu)闃O具安全性的云原生AI超級(jí)計(jì)算機(jī)。其中，NVIDIA Ampere架構(gòu)是NVIDIA的第8代GPU架構(gòu)，為在邊緣運(yùn)行AI推理和5G應(yīng)用等各類計(jì)算密集型工作負(fù)載提供了卓越的性能。

NVIDIA為EXG建立了龐大的合作伙伴生態(tài)系統(tǒng)，他們中有的是邊緣服務(wù)器制造商，有的是混合云平臺(tái)企業(yè)，比如Atos、Dell、富士通、GIGABYTE、HPE、IBM、浪潮、聯(lián)想、Cisco等都是NVIDA生態(tài)系統(tǒng)上的重要一員。

02 Xilinx邊緣智能解決方案Versal AI Edge

不久前剛剛并入AMD公司的Xilinx，在過(guò)去幾年里一直忙于擴(kuò)展其Versal AI Core、Versal Premium和Versal Prime芯片系列，以滿足客戶在云、數(shù)據(jù)中心、網(wǎng)絡(luò)等領(lǐng)域的計(jì)算需求?，F(xiàn)在，Xilinx正在將其業(yè)務(wù)拓展到蓬勃發(fā)展的邊緣計(jì)算市場(chǎng)，并在2021年向業(yè)界介紹了其最新Xilinx Versal AI edge芯片系列中的七款新產(chǎn)品。這七款Versal Edge AI芯片預(yù)計(jì)將于2022年上半年面世，其目標(biāo)是幫助客戶實(shí)現(xiàn)各種實(shí)時(shí)工作負(fù)載，從自動(dòng)駕駛汽車到機(jī)器人應(yīng)用、工業(yè)應(yīng)用、智能視覺(jué)系統(tǒng)、醫(yī)療用途、無(wú)人駕駛無(wú)人機(jī)，甚至外科手術(shù)機(jī)器人。

據(jù)Xilinx的信息，新的Versal AI Edge芯片系列每瓦性能是GPU的4倍，計(jì)算密度是其上一代芯片Xilinx Zynq UltraSCALE+MP SOC的10倍，同時(shí)還提供了更低的延遲和靈活的體系結(jié)構(gòu)，新的Versal AI Edge系列將采用7nm工藝。所有七款Versal AI Edge芯片均采用雙核Arm Cortex-A72 CPU和雙核Arm Cortex-R5F處理器，以滿足實(shí)時(shí)應(yīng)用要求。

Versal AI Edge系列始于VE2002芯片，該芯片耗電6至9瓦，提供14個(gè)頂級(jí)INT4或7個(gè)頂級(jí)INT8性能，總內(nèi)存為95MB。其余VE2102、VE2202、VE2302、VE2602、VE2802等5個(gè)芯片的功耗、性能、內(nèi)存均按不同梯度升高。VE1752耗電50至60瓦，同時(shí)提供166個(gè)INT4或124個(gè)INT8性能以及253MB內(nèi)存。在內(nèi)部架構(gòu)上，VE2002包含八個(gè)AI/ML引擎塊，VE2101、VE2202、VE2302、VE2602、VE2802依次包含12個(gè)、24個(gè)、34個(gè)、152個(gè)、304個(gè)引擎塊。VE1752雖然也配備了304個(gè)引擎塊，但它們?nèi)渴茿I引擎。

結(jié)語(yǔ)

2017年8月，英特爾以153億美元收購(gòu)了位于特拉維夫的視覺(jué)安全技術(shù)公司Mobileye。緊接著，百度開(kāi)始大規(guī)模生產(chǎn)第二代昆侖人工智能芯片，這是一種用于邊緣計(jì)算的超快微芯片。在微芯片之外，谷歌的Edge TPU、NVIDIA的Jetson Nano，以及亞馬遜、微軟、英特爾和華碩，均投入到Edge AI芯片的開(kāi)發(fā)熱潮中，以增強(qiáng)其邊緣計(jì)算的實(shí)力。其中，亞馬遜的AWS DeepLens是世界上第一款支持深度學(xué)習(xí)的攝像機(jī)。

據(jù)IDC預(yù)測(cè)，到2024年，全球企業(yè)在邊緣應(yīng)用上的支出將達(dá)到2500億美元，其中與AI技術(shù)相關(guān)的支出將達(dá)到326億美元，占整體邊緣市場(chǎng)支出的13%。十年前，我們可能無(wú)法想象Edge AI會(huì)達(dá)到今天的水平?，F(xiàn)在，它已成為行業(yè)乃至客戶服務(wù)設(shè)備的一部分。

審核編輯：郭婷