邊緣計(jì)算的緣起，物聯(lián)網(wǎng)的“草根”時(shí)代

如今，我們每個(gè)人都置身于一個(gè)基于互聯(lián)網(wǎng)的世界并對此習(xí)以為常?？赡闶欠裾J(rèn)真思考過，互聯(lián)網(wǎng)對我們生活最大的改變是什么？要我說，應(yīng)該是人們對信息的消費(fèi)模式的改變——在互聯(lián)網(wǎng)世界，人們對于信息的獲取和分發(fā)，不再依賴于有限的渠道，每個(gè)“草根”用戶都可以成為一個(gè)獨(dú)立完成信息接收、處理、傳播的更有價(jià)值的個(gè)體；傳統(tǒng)的那種依賴單一意見權(quán)威的模式已經(jīng)被打破，一種“去中心化”的“草根時(shí)代”已然形成?？赡闶欠褡⒁獾?，這種與互聯(lián)網(wǎng)世界“去中心化”類似的進(jìn)程，也正在物聯(lián)網(wǎng)世界發(fā)生呢？這一進(jìn)程的推手就是“邊緣計(jì)算”。

邊緣計(jì)算的緣起十多年前，云計(jì)算的概念開始興起。那時(shí)的人們意識(shí)到，通過將以往分散的計(jì)算資源集合起來，交給一個(gè)遠(yuǎn)在“云端”的數(shù)據(jù)中心集中處理，是一種更高效的方式，且可以轉(zhuǎn)化為靈活可定制的服務(wù)遠(yuǎn)程分發(fā)給分布在各處的客戶。之后物聯(lián)網(wǎng)應(yīng)用的快速擴(kuò)張，在很大程度上也是得益于這種云計(jì)算的加持——網(wǎng)絡(luò)邊緣端的設(shè)備只需負(fù)責(zé)采集數(shù)據(jù)和執(zhí)行指令等簡單的工作，而將復(fù)雜的計(jì)算任務(wù)傳輸?shù)皆贫巳ネ瓿桑@讓物聯(lián)網(wǎng)邊緣節(jié)點(diǎn)的設(shè)計(jì)和部署大為簡化。 但隨著應(yīng)用的發(fā)展和需求的變化，這種單一的、集中化的云計(jì)算模式也遇到了挑戰(zhàn)，其固有的一些弱點(diǎn)也逐漸顯現(xiàn)出來：

物聯(lián)網(wǎng)中急劇增加的數(shù)據(jù)量，對于網(wǎng)絡(luò)傳輸資源的消耗極其巨大。如果所有數(shù)據(jù)都要被送到云端做處理，再大的帶寬也會(huì)難堪重負(fù)。

云計(jì)算這種遠(yuǎn)程數(shù)據(jù)處理模式，不可避免會(huì)有延時(shí)。這對自動(dòng)駕駛和工業(yè)控制這類實(shí)時(shí)性要求非常嚴(yán)苛的物聯(lián)網(wǎng)應(yīng)用而言，顯然不能接受。

信息在傳輸?shù)倪^程中會(huì)有安全風(fēng)險(xiǎn)，而且一些用戶也不希望自己的敏感數(shù)據(jù)在云端異地存儲(chǔ)。這些關(guān)乎安全和隱私的問題日漸突出。

在能耗方面，有研究表明，云計(jì)算中數(shù)據(jù)傳輸所消耗的能量比數(shù)據(jù)處理所需能量高一個(gè)數(shù)量級。從整個(gè)計(jì)算架構(gòu)來看，這顯然是不經(jīng)濟(jì)的。

解決所有這些云計(jì)算問題的答案，就是“邊緣計(jì)算”。所謂邊緣計(jì)算，就是將以往在云端完成的計(jì)算任務(wù)，下放到網(wǎng)絡(luò)邊緣端或靠近邊緣端的設(shè)備中去完成，這樣一方面可以對來自邊緣端的數(shù)據(jù)進(jìn)行更及時(shí)的處理和響應(yīng)，另一方面也可以對數(shù)據(jù)進(jìn)行“初加工”后再傳輸?shù)皆贫俗鲞M(jìn)一步的深加工處理，有效緩解網(wǎng)絡(luò)傳輸和數(shù)據(jù)中心的工作負(fù)荷，達(dá)到一個(gè)最優(yōu)的計(jì)算資源配置。

可見，邊緣計(jì)算可以就近直接處理來自現(xiàn)實(shí)世界的數(shù)據(jù)，減少需要搬移傳輸?shù)臄?shù)據(jù)量，避免了延遲，提高了隱私和安全性，即使在網(wǎng)絡(luò)故障時(shí)也可以提供服務(wù)，在可靠性和用戶體驗(yàn)上也會(huì)有加分……作為傳統(tǒng)云計(jì)算模式的完善和補(bǔ)充，邊緣計(jì)算可謂是“真香”。

在邊緣上實(shí)現(xiàn)AI認(rèn)識(shí)到了邊緣計(jì)算的價(jià)值之后，人們進(jìn)一步考慮的就是，我們可以賦予邊緣計(jì)算哪些能力？隨著思考和實(shí)踐的深入，這個(gè)答案無疑是令人興奮的。而其中最大的“興奮點(diǎn)”，就是“在邊緣計(jì)算上實(shí)現(xiàn)人工智能（AI）”，這會(huì)讓我們身邊的邊緣設(shè)備變得更“聰明”，能夠從數(shù)據(jù)中洞察出有價(jià)值的信息，真正讀懂用戶的“心思”，提供更完美的用戶體驗(yàn)。 實(shí)現(xiàn)一個(gè)完整的AI應(yīng)用需要兩個(gè)步驟：訓(xùn)練（Training）和推理（Inference）。訓(xùn)練是指將大量的數(shù)據(jù)代入神經(jīng)網(wǎng)絡(luò)運(yùn)算并反復(fù)迭代，最終訓(xùn)練出一個(gè)人工智能模型，這個(gè)過程就像是我們通過已知知識(shí)的學(xué)習(xí)獲得一個(gè)技能或工具；而推理則是利用這個(gè)訓(xùn)練出來的模型，對新的輸入數(shù)據(jù)進(jìn)行處理并做出正確判斷，可以將此過程看做是學(xué)以致用，利用掌握的技能或工具去解決未知世界的新問題。 其中，模型訓(xùn)練所需的計(jì)算量是巨大的。以百度的一個(gè)語音識(shí)別模型為例，一個(gè)訓(xùn)練周期需要4TB的訓(xùn)練數(shù)據(jù)，以及20 EFLOPS的計(jì)算能力，相當(dāng)于每秒2x1019的數(shù)學(xué)運(yùn)算，因此這個(gè)過程通常是在云端的數(shù)據(jù)中心完成的。而推理過程，是每次針對一個(gè)輸入項(xiàng)進(jìn)行處理并做出決策，這個(gè)過程對計(jì)算資源的要求相對沒有那么高，完全可以放在網(wǎng)絡(luò)的邊緣端來完成，從而形成一個(gè)“訓(xùn)練在云端、推理在邊緣”的計(jì)算架構(gòu)。這樣一來，網(wǎng)絡(luò)邊緣產(chǎn)生的數(shù)據(jù)，經(jīng)過邊緣端的推理，處理的結(jié)果直接輸出給用戶，這對于提升服務(wù)質(zhì)量和用戶體驗(yàn)大有好處。 如果你覺得上面的描述還有些抽象，那就試想一下自動(dòng)駕駛的汽車對于路面交通狀況作出及時(shí)恰當(dāng)?shù)姆磻?yīng)，或者是一個(gè)支持離線處理的本地化人臉/聲音識(shí)別系統(tǒng)帶給你的便利，這些被賦予了AI能力的新概念邊緣應(yīng)用都將使我們的生活為之一變。

當(dāng)然，實(shí)現(xiàn)這樣的能夠支持AI的邊緣計(jì)算，還是有一些技術(shù)挑戰(zhàn)需要去克服的，其中最為關(guān)鍵的有兩條：如何實(shí)現(xiàn)更強(qiáng)的邊緣計(jì)算能力，以及如何在資源受限的邊緣設(shè)備部署AI應(yīng)用。

優(yōu)化邊緣硬件的算力更高的計(jì)算性能，可以說是云端數(shù)據(jù)中心追求的首要目標(biāo)，而邊緣設(shè)備面臨的情況則截然不同。在邊緣節(jié)點(diǎn)工作的嵌入式設(shè)備，往往是用有限的計(jì)算資源完成特定的工作，會(huì)受到功耗、成本、外形等很多因素的制約。因此，要在邊緣設(shè)備中實(shí)現(xiàn)更高的計(jì)算性能，特別是要支持AI推理，就需要經(jīng)過優(yōu)化的硬件處理架構(gòu)，以滿足邊緣端特定的要求。 在確定邊緣計(jì)算硬件處理架構(gòu)時(shí)，FPGA是一個(gè)不錯(cuò)的選擇。由于具有硬件可編程的特性，F(xiàn)PGA可以擺脫馮·諾依曼架構(gòu)的束縛，無需指令就可完成工作，無論是實(shí)現(xiàn)數(shù)據(jù)并行，還是實(shí)現(xiàn)流水線并行處理，它都可以勝任。這種靈活性在適應(yīng)不斷迭代的AI算法，提供最優(yōu)加速性能方面，特別有價(jià)值。近些年發(fā)展起來的集成了Arm處理器的FPGA SoC，更是將處理器的軟件可編程性與FPGA的硬件可編程性完美整合，非常適合性能受限、功耗苛刻、實(shí)時(shí)性要求高的網(wǎng)絡(luò)邊緣端的AI推理計(jì)算。

圖1：Xilinx推出的全系列FPGA SoC產(chǎn)品（圖源：Xilinx） 當(dāng)然，在應(yīng)對邊緣計(jì)算方面，F(xiàn)PGA不是唯一選擇。通過在應(yīng)用處理器中添加專門的神經(jīng)網(wǎng)絡(luò)計(jì)算引擎，形成一個(gè)異構(gòu)計(jì)算平臺(tái)，來應(yīng)對AI應(yīng)用中相關(guān)機(jī)器學(xué)習(xí)算法的要求，也是一條技術(shù)路徑。在針對特定應(yīng)用方面，這樣的設(shè)計(jì)顯然更具有性能和功耗方面的優(yōu)勢。

圖2：NXPi.MX 8M Plus處理器中集成了神經(jīng)網(wǎng)絡(luò)處理單元（NPU），以應(yīng)對邊緣計(jì)算中的AI應(yīng)用（圖源：NXP） 人們對邊緣計(jì)算架構(gòu)的優(yōu)化并沒有就此止步?；?a target="_blank">MCU的邊緣設(shè)備數(shù)量巨大，能否在這些性能更“低”的通用MCU上實(shí)現(xiàn)AI，也是這些年芯片廠商競爭的一個(gè)新賽道。比如NXP Semiconductors（NXP）這兩年力推的i.MX RT跨界MCU，就是一個(gè)非常成功的嘗試。所謂“跨界”，是指i.MX RT采用了MCU的內(nèi)核（Arm Cortex-M7），但基于MPU的架構(gòu)，因此可以在實(shí)現(xiàn)比肩MPU的高性能和豐富功能同時(shí)，兼具傳統(tǒng)MCU的易用性、低功耗、低成本的特性，在傳統(tǒng)的MPU和MCU之間，讓開發(fā)者多了一種選擇。 前不久NXP展示了一款基于i.MX RT106F的人臉識(shí)別解決方案，其在硬件上完全替代了傳統(tǒng)的“MPU+PMIC”的架構(gòu)，無需昂貴的DDR，大大降低最終商用產(chǎn)品的成本，配合優(yōu)化的軟件推理引擎，使這個(gè)方案極具性價(jià)比優(yōu)勢。目前，NXP這個(gè)基于MCU的人臉識(shí)別方案已經(jīng)被智能門鎖產(chǎn)品所采用，未來類似i.MX RT的這種通用MCU在邊緣計(jì)算上的“表演”，十分讓人期待。

圖3：基于i.MX RT106F的商用人臉識(shí)別智能門鎖（圖源：深嵐視覺科技）

圖4：NXP Semiconductors i.MX RT106F交叉處理器

不可或缺的軟件工具優(yōu)化的計(jì)算架構(gòu)和芯片產(chǎn)品，讓邊緣計(jì)算獲得了可靠的硬件支撐，而要將AI應(yīng)用快速高效地部署在這個(gè)硬件平臺(tái)上，還需要軟件工具來幫忙，這個(gè)軟件工具的作用，就是對AI模型進(jìn)行優(yōu)化，使其移植到特定的硬件推理引擎上，在資源受限的邊緣設(shè)備上完成部署。 我們以Xilinx推出的VitisAI開發(fā)環(huán)境為例，對此類軟件工具的概貌做個(gè)了解。Vitis AI由優(yōu)化的IP、工具、庫、模型和示例設(shè)計(jì)組成，其目的就是在Xilinx硬件平臺(tái)上部署AI推理功能。 在Vitis AI的架構(gòu)中，主要的模塊包括：

AI模型庫（Module Zoo）
提供一系列預(yù)先優(yōu)化、可在Xilinx 器件上部署的模型，支持主流框架和最新的模型，完成深度學(xué)習(xí)任務(wù)。

AI優(yōu)化器（AI Optimizer）
利用模型壓縮技術(shù)，在對精度影響極小的情況下，將模型的復(fù)雜性降低5至50倍，適應(yīng)邊緣計(jì)算的要求。

AI量化器（AI Quantizer）
通過將32位浮點(diǎn)權(quán)值和激活量轉(zhuǎn)換為INT8這樣的定點(diǎn)，降低計(jì)算復(fù)雜度，減少內(nèi)存帶寬占用，提高速度，減低功耗。

AI編譯器（AI Compiler）
將AI模型映射至高效指令集及數(shù)據(jù)流。

AI配置器（AI Profiler）
有助于程序員深入分析AI推斷實(shí)現(xiàn)方案的效率和利用率的性能分析器。

AI庫（AI Library）
提供一系列輕量級C++及Python API，其可實(shí)現(xiàn)便捷的應(yīng)用開發(fā)。

圖5：Xilinx推出的Vitis AI開發(fā)環(huán)境（圖源：Xilinx） 從上述的介紹我們不難看出，Vitis AI這類邊緣計(jì)算軟件工具的核心作用就是：為開發(fā)者提供支持主流NN架構(gòu)的可用模型；對模型進(jìn)行壓縮和優(yōu)化以適應(yīng)邊緣計(jì)算的要求；提供完整的軟件工具和開發(fā)環(huán)境，支持模型在硬件平臺(tái)上的部署；集成相關(guān)更豐富的設(shè)計(jì)資源。 與Xilinx的Vitis AI有異曲同工之妙的，還有NXP推出的eIQ機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境，它包括推理引擎、神經(jīng)網(wǎng)絡(luò)編譯器和優(yōu)化庫，支持在包括通用MCU、i.MX RT跨界MCU和i.MX應(yīng)用處理器等NXP廣泛的硬件產(chǎn)品上部署機(jī)器學(xué)習(xí)模型。而且eIQ已經(jīng)被集成到了NXP的MCUXpresso軟件開發(fā)套件和Yocto開發(fā)環(huán)境中，成為邊緣應(yīng)用嵌入式開發(fā)工具鏈中不可或缺的一部分。

圖6：eIQ機(jī)器學(xué)習(xí)軟件平臺(tái)支持的NXP硬件產(chǎn)品（圖源：NXP）

值得一提的是，NXP還特別推出了針對汽車領(lǐng)域應(yīng)用的eIQ Auto工具包，專門用于NXP的S32V處理器和ADAS開發(fā)。eIQ Auto工具包的推理引擎包括一個(gè)后端，可自動(dòng)選擇給定神經(jīng)網(wǎng)絡(luò)模型的工作負(fù)載的最佳分區(qū)，涵蓋器件中的所有不同計(jì)算引擎。這種針對垂直領(lǐng)域的產(chǎn)品細(xì)分，也代表了邊緣計(jì)算軟件工具的一個(gè)發(fā)展趨勢。

圖7：NXP S32V視覺和傳感器融合處理器

物聯(lián)網(wǎng)的“草根”時(shí)代

總之，有了優(yōu)化的硬件作為基石，再通過不斷完善的軟件工具讓強(qiáng)大的AI功能在邊緣應(yīng)用上“落地”，由此打造出的邊緣設(shè)備將被賦予更多的可能性。這些以往遍布我們周圍，默默工作著的物聯(lián)網(wǎng)邊緣設(shè)備，其形態(tài)、作用和價(jià)值也將被重新定義。

如果說與云端高大上的數(shù)據(jù)中心相比，物聯(lián)網(wǎng)邊緣設(shè)備顯得有些“草根”，那么邊緣計(jì)算的興起無疑宣示著一個(gè)物聯(lián)網(wǎng)的“草根”時(shí)代的到來。根據(jù)IDC的預(yù)測，到2021年，43%的物聯(lián)網(wǎng)計(jì)算將發(fā)生在邊緣。這是一個(gè)不低的起點(diǎn)，邊緣計(jì)算的未來可期！