如今,我們每個(gè)人都置身于一個(gè)基于互聯(lián)網(wǎng)的世界并對此習(xí)以為常??赡闶欠裾J(rèn)真思考過,互聯(lián)網(wǎng)對我們生活最大的改變是什么?要我說,應(yīng)該是人們對信息的消費(fèi)模式的改變——在互聯(lián)網(wǎng)世界,人們對于信息的獲取和分發(fā),不再依賴于有限的渠道,每個(gè)“草根”用戶都可以成為一個(gè)獨(dú)立完成信息接收、處理、傳播的更有價(jià)值的個(gè)體;傳統(tǒng)的那種依賴單一意見權(quán)威的模式已經(jīng)被打破,一種“去中心化”的“草根時(shí)代”已然形成??赡闶欠褡⒁獾?,這種與互聯(lián)網(wǎng)世界“去中心化”類似的進(jìn)程,也正在物聯(lián)網(wǎng)世界發(fā)生呢?這一進(jìn)程的推手就是“邊緣計(jì)算”。
邊緣計(jì)算的緣起十多年前,云計(jì)算的概念開始興起。那時(shí)的人們意識(shí)到,通過將以往分散的計(jì)算資源集合起來,交給一個(gè)遠(yuǎn)在“云端”的數(shù)據(jù)中心集中處理,是一種更高效的方式,且可以轉(zhuǎn)化為靈活可定制的服務(wù)遠(yuǎn)程分發(fā)給分布在各處的客戶。之后物聯(lián)網(wǎng)應(yīng)用的快速擴(kuò)張,在很大程度上也是得益于這種云計(jì)算的加持——網(wǎng)絡(luò)邊緣端的設(shè)備只需負(fù)責(zé)采集數(shù)據(jù)和執(zhí)行指令等簡單的工作,而將復(fù)雜的計(jì)算任務(wù)傳輸?shù)皆贫巳ネ瓿桑@讓物聯(lián)網(wǎng)邊緣節(jié)點(diǎn)的設(shè)計(jì)和部署大為簡化。 但隨著應(yīng)用的發(fā)展和需求的變化,這種單一的、集中化的云計(jì)算模式也遇到了挑戰(zhàn),其固有的一些弱點(diǎn)也逐漸顯現(xiàn)出來:
物聯(lián)網(wǎng)中急劇增加的數(shù)據(jù)量,對于網(wǎng)絡(luò)傳輸資源的消耗極其巨大。如果所有數(shù)據(jù)都要被送到云端做處理,再大的帶寬也會(huì)難堪重負(fù)。
云計(jì)算這種遠(yuǎn)程數(shù)據(jù)處理模式,不可避免會(huì)有延時(shí)。這對自動(dòng)駕駛和工業(yè)控制這類實(shí)時(shí)性要求非常嚴(yán)苛的物聯(lián)網(wǎng)應(yīng)用而言,顯然不能接受。
信息在傳輸?shù)倪^程中會(huì)有安全風(fēng)險(xiǎn),而且一些用戶也不希望自己的敏感數(shù)據(jù)在云端異地存儲(chǔ)。這些關(guān)乎安全和隱私的問題日漸突出。
在能耗方面,有研究表明,云計(jì)算中數(shù)據(jù)傳輸所消耗的能量比數(shù)據(jù)處理所需能量高一個(gè)數(shù)量級。從整個(gè)計(jì)算架構(gòu)來看,這顯然是不經(jīng)濟(jì)的。
解決所有這些云計(jì)算問題的答案,就是“邊緣計(jì)算”。所謂邊緣計(jì)算,就是將以往在云端完成的計(jì)算任務(wù),下放到網(wǎng)絡(luò)邊緣端或靠近邊緣端的設(shè)備中去完成,這樣一方面可以對來自邊緣端的數(shù)據(jù)進(jìn)行更及時(shí)的處理和響應(yīng),另一方面也可以對數(shù)據(jù)進(jìn)行“初加工”后再傳輸?shù)皆贫俗鲞M(jìn)一步的深加工處理,有效緩解網(wǎng)絡(luò)傳輸和數(shù)據(jù)中心的工作負(fù)荷,達(dá)到一個(gè)最優(yōu)的計(jì)算資源配置。
可見,邊緣計(jì)算可以就近直接處理來自現(xiàn)實(shí)世界的數(shù)據(jù),減少需要搬移傳輸?shù)臄?shù)據(jù)量,避免了延遲,提高了隱私和安全性,即使在網(wǎng)絡(luò)故障時(shí)也可以提供服務(wù),在可靠性和用戶體驗(yàn)上也會(huì)有加分……作為傳統(tǒng)云計(jì)算模式的完善和補(bǔ)充,邊緣計(jì)算可謂是“真香”。
在邊緣上實(shí)現(xiàn)AI認(rèn)識(shí)到了邊緣計(jì)算的價(jià)值之后,人們進(jìn)一步考慮的就是,我們可以賦予邊緣計(jì)算哪些能力?隨著思考和實(shí)踐的深入,這個(gè)答案無疑是令人興奮的。而其中最大的“興奮點(diǎn)”,就是“在邊緣計(jì)算上實(shí)現(xiàn)人工智能(AI)”,這會(huì)讓我們身邊的邊緣設(shè)備變得更“聰明”,能夠從數(shù)據(jù)中洞察出有價(jià)值的信息,真正讀懂用戶的“心思”,提供更完美的用戶體驗(yàn)。 實(shí)現(xiàn)一個(gè)完整的AI應(yīng)用需要兩個(gè)步驟:訓(xùn)練(Training)和推理(Inference)。訓(xùn)練是指將大量的數(shù)據(jù)代入神經(jīng)網(wǎng)絡(luò)運(yùn)算并反復(fù)迭代,最終訓(xùn)練出一個(gè)人工智能模型,這個(gè)過程就像是我們通過已知知識(shí)的學(xué)習(xí)獲得一個(gè)技能或工具;而推理則是利用這個(gè)訓(xùn)練出來的模型,對新的輸入數(shù)據(jù)進(jìn)行處理并做出正確判斷,可以將此過程看做是學(xué)以致用,利用掌握的技能或工具去解決未知世界的新問題。 其中,模型訓(xùn)練所需的計(jì)算量是巨大的。以百度的一個(gè)語音識(shí)別模型為例,一個(gè)訓(xùn)練周期需要4TB的訓(xùn)練數(shù)據(jù),以及20 EFLOPS的計(jì)算能力,相當(dāng)于每秒2x1019的數(shù)學(xué)運(yùn)算,因此這個(gè)過程通常是在云端的數(shù)據(jù)中心完成的。而推理過程,是每次針對一個(gè)輸入項(xiàng)進(jìn)行處理并做出決策,這個(gè)過程對計(jì)算資源的要求相對沒有那么高,完全可以放在網(wǎng)絡(luò)的邊緣端來完成,從而形成一個(gè)“訓(xùn)練在云端、推理在邊緣”的計(jì)算架構(gòu)。這樣一來,網(wǎng)絡(luò)邊緣產(chǎn)生的數(shù)據(jù),經(jīng)過邊緣端的推理,處理的結(jié)果直接輸出給用戶,這對于提升服務(wù)質(zhì)量和用戶體驗(yàn)大有好處。 如果你覺得上面的描述還有些抽象,那就試想一下自動(dòng)駕駛的汽車對于路面交通狀況作出及時(shí)恰當(dāng)?shù)姆磻?yīng),或者是一個(gè)支持離線處理的本地化人臉/聲音識(shí)別系統(tǒng)帶給你的便利,這些被賦予了AI能力的新概念邊緣應(yīng)用都將使我們的生活為之一變。
當(dāng)然,實(shí)現(xiàn)這樣的能夠支持AI的邊緣計(jì)算,還是有一些技術(shù)挑戰(zhàn)需要去克服的,其中最為關(guān)鍵的有兩條:如何實(shí)現(xiàn)更強(qiáng)的邊緣計(jì)算能力,以及如何在資源受限的邊緣設(shè)備部署AI應(yīng)用。
優(yōu)化邊緣硬件的算力更高的計(jì)算性能,可以說是云端數(shù)據(jù)中心追求的首要目標(biāo),而邊緣設(shè)備面臨的情況則截然不同。在邊緣節(jié)點(diǎn)工作的嵌入式設(shè)備,往往是用有限的計(jì)算資源完成特定的工作,會(huì)受到功耗、成本、外形等很多因素的制約。因此,要在邊緣設(shè)備中實(shí)現(xiàn)更高的計(jì)算性能,特別是要支持AI推理,就需要經(jīng)過優(yōu)化的硬件處理架構(gòu),以滿足邊緣端特定的要求。 在確定邊緣計(jì)算硬件處理架構(gòu)時(shí),FPGA是一個(gè)不錯(cuò)的選擇。由于具有硬件可編程的特性,F(xiàn)PGA可以擺脫馮·諾依曼架構(gòu)的束縛,無需指令就可完成工作,無論是實(shí)現(xiàn)數(shù)據(jù)并行,還是實(shí)現(xiàn)流水線并行處理,它都可以勝任。這種靈活性在適應(yīng)不斷迭代的AI算法,提供最優(yōu)加速性能方面,特別有價(jià)值。近些年發(fā)展起來的集成了Arm處理器的FPGA SoC,更是將處理器的軟件可編程性與FPGA的硬件可編程性完美整合,非常適合性能受限、功耗苛刻、實(shí)時(shí)性要求高的網(wǎng)絡(luò)邊緣端的AI推理計(jì)算。
圖1:Xilinx推出的全系列FPGA SoC產(chǎn)品(圖源:Xilinx) 當(dāng)然,在應(yīng)對邊緣計(jì)算方面,F(xiàn)PGA不是唯一選擇。通過在應(yīng)用處理器中添加專門的神經(jīng)網(wǎng)絡(luò)計(jì)算引擎,形成一個(gè)異構(gòu)計(jì)算平臺(tái),來應(yīng)對AI應(yīng)用中相關(guān)機(jī)器學(xué)習(xí)算法的要求,也是一條技術(shù)路徑。在針對特定應(yīng)用方面,這樣的設(shè)計(jì)顯然更具有性能和功耗方面的優(yōu)勢。
圖2:NXPi.MX 8M Plus處理器中集成了神經(jīng)網(wǎng)絡(luò)處理單元(NPU),以應(yīng)對邊緣計(jì)算中的AI應(yīng)用(圖源:NXP) 人們對邊緣計(jì)算架構(gòu)的優(yōu)化并沒有就此止步?;?a target="_blank">MCU的邊緣設(shè)備數(shù)量巨大,能否在這些性能更“低”的通用MCU上實(shí)現(xiàn)AI,也是這些年芯片廠商競爭的一個(gè)新賽道。比如NXP Semiconductors(NXP)這兩年力推的i.MX RT跨界MCU,就是一個(gè)非常成功的嘗試。所謂“跨界”,是指i.MX RT采用了MCU的內(nèi)核(Arm Cortex-M7),但基于MPU的架構(gòu),因此可以在實(shí)現(xiàn)比肩MPU的高性能和豐富功能同時(shí),兼具傳統(tǒng)MCU的易用性、低功耗、低成本的特性,在傳統(tǒng)的MPU和MCU之間,讓開發(fā)者多了一種選擇。 前不久NXP展示了一款基于i.MX RT106F的人臉識(shí)別解決方案,其在硬件上完全替代了傳統(tǒng)的“MPU+PMIC”的架構(gòu),無需昂貴的DDR,大大降低最終商用產(chǎn)品的成本,配合優(yōu)化的軟件推理引擎,使這個(gè)方案極具性價(jià)比優(yōu)勢。目前,NXP這個(gè)基于MCU的人臉識(shí)別方案已經(jīng)被智能門鎖產(chǎn)品所采用,未來類似i.MX RT的這種通用MCU在邊緣計(jì)算上的“表演”,十分讓人期待。
圖3:基于i.MX RT106F的商用人臉識(shí)別智能門鎖(圖源:深嵐視覺科技)
圖4:NXP Semiconductors i.MX RT106F交叉處理器
不可或缺的軟件工具優(yōu)化的計(jì)算架構(gòu)和芯片產(chǎn)品,讓邊緣計(jì)算獲得了可靠的硬件支撐,而要將AI應(yīng)用快速高效地部署在這個(gè)硬件平臺(tái)上,還需要軟件工具來幫忙,這個(gè)軟件工具的作用,就是對AI模型進(jìn)行優(yōu)化,使其移植到特定的硬件推理引擎上,在資源受限的邊緣設(shè)備上完成部署。 我們以Xilinx推出的VitisAI開發(fā)環(huán)境為例,對此類軟件工具的概貌做個(gè)了解。Vitis AI由優(yōu)化的IP、工具、庫、模型和示例設(shè)計(jì)組成,其目的就是在Xilinx硬件平臺(tái)上部署AI推理功能。 在Vitis AI的架構(gòu)中,主要的模塊包括:
AI模型庫(Module Zoo)
提供一系列預(yù)先優(yōu)化、可在Xilinx 器件上部署的模型,支持主流框架和最新的模型,完成深度學(xué)習(xí)任務(wù)。
AI優(yōu)化器(AI Optimizer)
利用模型壓縮技術(shù),在對精度影響極小的情況下,將模型的復(fù)雜性降低5至50倍,適應(yīng)邊緣計(jì)算的要求。
AI量化器(AI Quantizer)
通過將32位浮點(diǎn)權(quán)值和激活量轉(zhuǎn)換為INT8這樣的定點(diǎn),降低計(jì)算復(fù)雜度,減少內(nèi)存帶寬占用,提高速度,減低功耗。
AI編譯器(AI Compiler)
將AI模型映射至高效指令集及數(shù)據(jù)流。
AI配置器(AI Profiler)
有助于程序員深入分析AI推斷實(shí)現(xiàn)方案的效率和利用率的性能分析器。
AI庫(AI Library)
提供一系列輕量級C++及Python API,其可實(shí)現(xiàn)便捷的應(yīng)用開發(fā)。
圖5:Xilinx推出的Vitis AI開發(fā)環(huán)境(圖源:Xilinx) 從上述的介紹我們不難看出,Vitis AI這類邊緣計(jì)算軟件工具的核心作用就是:為開發(fā)者提供支持主流NN架構(gòu)的可用模型;對模型進(jìn)行壓縮和優(yōu)化以適應(yīng)邊緣計(jì)算的要求;提供完整的軟件工具和開發(fā)環(huán)境,支持模型在硬件平臺(tái)上的部署;集成相關(guān)更豐富的設(shè)計(jì)資源。 與Xilinx的Vitis AI有異曲同工之妙的,還有NXP推出的eIQ機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境,它包括推理引擎、神經(jīng)網(wǎng)絡(luò)編譯器和優(yōu)化庫,支持在包括通用MCU、i.MX RT跨界MCU和i.MX應(yīng)用處理器等NXP廣泛的硬件產(chǎn)品上部署機(jī)器學(xué)習(xí)模型。而且eIQ已經(jīng)被集成到了NXP的MCUXpresso軟件開發(fā)套件和Yocto開發(fā)環(huán)境中,成為邊緣應(yīng)用嵌入式開發(fā)工具鏈中不可或缺的一部分。
圖6:eIQ機(jī)器學(xué)習(xí)軟件平臺(tái)支持的NXP硬件產(chǎn)品(圖源:NXP)
值得一提的是,NXP還特別推出了針對汽車領(lǐng)域應(yīng)用的eIQ Auto工具包,專門用于NXP的S32V處理器和ADAS開發(fā)。eIQ Auto工具包的推理引擎包括一個(gè)后端,可自動(dòng)選擇給定神經(jīng)網(wǎng)絡(luò)模型的工作負(fù)載的最佳分區(qū),涵蓋器件中的所有不同計(jì)算引擎。這種針對垂直領(lǐng)域的產(chǎn)品細(xì)分,也代表了邊緣計(jì)算軟件工具的一個(gè)發(fā)展趨勢。
圖7:NXP S32V視覺和傳感器融合處理器
物聯(lián)網(wǎng)的“草根”時(shí)代
總之,有了優(yōu)化的硬件作為基石,再通過不斷完善的軟件工具讓強(qiáng)大的AI功能在邊緣應(yīng)用上“落地”,由此打造出的邊緣設(shè)備將被賦予更多的可能性。這些以往遍布我們周圍,默默工作著的物聯(lián)網(wǎng)邊緣設(shè)備,其形態(tài)、作用和價(jià)值也將被重新定義。
如果說與云端高大上的數(shù)據(jù)中心相比,物聯(lián)網(wǎng)邊緣設(shè)備顯得有些“草根”,那么邊緣計(jì)算的興起無疑宣示著一個(gè)物聯(lián)網(wǎng)的“草根”時(shí)代的到來。根據(jù)IDC的預(yù)測,到2021年,43%的物聯(lián)網(wǎng)計(jì)算將發(fā)生在邊緣。這是一個(gè)不低的起點(diǎn),邊緣計(jì)算的未來可期!
-
云計(jì)算
+關(guān)注
關(guān)注
39文章
7679瀏覽量
137034 -
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2899文章
43825瀏覽量
369372 -
邊緣計(jì)算
+關(guān)注
關(guān)注
22文章
3024瀏覽量
48319
原文標(biāo)題:邊緣計(jì)算:物聯(lián)網(wǎng)“草根”的崛起
文章出處:【微信號(hào):Mouser-Community,微信公眾號(hào):貿(mào)澤電子設(shè)計(jì)圈】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論