當出現(xiàn)新的行業(yè)流行語或短語時,像我們這樣寫這個話題的人們所面臨的挑戰(zhàn)是弄清楚一家公司的確切含義,尤其是當該公司使用該短語滿足其自身的營銷目標時。最新的一種是邊緣人工智能或邊緣AI。
由于物聯(lián)網(wǎng)(IoT)的激增以及能夠添加相當數(shù)量的計算能力或處理能力以在這些設(shè)備中實現(xiàn)智能的能力,因此“邊緣”可能相當寬泛,并且可能意味著“網(wǎng)關(guān)”到“端點”。因此,我們決定確定業(yè)界在邊緣與端點的定義上是否達成共識,誰愿意添加邊緣AI,以及可以為邊緣添加多少“智能”。
首先,邊緣和端點之間有什么區(qū)別?好吧,這取決于您的觀點-云中沒有的任何事物都可以定義為邊緣。
定義:邊緣可以是很多東西,端點實際上是端點
最清晰的定義可能來自英飛凌技術(shù)公司概念和系統(tǒng)工程的高級負責人沃爾夫?qū)じ惶丶{(Wolfgang Furtner)。他說:““邊緣AI”一詞從“邊緣”本身繼承了模糊性。有些人將汽車稱為邊緣設(shè)備,而其他人則將該術(shù)語用于具有低功率無線連接的小型能量收集傳感器。邊緣以相對方式使用,并且將局部性與中心性區(qū)分開。但是確實,有必要區(qū)分您在邊緣發(fā)現(xiàn)的各種事物。有時您會聽到諸如使用“邊緣”或“葉節(jié)點”之類的術(shù)語。Edge AI可以包括很多東西,包括汽車中的計算服務(wù)器。”
但是他說的關(guān)鍵是,“端點AI駐留在網(wǎng)絡(luò)的虛擬世界與現(xiàn)實世界相撞的位置,傳感器和執(zhí)行器都在附近?!?/span>
恩智浦半導(dǎo)體公司機器學(xué)習技術(shù)總監(jiān)Markus Levy說,這全都與語義有關(guān),在哪里劃定了界限。邊緣機器學(xué)習(ML)與“端點”機器相同,除了邊緣機器學(xué)習還可以包括發(fā)生在網(wǎng)關(guān)甚至是霧計算環(huán)境中的機器學(xué)習。端點ML通常與分布式系統(tǒng)有關(guān),例如,我們的客戶甚至在傳感器級別上都在增加智能。另一個例子是家庭自動化系統(tǒng),其中有“衛(wèi)星”設(shè)備(例如恒溫器,門鈴攝像頭,安全攝像頭或其他類型的連接設(shè)備),盡管它們可以獨立執(zhí)行機器學(xué)習功能,但它們也可能會饋入進行更高級ML處理的網(wǎng)關(guān)?!?/span>
從Arm的角度來看,其基礎(chǔ)設(shè)施業(yè)務(wù)總經(jīng)理兼副總裁Chris Bergey的說法略有不同,他評論了邊緣服務(wù)器和端點中智能水平的提高。他說:“諸如網(wǎng)橋和交換機之類的基本設(shè)備已被功能強大的邊緣服務(wù)器所取代,這些邊緣服務(wù)器將數(shù)據(jù)中心級的硬件添加到端點和云之間的網(wǎng)關(guān)中。那些進入5G基站的功能強大的新型邊緣服務(wù)器足夠強大,可以執(zhí)行復(fù)雜的AI處理-不僅包括ML推理,而且還包括培訓(xùn)?!?/span>
這與端點AI有何不同?Bergey評論說:“由于其強大的內(nèi)部硬件,智能手機長期以來一直是端點AI的沃土測試平臺。隨著物聯(lián)網(wǎng)與AI的進步和5G的推出相交,更多的設(shè)備上智能意味著更小的,對成本敏感的設(shè)備可以變得更智能,功能更強大,同時由于對云或互聯(lián)網(wǎng)的依賴程度降低而受益于更大的隱私和可靠性。隨著向端點提供更多智能的這種發(fā)展持續(xù)不斷,確切地發(fā)生智能的地方的邊界也將開始從端點到邊緣融合在一起,從而強調(diào)了對異構(gòu)計算基礎(chǔ)架構(gòu)的需求。”
對于其他人來說,優(yōu)勢就是云中沒有的一切。例如,Edge AI and Vision Alliance的創(chuàng)始人Jeff Bier說:“我們將Edge AI定義為在數(shù)據(jù)中心外部全部或部分實現(xiàn)的任何AI。情報可能就在傳感器旁邊,例如在智能相機中,或者在更遠的地方(例如雜貨店的設(shè)備間),甚至在更遠的地方(例如在蜂窩基站中)。或這些的某種組合或變化?!?/span>
Xilinx采取了類似的立場。該公司負責AI,軟件和生態(tài)系統(tǒng)的產(chǎn)品營銷總監(jiān)Nick Ni表示:“ Edge AI基本上是一種自給自足的智能,可在現(xiàn)場部署,而無需依賴數(shù)據(jù)中心。對于需要實時響應(yīng),安全性(例如,不向數(shù)據(jù)中心發(fā)送機密數(shù)據(jù))和低功耗(這是大多數(shù)設(shè)備)的應(yīng)用程序而言,這是至關(guān)重要的。就像人類不再依賴數(shù)據(jù)中心每天做出無數(shù)的決定一樣,在未來幾年中,邊緣人工智能將在半自動汽車和智能零售系統(tǒng)等應(yīng)用程序中占據(jù)市場主導(dǎo)地位?!?/span>
Imagination Technologies的人工智能高級總監(jiān)Andrew Grant重申了這一點。“就我們而言,這都是邊緣。客戶決定它的去向。我們將看到非常多的混合方法,在這種情況下,云和數(shù)據(jù)中心也絕對有作用?!?/span>他補充說:“市場[走向邊緣]的速度驚人。邊緣已經(jīng)出現(xiàn)了一波運動,但是對于許多應(yīng)用來說,硅的實現(xiàn)需要時間。Grant解釋說:“我們正在與一家中國的流量管理公司進行交流,該公司正在從云中來回移動數(shù)據(jù)。當我向他們解釋我們的工作時,如果交通信號燈本身可以確定汽車是否在行駛,他們便立即看到不必將數(shù)據(jù)存儲到云端的好處?!?/span>
嵌入式系統(tǒng)提供商Adesto Technologies的CTO Gideon Intrater表示,它們不一定區(qū)分邊緣和端點,因為該公司提供用于IoT邊緣服務(wù)器的設(shè)備以及IoT邊緣設(shè)備。“雖然我們不傾向于在自己的通信中使用'端點'一詞,但也許'端點'在定義上與邊緣設(shè)備保持一致。這些設(shè)備中的AI通常是某種程度的本地推斷,通過專用的加速器,通過近內(nèi)存處理或內(nèi)存計算,算法可以作為程序在處理器上運行?!?/span>
他補充說:“幾乎所有應(yīng)用程序中的邊緣AI都已成為現(xiàn)實。我們看到了工業(yè)和建筑實施中的巨大機會,其中AI可以通過預(yù)測性和預(yù)防性維護,制造中的質(zhì)量控制以及許多其他領(lǐng)域來提供收益。該行業(yè)才剛剛起步,并且每天過去,我們都希望AI為我們做更多的事情。當我們的沒有AI的舊設(shè)備無法直觀地了解我們的需求時,我們常常會感到沮喪,因為我們還有其他可以提供直觀功能的設(shè)備。最終用戶不知道如何使AI解決方案有效。他們只是期望它能工作?!?/span>
現(xiàn)在是技術(shù)采用周期的早期-那么誰會想要呢?
因此,我們在定義上很清楚:要么坐在營地中說邊緣就是所有不在云中的事物,要么與其他人清楚地將端點標識為物理世界與數(shù)字世界的交匯點,主要是傳感器。但是特定的應(yīng)用程序?qū)⒋_定可能需要添加智能的點,邊緣和端點之間的界限越來越模糊,并且計算基礎(chǔ)設(shè)施有些不同。
下一個問題是誰會想要它,對邊緣AI的市場期望是什么?恩智浦的Levy解釋說:“這是我們所有人仍要解決的問題?!?/span>“行業(yè)領(lǐng)導(dǎo)者積極參與實施;我不能說出名字,但是我們有大量的客戶在邊緣進行各種機器學(xué)習。但是,如果您看一下“技術(shù)采用周期”,我仍然相信該行業(yè)的大多數(shù)甚至還沒有處于“早期采用者階段”,而這實際上將在2020年中后期開始顯現(xiàn)。
“客戶仍在理解機器學(xué)習可能帶來的很棒的事情。但我通常會提供一些指導(dǎo):1)可以省錢嗎?例如,通過使工廠裝配線的運行速度更快或更有效,例如替換以前進行目視檢查的員工人數(shù);2)它可以賺錢嗎?例如,通過向產(chǎn)品添加一個很酷的功能使其更有用。也許這是條形碼掃描儀,通過使用機器學(xué)習,它可以消除包裝中以前無法精確掃描的皺紋。”
英飛凌的Furtner表示,這實際上是一個問題,即“邊緣AI的好處是什么?”他說:“實際上,關(guān)于邊緣的好處是,我們可以將其在約束方面的“弱點”轉(zhuǎn)變?yōu)閮?yōu)勢。人們確實關(guān)心諸如易用性,功能,隱私,安全性,成本,氣候或資源的可持續(xù)利用之類的事情。這些都是我們使用Edge AI可以實現(xiàn)的所有好處。我們堅信,在正確的地方使用AI可以改善我們的生活,并且端點中有很多AI的用例。Edge AI用于預(yù)測性維護和進一步的自動化或機器人技術(shù),家庭自動化或智能農(nóng)業(yè),僅舉幾個例子。通過我們在低功耗,支持AI的傳感器上的工作,我們使直觀的傳感變得更加普遍,從而刺激了家庭或城市中的新應(yīng)用,使生活更輕松,更安全,更綠色。
他還說,edge-AI提供了一種以更節(jié)省資源的方式,從而以可持續(xù)的方式從物聯(lián)網(wǎng)數(shù)據(jù)的爆炸式增長中獲取價值的能力,這在氣候變化時期至關(guān)重要。
Jeff Bier表示,應(yīng)用程序需求將在五個關(guān)鍵領(lǐng)域推動對邊緣AI的需求:
帶寬:即使使用5G,也可能沒有足夠的帶寬將所有原始數(shù)據(jù)發(fā)送到云端。
延遲:許多應(yīng)用程序需要比從云中獲得更快的響應(yīng)時間。
經(jīng)濟性:即使給定的應(yīng)用程序可以在帶寬和延遲方面從技術(shù)上使用云,在邊緣執(zhí)行AI可能更經(jīng)濟。
可靠性:即使給定的應(yīng)用程序在帶寬和延遲方面可以在技術(shù)上使用云,但與云的網(wǎng)絡(luò)連接并不總是可靠的,并且無論是否具有此連接,應(yīng)用程序都可能需要運行。在這種情況下,需要邊緣AI。一個例子是面部識別門鎖。如果網(wǎng)絡(luò)連接斷開,您仍然希望您的門鎖能夠正常工作。
隱私:即使給定的應(yīng)用程序可以在帶寬,延遲,可靠性和經(jīng)濟性方面在技術(shù)上使用云,也可能有許多應(yīng)用程序出于隱私原因需要本地處理。一個例子是嬰兒監(jiān)視器或臥室監(jiān)控攝像頭。
邊緣應(yīng)該有多聰明?這取決于內(nèi)存容量
這似乎是一個顯而易見的問題,但現(xiàn)實是您需要務(wù)實,每個應(yīng)用程序都不同。
Levy說:“智能通常不是限制因素,限制是存儲容量?!?/span>“實際上,內(nèi)存限制了可以部署的機器學(xué)習模型的大小,尤其是在MCU域中。為了更深入一點,例如基于視覺的應(yīng)用程序的機器學(xué)習模型將需要更多的處理能力和更多的內(nèi)存。同樣,當需要實時響應(yīng)時,處理能力更是一個因素?!?/span>
“我舉一個例子,就是一個帶有內(nèi)置攝像頭的微波爐來確定放入哪種食物-1或2秒的響應(yīng)時間就足夠了,從而可以使用NXP i.MX RT1050之類的東西。內(nèi)存量將決定模型的大小,進而決定機器可以識別的食物類別的數(shù)量。但是,如果插入了無法識別的食物該怎么辦?現(xiàn)在轉(zhuǎn)到網(wǎng)關(guān)或云計算出它是什么,然后使用該信息來允許智能邊緣設(shè)備重新訓(xùn)練。為了直接回答有關(guān)要包含多少“智能”的問題,所有這些都歸結(jié)為性能,準確性,成本和能耗之間的權(quán)衡。除此之外,我們還在開發(fā)一個將自動編碼器用于另一種形式的ML(異常檢測)的應(yīng)用程序。簡而言之,
Furtner回應(yīng)了務(wù)實的態(tài)度。“ Edge AI在能耗,空間和成本方面受到嚴重限制。在這種情況下,問題不是“我們應(yīng)該在邊緣上放多少智能”,而是“我們在邊緣上能買多少智能?”接下來的問題將是“哪些已知的AI技術(shù)可以以足夠“微小”的方式應(yīng)用于邊緣而被精簡?因此,功耗肯定會限制端點智能的數(shù)量。這些端點通常由小型電池供電,甚至取決于能量收集。數(shù)據(jù)傳輸也消耗大量能量?!?/span>
他補充說:“讓我們來一個智能傳感器。為了使本地AI在這些情況下正常運行,必須針對其特定的屬性和行為進行優(yōu)化。此外,只有通過嵌入式AI才有可能實現(xiàn)某些新傳感器。例如用于液體和氣體的環(huán)境傳感器。端點AI有很多原因。智能數(shù)據(jù)的使用和減少或快速的實時本地反應(yīng)是顯而易見的。數(shù)據(jù)隱私和安全性是其他。可以在生成原始數(shù)據(jù)的地方處理大量傳感器原始數(shù)據(jù),而大量的計算任務(wù)仍保留在云中。最低功耗神經(jīng)計算的最新進展(例如,邊緣TPU,神經(jīng)形態(tài)技術(shù))使邊界變得偏向邊緣和端點節(jié)點?!?/span>
Imagination Technologies的Grant表示:“在我們看來,將盡可能多的智能置于邊緣是很明顯的,然后可以在設(shè)備的使用壽命內(nèi)使用軟件優(yōu)化?!?/span>他將其比作游戲機行業(yè),在該行業(yè)中,供應(yīng)商發(fā)布了一個新的游戲機,但隨后在整個硬件壽命內(nèi)對其進行了軟件更新進行了優(yōu)化。他補充說,從成本或尺寸的角度來看,將神經(jīng)網(wǎng)絡(luò)加速器添加到片上系統(tǒng)(SoC)并不重要。“因此,加速邊緣的機會確實是巨大的。”
Arm的Bergey說:“隨著異構(gòu)計算在整個基礎(chǔ)架構(gòu)中無處不在,至關(guān)重要的是,我們能夠確定對數(shù)據(jù)進行處理最有意義的地方,并且這會因應(yīng)用程序而異,甚至可能會根據(jù)一天中的時間而變化。市場需要能夠?qū)⒉煌巧平唤oAI的不同層的解決方案,以便獲得那種推動真正業(yè)務(wù)轉(zhuǎn)型的整體見解。在邊緣,人工智能將扮演雙重角色。在網(wǎng)絡(luò)級別,它可以用于分析數(shù)據(jù)流以進行網(wǎng)絡(luò)預(yù)測和網(wǎng)絡(luò)功能管理-將數(shù)據(jù)智能地分發(fā)到當時最有意義的位置,無論是在云還是其他地方?!?/span>
Adesto的Intrater補充說:“在邊緣放置多少“智能”的決定取決于特定的應(yīng)用程序,以及它可以處理多少延遲(對于實時任務(wù)關(guān)鍵型應(yīng)用程序而言不多),功率范圍是多少。 (對于電池供電的設(shè)備來說很?。?,安全性和隱私問題,以及是否有互聯(lián)網(wǎng)連接。即使有Internet連接,由于帶寬消耗,您也不想將所有內(nèi)容都發(fā)送到云中進行分析。跨邊緣和云計算的明智之舉在于平衡所有這些問題?!?/span>
他繼續(xù)說:“您還可以在本地邊緣服務(wù)器上進行AI,當然培訓(xùn)和分析通常在云中完成。通常,這并不是一個簡單的決定AI發(fā)生位置的決定–“智能”通常是分布式的,其中一些發(fā)生在云中,而某些發(fā)生在邊緣設(shè)備中。典型的AI系統(tǒng)在本地完成AI和遠程完成AI之間有這樣的分歧。Alexa / Siri是一個很好的例子,其中設(shè)備中存在用于語音/關(guān)鍵字識別的算法,然后從那里進行的交互在云中進行?!?/span>
有哪些支持技術(shù)?
“邊緣AI有許多關(guān)鍵的使能技術(shù)。Edge AI和視覺聯(lián)盟的Bier說:“也許最明顯的是高性能,高能效,廉價的處理器,它們善于運行AI算法。”“但是還有很多其他的。其中最重要的一些是(1)軟件工具,用于有效使用這些處理器,以及(2)云平臺,以聚合來自邊緣設(shè)備的元數(shù)據(jù),并管理邊緣設(shè)備的配置和維護。”
如您所料,我們與之交談的大多數(shù)公司都為邊緣AI提供了一系列設(shè)備和IP。英飛凌表示,它將為物聯(lián)網(wǎng)提供傳感器,執(zhí)行器,包括NN(神經(jīng)網(wǎng)絡(luò))加速器在內(nèi)的微控制器以及硬件安全模塊。“電源效率,安全性和安全性是我們關(guān)鍵能力的一部分。通過我們的產(chǎn)品組合,我們幫助將真實世界與數(shù)字世界聯(lián)系起來,為邊緣提供安全,強大和節(jié)能的AI解決方案?!?Wolfgang Furtner說。
Xilinx的Nick Ni表示,將AI邊緣產(chǎn)品推向市場并非易事,因為工程師需要將機器學(xué)習技術(shù)與傳感器融合,計算機視覺和信號轉(zhuǎn)換等傳統(tǒng)算法融合在一起。“優(yōu)化所有工作負載以滿足端到端響應(yīng)能力,需要自適應(yīng)的域特定體系結(jié)構(gòu)(DSA),該體系結(jié)構(gòu)允許在硬件和軟件中進行編程。Xilinx SoC,FPGA和ACAP提供了這樣的適應(yīng)性平臺,可以在滿足端到端產(chǎn)品要求的同時進行持續(xù)創(chuàng)新。”
恩智浦表示,其支持技術(shù)包括硬件和軟件。Levy說:“有些客戶使用我們的低端Kinetis或LPC MCU來實現(xiàn)某些智能功能。在我們的i.MX RT交叉處理器級別上,它的確開始變得越來越有趣,我們?yōu)榧傻腗CU提供了Cortex M7,其工作頻率為600-1000MHz。我們的新型RT600包括M33和HiFi4 DSP,通過使用DSP在異構(gòu)模式下運行以加速神經(jīng)網(wǎng)絡(luò)的各個組件,我們實現(xiàn)了中等性能的機器學(xué)習。最新的i.MX 8M Plus將4個A53與一個專用的神經(jīng)處理單元(NPU)相結(jié)合,可提供2.25 TOPS和2個數(shù)量級的推理性能(運行功率低于3W)。高端NPU對于實時語音識別(即NLP),手勢識別,
從軟件角度來看,Levy表示,恩智浦提供了其eIQ機器學(xué)習軟件開發(fā)環(huán)境,以支持從i.MX RT到i.MX 8應(yīng)用處理器等的整個恩智浦產(chǎn)品組合中的開源ML技術(shù)。“借助eIQ,我們?yōu)榭蛻籼峁┝嗽谧约哼x擇的計算單元上部署ML的選項,包括CPU,GPU,DSP或NPU。您甚至還會看到運行語音應(yīng)用程序(例如,DSP上的關(guān)鍵字檢測,GPU或CPU上的人臉識別,NPU上的高性能視頻應(yīng)用程序)的語音應(yīng)用程序的異構(gòu)實現(xiàn),或其任意組合?!?/span>
Arm的Bergey說:“隨著我們邁向一萬億個IoT設(shè)備的世界,我們面臨著前所未有的基礎(chǔ)設(shè)施和架構(gòu)挑戰(zhàn)–因此,我們?yōu)閼?yīng)對這一巨大機遇而需要的技術(shù)也在不斷發(fā)展。在Arm,我們的重點是提供高度可配置,可擴展的解決方案,以滿足性能和功耗要求,以實現(xiàn)無處不在的AI。”
對于邊緣的AI,Adesto提供了使能技術(shù),包括具有AI加速器的ASIC,用于將權(quán)重存儲在用于語音和圖像識別的AI芯片中的NOR閃存以及將舊數(shù)據(jù)和新數(shù)據(jù)連接到云分析的智能邊緣服務(wù)器,例如IBM Watson。和Microsoft Azure。
Intrater補充說:“我們還在通過RRAM技術(shù)探索內(nèi)存中AI計算,其中單個存儲單元既充當存儲元素,又充當計算資源。在這種范例中,深層神經(jīng)網(wǎng)絡(luò)(DNN)的矩陣成為NVM細胞的陣列,矩陣的權(quán)重成為NVM細胞的電導(dǎo)。點積運算是通過對將輸入電壓施加到RRAM單元上而產(chǎn)生的電流求和來完成的。由于無需在計算資源和內(nèi)存之間移動權(quán)重,因此該模型可以實現(xiàn)電源效率和可伸縮性的無與倫比的組合?!?/span>
我們的觀點
對我來說,邊緣AI和端點AI之間有非常明顯的區(qū)別。端點是物理世界與數(shù)字世界交互的點。但是定義邊的方式非常有彈性。供應(yīng)商的不同之處在于,將數(shù)據(jù)中心中不存在的所有內(nèi)容都說成是邊緣(包括網(wǎng)關(guān),網(wǎng)絡(luò)邊緣,汽車),還是將端點定義為邊緣的子集的供應(yīng)商。
最終,該定義是不相關(guān)的。這取決于應(yīng)用程序,以及實際上可以在端點或邊緣放置多少智能。在內(nèi)存可用性,性能需求,成本和能耗之間進行權(quán)衡。這將確定可以在邊緣進行多少推理和分析,需要多少神經(jīng)網(wǎng)絡(luò)加速器,這是SoC的一部分,還是與CPU,GPU或DSP一起使用。這并不是要忘記使用內(nèi)存計算和AI等技術(shù)來解決挑戰(zhàn)的創(chuàng)新方法。
對此達成了廣泛共識:您投入多少智能取決于應(yīng)用程序,并且需要基于可用資源的務(wù)實方法。
-
邊緣智能
+關(guān)注
關(guān)注
1文章
66瀏覽量
7494
發(fā)布評論請先 登錄
相關(guān)推薦
評論