物聯(lián)網(wǎng) (IoT) 的戰(zhàn)略潛力推動工程師部署了越來越多的邊緣設(shè)備。這些設(shè)備可在沒有持續(xù)互聯(lián)網(wǎng)連接的情況下收集、處理和運(yùn)行數(shù)據(jù)推斷。一直以來,各個(gè)機(jī)構(gòu)都是將在邊緣收集的數(shù)據(jù)發(fā)送到云中,由機(jī)器學(xué)習(xí)模型進(jìn)行處理,因?yàn)樵O(shè)備缺乏處理這些數(shù)據(jù)所需的算力。
隨著更強(qiáng)大的處理器和模型壓縮軟件的發(fā)展,對云計(jì)算的依賴已有所減少。相反,邊緣設(shè)備現(xiàn)在有能力在本地執(zhí)行密集的 AI 計(jì)算,而這種計(jì)算以前是在云中完成的。互聯(lián)網(wǎng)連接設(shè)備的數(shù)量預(yù)計(jì)在 2030 年將達(dá)到 290 億臺[1],隨之而來的是對邊緣 AI 的需求的指數(shù)級增長。預(yù)計(jì)到 2027 年,邊緣 AI 將融入 65% 的邊緣設(shè)備中[2]。
推動邊緣 AI 發(fā)展的賦能技術(shù)
邊緣 AI 市場預(yù)計(jì)將從 2022 年的 156 億美元增長到 2029 年的 1074 億美元[3]。邊緣 AI 并非新概念,但最新技術(shù)進(jìn)步使得邊緣 AI 的實(shí)現(xiàn)更加簡單和經(jīng)濟(jì)。如今推動邊緣 AI 的四項(xiàng)主要進(jìn)步是:
微控制器 (MCU) 和數(shù)字信號處理器 (DSP) - 矢量處理器變得更加強(qiáng)大,同時(shí)芯片供應(yīng)商也在對其進(jìn)行自定義以滿足 AI 處理的需求。這些類型的處理器目前在 AI 硬件中占據(jù)著主導(dǎo)地位。
GPU(圖形處理單元)- 最初用于圖形密集型應(yīng)用,如游戲和視頻編輯,GPU 現(xiàn)在已用于訓(xùn)練 AI 模型和運(yùn)行推斷。
AI 加速器 ASIC - 雖然在 AI 相關(guān)任務(wù)中 GPU 的性能優(yōu)于 CPU,但為 AI 工作負(fù)載量身定制的自定義專用集成電路 (ASIC) 可以提供更高的速度和效率。神經(jīng)處理單元 (NPU) 是一種專門為處理 AI 模型而設(shè)計(jì)的 ASIC,因此它們比 CPU 更適合這項(xiàng)任務(wù)。
模型壓縮方法 - 由于邊緣設(shè)備通常在內(nèi)存和處理能力方面存在限制,因此在保持類似準(zhǔn)確性和性能水平的同時(shí)壓縮模型至關(guān)重要。如今最常見的 AI 壓縮方法有:
剪枝 - 刪除不必要或不太重要的參數(shù),以提高 AI 模型的效率、速度和內(nèi)存需求,同時(shí)最大限度地避免性能下降。
量化 - 通過降低模型中數(shù)值的精度來降低內(nèi)存負(fù)載,提高模型的推斷速度和能效。
知識蒸餾 - 將復(fù)雜模型的知識遷移到更緊湊的模型中,以模擬原始模型的行為和性能。
低秩分解 - 通過將高維數(shù)據(jù)分解為低維表示來壓縮高維數(shù)據(jù),以簡化復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型,同時(shí)保留辨識特征。
使用邊緣 AI 減少對云計(jì)算的依賴
雖然邊緣 AI 可能不會完全取代基于云的計(jì)算,但處理日益增長的海量數(shù)據(jù)的需求清楚地表明了一點(diǎn):工程師無法忽視當(dāng)今邊緣 AI 改變游戲規(guī)則的優(yōu)勢。邊緣 AI 的主要優(yōu)勢是實(shí)時(shí)的處理和決策,這會縮短延遲并降低與耗電和云處理相關(guān)聯(lián)的成本?;诰植繑?shù)據(jù)運(yùn)行推斷會減少發(fā)送到公共云、私有云或混合云進(jìn)行處理的原始數(shù)據(jù)。云服務(wù)在特定應(yīng)用中至關(guān)重要,并且可以通過在邊緣設(shè)備上運(yùn)行數(shù)據(jù)推斷來得到增強(qiáng)。
通過減少對持續(xù)互聯(lián)網(wǎng)連接的依賴,工程師能夠在許多行業(yè)更高效地實(shí)現(xiàn)邊緣 AI 模型?,F(xiàn)已有超出 400 個(gè)邊緣計(jì)算用例[4],涵蓋 19 個(gè)行業(yè)和 6 個(gè)技術(shù)領(lǐng)域。集成到邊緣設(shè)備中的 AI 模型在一些應(yīng)用中(例如汽車和醫(yī)學(xué))可能能夠拯救生命。
邊緣 AI 支持在設(shè)備上的實(shí)時(shí)智能決策,可顯著提高許多應(yīng)用的效率、響應(yīng)能力和自適應(yīng)性。
汽車安全關(guān)鍵型系統(tǒng)
汽車就是一個(gè)邊緣設(shè)備在本地收集和處理數(shù)據(jù)從而減少必須發(fā)送到云的數(shù)據(jù)量的一個(gè)示例。由于汽車電子控制單元 (ECU) 的自包含性質(zhì),數(shù)據(jù)處理必須在本地執(zhí)行,安全關(guān)鍵決策必須實(shí)時(shí)作出。汽車 ECU 等邊緣設(shè)備上的機(jī)器學(xué)習(xí)模型通過使用實(shí)時(shí)數(shù)據(jù)來適應(yīng)路況并減少碰撞,從而確保乘客安全。
一家汽車制造商訓(xùn)練機(jī)器學(xué)習(xí)模型來檢測過度轉(zhuǎn)向 - 車輛后輪在轉(zhuǎn)彎時(shí)失去對路面的抓地力時(shí)會出現(xiàn)過度轉(zhuǎn)向。制造商采集了成千上萬個(gè)與車輛加速度、轉(zhuǎn)向和偏航率(角速度)相關(guān)的數(shù)據(jù)點(diǎn)。通過將數(shù)據(jù)加載到 MATLAB 中,工程師可以使用 Statistics and Machine Learning Toolbox [5] 訓(xùn)練機(jī)器學(xué)習(xí)模型來識別過度轉(zhuǎn)向。然后,他們使用 MATLAB Coder [6] 將機(jī)器學(xué)習(xí)模型部署并集成到 ECU 中。
MATLAB 和 Simulink 的自動代碼生成功能支持在嵌入式設(shè)備上進(jìn)行快速原型構(gòu)建和部署邊緣 AI 應(yīng)用,彌合理論和實(shí)踐之間的差距。
醫(yī)療器械中的實(shí)時(shí)決策
邊緣 AI 在醫(yī)療設(shè)備領(lǐng)域的一個(gè)優(yōu)勢是能夠快速作出決策。實(shí)時(shí)數(shù)據(jù)分析和異常檢測可實(shí)現(xiàn)及時(shí)干預(yù),并降低與威脅生命和長期健康狀態(tài)相關(guān)聯(lián)的風(fēng)險(xiǎn)。醫(yī)療邊緣設(shè)備還可以與云中的應(yīng)用程序進(jìn)行通信以記錄數(shù)據(jù),而這不是一項(xiàng)時(shí)間敏感型任務(wù)。這樣,云計(jì)算并不會阻礙反而增強(qiáng)了邊緣設(shè)備上的數(shù)據(jù)推斷,從而創(chuàng)建了更加強(qiáng)大的設(shè)備網(wǎng)絡(luò)。
例如,某技術(shù)研究所研究小組為人工胰腺 (AP) 系統(tǒng)開發(fā)了預(yù)測算法,可檢測即將發(fā)生的低血糖和高血糖。該小組創(chuàng)建了虛擬患者,并使用 MATLAB 模擬心率和能量消耗等生理信號。完整的算法部署在移動設(shè)備上,該設(shè)備與胰島素泵、血糖監(jiān)測儀和可穿戴腕帶通信以實(shí)現(xiàn)有效的血糖濃度控制。最終,該研究小組創(chuàng)建了一個(gè)邊緣設(shè)備網(wǎng)絡(luò),作為一個(gè)集成的健康監(jiān)控系統(tǒng)協(xié)同工作。
結(jié)束語
工程師必須管理的數(shù)據(jù)量日益增長,邊緣 AI 的實(shí)現(xiàn)有助于保持運(yùn)營和成本效率,同時(shí)減少對云處理的依賴。隨著工程師構(gòu)建云推斷和 AI 賦能技術(shù)的不斷發(fā)展,將 AI 集成到邊緣設(shè)備很快成為公司打造特色產(chǎn)品的必要條件。最重要的是,邊緣 AI 應(yīng)被視為云推斷的附加工具,而不是當(dāng)前基于 AI 的系統(tǒng)的替代或全面革新。通過在邊緣實(shí)現(xiàn) AI 并將云用于允許時(shí)間延遲的應(yīng)用,任何行業(yè)的工程師都可以擴(kuò)展其 AI 工具箱。
審核編輯:劉清
-
微控制器
+關(guān)注
關(guān)注
48文章
7389瀏覽量
150621 -
處理器
+關(guān)注
關(guān)注
68文章
19027瀏覽量
228440 -
集成電路
+關(guān)注
關(guān)注
5371文章
11245瀏覽量
359727 -
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2898文章
43774瀏覽量
369002 -
AI加速器
+關(guān)注
關(guān)注
1文章
67瀏覽量
8618
原文標(biāo)題:邊緣 AI:支持在物聯(lián)網(wǎng)設(shè)備上實(shí)現(xiàn)實(shí)時(shí)決策
文章出處:【微信號:MATLAB,微信公眾號:MATLAB】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論