將 AI 移至邊緣的影響
在之前的博文中,我們探討了將人工智能 (AI) 移至網(wǎng)絡(luò)邊緣的有力論據(jù)。在本期中,我們將討論哪些 AI 應(yīng)用程序有利于這種方法。作為起點,回顧在網(wǎng)絡(luò)邊緣實施 AI 的原因給出了一些強烈的提示。檢查以下任何一項是否適用于該項目:
無法訪問快速、穩(wěn)定的網(wǎng)絡(luò)連接
產(chǎn)品在受限環(huán)境中運行
該項目需要交付實時人工智能
預(yù)算有限
鑒于這些因素,哪些特定的人工智能項目可以通過在邊緣運行機器學(xué)習(xí) (ML) 模型變得更容易?在這里,我們將研究將 AI 和 ML 模型(例如虛擬助手、面部識別和實時監(jiān)控應(yīng)用程序)移動到更靠近邊緣的好處。
虛擬助理
正如往常一樣,Apple 在 2010 年推出 Siri,引領(lǐng)了潮流。這為許多其他虛擬助手鋪平了道路,其中最著名的是亞馬遜的 Alexa 和 Google Assistant。虛擬助手讓科幻式的語音控制成為現(xiàn)實,其工作方式如下:
首先說喚醒詞或啟動助手。對于 Amazon Echo 等獨立設(shè)備,設(shè)備會使用簡單的語音模式匹配持續(xù)偵聽喚醒詞并在本地進(jìn)行處理。這就是為什么 Alexa 只能識別某些喚醒詞。
該設(shè)備現(xiàn)在連接到基于云的服務(wù)器并發(fā)送它聽到的錄音。
云服務(wù)器運行語音到文本 ML 模型,將錄制的語音轉(zhuǎn)換為自然語言文本塊。
使用自然語言處理來解析文本以提取含義。
服務(wù)器計算出請求的內(nèi)容并將適當(dāng)?shù)拿罨騼?nèi)容發(fā)送回設(shè)備。
很容易看出將 ML 模型移動到邊緣如何增強體驗:語音助手的響應(yīng)速度更快,不需要互聯(lián)網(wǎng)連接,并且可以嵌入語音控制。被調(diào)用的應(yīng)用程序本身可能需要網(wǎng)絡(luò)連接,例如音樂流服務(wù)。
面部識別
面部識別是人工智能發(fā)展最快的應(yīng)用之一。該技術(shù)仍在不斷發(fā)展,并伴隨著一些問題。2016 年,亞馬遜的 Rekognition 深陷爭議和種族主義指控。在對一組 25,000 張圖像進(jìn)行訓(xùn)練后,該系統(tǒng)錯誤地將 28 名美國少數(shù)民族國會議員識別為已知罪犯。
2019 年,英國最大的警察部隊大都會警察局對面部識別技術(shù)進(jìn)行的早期試驗表明,該技術(shù)在 81% 的情況下是不準(zhǔn)確的。然而,最新的面部識別系統(tǒng)正變得更加準(zhǔn)確。今年早些時候,大都會博物館宣布將采用該技術(shù)掃描大型活動中已知的麻煩制造者。
許多需要面部識別的用例需要該技術(shù)近乎實時地工作。因此,應(yīng)用程序依賴于將 ML 模型移動到網(wǎng)絡(luò)邊緣。Met 采用的系統(tǒng)基于 NEC NeoFace ? Watch,它是完全獨立的,可以實時運行。NEC 將其技術(shù)瞄準(zhǔn)其他幾個市場,包括零售、企業(yè)活動、節(jié)日和其他大型活動以及交通運輸。
實時監(jiān)控
重工業(yè)和采礦業(yè)依賴于極其龐大和昂貴的機械。如果這種機器發(fā)生意外故障,公司可能會損失數(shù)百萬美元。例如,許多采礦作業(yè)依賴于巨大的高功率泵,這些泵使工作區(qū)域遠(yuǎn)離水并將開采的泥漿泵送到加工廠。如果這些泵中的一個發(fā)生災(zāi)難性故障,整個操作就會停止。因此,礦業(yè)公司將大量資源投入到 AI 系統(tǒng)中,這些系統(tǒng)旨在防患于未然地預(yù)測潛在故障。
目前,這些系統(tǒng)通?;趶倪B接到設(shè)備的物聯(lián)網(wǎng) (IoT) 傳感器傳輸數(shù)據(jù)。然后在中央位置處理此數(shù)據(jù),并將任何必要的警告發(fā)送回適當(dāng)?shù)牟僮鲉T。然而,礦山和建筑工地可能橫跨數(shù)十公里,通常處于惡劣地形中,因此將 ML 模型直接集成到邊緣設(shè)備中將簡化整個過程。
在邊緣運行 AI 和 ML 模型需要什么?
將 AI 移動到網(wǎng)絡(luò)邊緣需要三件事:
適用硬件
新工具
創(chuàng)建 ML 模型的新范例
讓我們看看這些要求中的每一個。
優(yōu)化的硬件
如前所述,ML 模型通常依賴于大量并行操作。坦率地說,他們需要原始計算能力。然而,計算能力與設(shè)備實際消耗的功率之間總是存在權(quán)衡。要將 ML 模型移動到邊緣,需要消耗盡可能少的功率的設(shè)備。當(dāng)設(shè)備需要嵌入時更是如此。幸運的是,現(xiàn)在可以使用范圍廣泛的高性能、低功耗 MCU。
適用工具
接下來需要的是一個合適的工具鏈,用于在微控制器上運行 ML 模型。絕大多數(shù) ML 框架設(shè)計為在 64 位 Intel 系列 CPU 或圖形處理單元 (GPU) 上運行。相比之下,所有適用的微控制器都具有 32 位精簡指令集架構(gòu),例如 ARM ? Cortex ?系列 MCU。但是, TensorFlow Lite等 ML 框架使 ML 能夠在此類 MCU 上運行。
一次建模,隨處運行
難題的最后一塊是創(chuàng)建和運行ML模型的不同范例。這可以用短語“建模一次,在任何地方運行”來概括。本質(zhì)上,這正是它的意思:創(chuàng)建模型,通常使用高功率ML優(yōu)化機器,然后使用工具鏈將其轉(zhuǎn)換為可以在任何微控制器上運行的代碼。不幸的是,這使我們無法從持續(xù)學(xué)習(xí)或強化學(xué)習(xí)中獲益。
權(quán)衡
下表描述了ML模型在邊緣運行時所做的一些權(quán)衡(表1)。希望它能提供一些指導(dǎo),幫助您決定是否將下一個人工智能項目推向邊緣。
表1:邊緣運行ML模型的權(quán)衡
Feature | In the data center | At the edge |
Real-time | No | Yes |
Continual learning | Yes | No |
Embeddable | No | Yes |
Network needed? | Yes | No |
Reinforcement learning | Yes | No |
Full range of models? | Yes | No |
結(jié)論
將ML模型移動到邊緣為AI提供了新的用例,這有望帶來一場可嵌入的AI革命。MCU硬件和在這些MCU上運行ML模型所需的工具的發(fā)展為此類技術(shù)的擴(kuò)展提供了基礎(chǔ)。
審核編輯hhy
-
AI
+關(guān)注
關(guān)注
87文章
29435瀏覽量
267747 -
人工智能
+關(guān)注
關(guān)注
1789文章
46397瀏覽量
236607 -
ML
+關(guān)注
關(guān)注
0文章
144瀏覽量
34533
發(fā)布評論請先 登錄
相關(guān)推薦
評論