電子發(fā)燒友網(wǎng)報(bào)道(文/周凱揚(yáng))隨著大廠持續(xù)批量購置高性能GPU資源,目前的云端AI生態(tài)已經(jīng)打好了硬件基礎(chǔ),也已經(jīng)輻射到手機(jī)這樣的高算力端側(cè)設(shè)備。然而在數(shù)量更為龐大的其他端側(cè)設(shè)備,比如算力有限的IoT設(shè)備上,又該如何引入AI呢?這就不得不提到TinyML了。
小體量的機(jī)器學(xué)習(xí)
為了讓在超低功耗的MCU或傳感器設(shè)備上開發(fā)和部署AI模型,機(jī)器學(xué)習(xí)衍生出了TinyML這一研究領(lǐng)域。這里指的超低功耗最低可至mW級,從而打破定義智能設(shè)備的能耗壁壘,畢竟大部分的MCU主頻不超過1000MHz,內(nèi)存與存儲資源也有限,沒法用上那些大體量的模型。
且對于TinyML來說,即便其與服務(wù)器CPU、GPU等在算力上差距巨大,但所需的AI計(jì)算量依然不少。所以廠商往往需要從模型大小、處理器架構(gòu)效率這類軟硬結(jié)合的指標(biāo)上發(fā)力,比如Tensorflow Lite、PyTorch Mobile這類輕量級框架,又或是針對機(jī)器學(xué)習(xí)進(jìn)行優(yōu)化的CPU內(nèi)核或輔助計(jì)算的NPU等。
目前常見的TinyML應(yīng)用主要集中在視覺、音頻和振動這三大感知領(lǐng)域。以視覺而言,物體識別、人體姿態(tài)識別和深度識別之類的應(yīng)用早就在MCU應(yīng)用上普及了,但TinyML可以進(jìn)一步加強(qiáng)識別能力和識別效率,且其學(xué)習(xí)能力也使其不再局限于特定的識別目標(biāo)。
而音頻上TinyML就更加實(shí)用了,除去常見的關(guān)鍵詞識別、自動通話識別外,還可以不依靠額外的硬件或云端連接,進(jìn)一步完成降噪、機(jī)器翻譯等操作。至于振動相關(guān)的TinyML應(yīng)用主要集中在工業(yè)領(lǐng)域,比如人物活動識別、電機(jī)控制、預(yù)測性維護(hù)等等。
TinyML的邊緣生態(tài)
作為目前MCU市場的主導(dǎo)架構(gòu),Arm早早就邁入了對TinyML的研究,和高通、谷歌等廠商展開了相關(guān)領(lǐng)域的合作。同時(shí)Arm也開發(fā)出了部分處理器,為面積受限的低功耗芯片提供計(jì)算輔助,比如Cortex-M55、Ethos-U55/U65等等。
目前不少Arm MCU廠商在這些年的架構(gòu)和IP內(nèi)卷中同樣看到了邊緣AI的商機(jī),紛紛深入開展了TinyML的開發(fā),比如意法半導(dǎo)體、瑞薩、兆易創(chuàng)新和澎湃微等廠商。比如瑞薩就基于RA6T2這樣的電機(jī)控制MCU,利用TinyML及其Reality AI軟件實(shí)現(xiàn)了無需傳感器的預(yù)測性維護(hù)。在RISC-V架構(gòu)上,也有博流智能、嘉楠科技等廠商在發(fā)力TinyML。
不少廠商為了追趕進(jìn)度,也選擇了收購一途,比如近期收購了Atlazo的Nordic Semiconductor,前者就是一家專注于TinyML處理器、IP和傳感器接口開發(fā)的公司。Nordic也計(jì)劃在未來的SoC設(shè)計(jì)中,集成這些TinyML技術(shù),用于智能健康市場,比如心臟監(jiān)測、血糖監(jiān)測等。包括上文中提到的瑞薩Reality AI軟件,其實(shí)也是靠收購獲得的。
在相關(guān)的軟件開發(fā)上,國內(nèi)也有矽速科技這樣的廠商,在不斷推出開源套件的同時(shí),也提供了MaxiHub這樣一個(gè)專門針對邊緣設(shè)備的模型在線訓(xùn)練分享平臺,以及TinyMaix這樣一個(gè)面向MCU的超輕量級神經(jīng)網(wǎng)絡(luò)推理庫,支持ARM、RISC-V的多種專用指令優(yōu)化。
寫在最后
從軟硬件生態(tài)上來看,邊緣AI已經(jīng)變得愈發(fā)成熟,也必將是專注于MCU等低功耗半導(dǎo)體的廠商未來的必經(jīng)之路。但至于邊緣端直接運(yùn)行大模型這樣的應(yīng)用還是需要進(jìn)一步發(fā)展的,畢竟手機(jī)這類設(shè)備有著天生的算力與連接優(yōu)勢,但不少邊緣設(shè)備是不具備的,所以先從小的TinyML開始做起,才是腳踏實(shí)地的路線。
小體量的機(jī)器學(xué)習(xí)
為了讓在超低功耗的MCU或傳感器設(shè)備上開發(fā)和部署AI模型,機(jī)器學(xué)習(xí)衍生出了TinyML這一研究領(lǐng)域。這里指的超低功耗最低可至mW級,從而打破定義智能設(shè)備的能耗壁壘,畢竟大部分的MCU主頻不超過1000MHz,內(nèi)存與存儲資源也有限,沒法用上那些大體量的模型。
且對于TinyML來說,即便其與服務(wù)器CPU、GPU等在算力上差距巨大,但所需的AI計(jì)算量依然不少。所以廠商往往需要從模型大小、處理器架構(gòu)效率這類軟硬結(jié)合的指標(biāo)上發(fā)力,比如Tensorflow Lite、PyTorch Mobile這類輕量級框架,又或是針對機(jī)器學(xué)習(xí)進(jìn)行優(yōu)化的CPU內(nèi)核或輔助計(jì)算的NPU等。
目前常見的TinyML應(yīng)用主要集中在視覺、音頻和振動這三大感知領(lǐng)域。以視覺而言,物體識別、人體姿態(tài)識別和深度識別之類的應(yīng)用早就在MCU應(yīng)用上普及了,但TinyML可以進(jìn)一步加強(qiáng)識別能力和識別效率,且其學(xué)習(xí)能力也使其不再局限于特定的識別目標(biāo)。
而音頻上TinyML就更加實(shí)用了,除去常見的關(guān)鍵詞識別、自動通話識別外,還可以不依靠額外的硬件或云端連接,進(jìn)一步完成降噪、機(jī)器翻譯等操作。至于振動相關(guān)的TinyML應(yīng)用主要集中在工業(yè)領(lǐng)域,比如人物活動識別、電機(jī)控制、預(yù)測性維護(hù)等等。
TinyML的邊緣生態(tài)
作為目前MCU市場的主導(dǎo)架構(gòu),Arm早早就邁入了對TinyML的研究,和高通、谷歌等廠商展開了相關(guān)領(lǐng)域的合作。同時(shí)Arm也開發(fā)出了部分處理器,為面積受限的低功耗芯片提供計(jì)算輔助,比如Cortex-M55、Ethos-U55/U65等等。
目前不少Arm MCU廠商在這些年的架構(gòu)和IP內(nèi)卷中同樣看到了邊緣AI的商機(jī),紛紛深入開展了TinyML的開發(fā),比如意法半導(dǎo)體、瑞薩、兆易創(chuàng)新和澎湃微等廠商。比如瑞薩就基于RA6T2這樣的電機(jī)控制MCU,利用TinyML及其Reality AI軟件實(shí)現(xiàn)了無需傳感器的預(yù)測性維護(hù)。在RISC-V架構(gòu)上,也有博流智能、嘉楠科技等廠商在發(fā)力TinyML。
不少廠商為了追趕進(jìn)度,也選擇了收購一途,比如近期收購了Atlazo的Nordic Semiconductor,前者就是一家專注于TinyML處理器、IP和傳感器接口開發(fā)的公司。Nordic也計(jì)劃在未來的SoC設(shè)計(jì)中,集成這些TinyML技術(shù),用于智能健康市場,比如心臟監(jiān)測、血糖監(jiān)測等。包括上文中提到的瑞薩Reality AI軟件,其實(shí)也是靠收購獲得的。
在相關(guān)的軟件開發(fā)上,國內(nèi)也有矽速科技這樣的廠商,在不斷推出開源套件的同時(shí),也提供了MaxiHub這樣一個(gè)專門針對邊緣設(shè)備的模型在線訓(xùn)練分享平臺,以及TinyMaix這樣一個(gè)面向MCU的超輕量級神經(jīng)網(wǎng)絡(luò)推理庫,支持ARM、RISC-V的多種專用指令優(yōu)化。
寫在最后
從軟硬件生態(tài)上來看,邊緣AI已經(jīng)變得愈發(fā)成熟,也必將是專注于MCU等低功耗半導(dǎo)體的廠商未來的必經(jīng)之路。但至于邊緣端直接運(yùn)行大模型這樣的應(yīng)用還是需要進(jìn)一步發(fā)展的,畢竟手機(jī)這類設(shè)備有著天生的算力與連接優(yōu)勢,但不少邊緣設(shè)備是不具備的,所以先從小的TinyML開始做起,才是腳踏實(shí)地的路線。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報(bào)投訴
-
mcu
+關(guān)注
關(guān)注
146文章
16813瀏覽量
349484 -
AI
+關(guān)注
關(guān)注
87文章
29447瀏覽量
267771 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8328瀏覽量
132219
發(fā)布評論請先 登錄
相關(guān)推薦
研華科技攜手森云智能助力邊緣AI應(yīng)用落地
研華深知產(chǎn)業(yè)數(shù)智化不是“單機(jī)游戲”,更需要“生態(tài)合作”,基于此,研華集結(jié)生態(tài)伙伴,共榮物聯(lián)產(chǎn)業(yè)生態(tài)圈。今天小A君將為您介紹研華在邊緣AI重要
如何選擇合適的邊緣ai分析一體機(jī)解決方案
的解決方案,成為企業(yè)決策者亟需解決的問題。本文將從需求分析、技術(shù)考量、生態(tài)兼容及未來可擴(kuò)展性四個(gè)方面,探討如何科學(xué)合理地選擇合適的邊緣AI分析一體機(jī)。
智能邊緣放大招!英特爾舉辦2024網(wǎng)絡(luò)與邊緣計(jì)算行業(yè)大會,邊緣AI創(chuàng)新助力多元化應(yīng)用
今日,第十七屆英特爾網(wǎng)絡(luò)與邊緣計(jì)算行業(yè)大會在天津舉行,超過400位生態(tài)伙伴和客戶代表齊聚一堂,與英特爾共同探討邊緣AI的未來發(fā)展趨勢,并介紹
瑞薩電子推出Reality AI Explorer Tier,用于開發(fā)AI與TinyML解決方案
全球半導(dǎo)體解決方案供應(yīng)商瑞薩電子(TSE:6723)宣布推出Reality AI Explorer Tier——作為Reality AI Tools軟件的免費(fèi)版本,可用于開發(fā)工業(yè)、汽車和商業(yè)應(yīng)用中的AI與
ai邊緣盒子有哪些用途?ai視頻分析邊緣計(jì)算盒子詳解
近年來,隨著人工智能和邊緣計(jì)算的發(fā)展,一種名為AI邊緣盒子的新型設(shè)備正逐漸引起廣泛關(guān)注。作為一種集成了邊
什么是AI邊緣計(jì)算,AI邊緣計(jì)算的特點(diǎn)和優(yōu)勢介紹
隨著人工智能的迅猛發(fā)展,AI邊緣計(jì)算成為了熱門話題。那么什么是AI邊緣計(jì)算呢?簡單來說,它是將人工智能技術(shù)引入邊緣計(jì)算的新興領(lǐng)域,旨在將計(jì)算
邊緣AI它到底是什么?能做什么?
邊緣AI它到底是什么?能做什么? 邊緣人工智能是一種新興的人工智能技術(shù),它將人工智能的計(jì)算和決策能力移動到離數(shù)據(jù)生成源和終端設(shè)備更近的邊緣節(jié)
【先楫HPM5361EVK開發(fā)板試用體驗(yàn)】:4、TinyML測試(1)
、智能家居等。通過在邊緣設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型,可以實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)分析和決策,同時(shí)減少對云端計(jì)算資源的依賴,從而提高隱私保護(hù)和降低通信成本。
總的來說,TinyML代表了一種趨勢,即將機(jī)器學(xué)習(xí)能力
發(fā)表于 12-22 10:12
【限量門票】繁榮生態(tài),人才先行︱首屆OpenHarmony人才生態(tài)大會即將在上海召開
單位代表等,介紹OpenHarmony社區(qū)生態(tài)及人才進(jìn)展、展示OpenHarmony操作系統(tǒng)的技術(shù)革新、分享階段性技術(shù)成果,圍繞OpenHarmony人才生態(tài)發(fā)展中面臨的各種問題、挑戰(zhàn)與實(shí)踐,一同探索
發(fā)表于 12-04 16:30
【報(bào)名開啟】繁榮生態(tài),人才先行︱首屆OpenHarmony人才生態(tài)大會即將在上海召開
共建單位代表等,介紹OpenHarmony社區(qū)生態(tài)及人才進(jìn)展、展示OpenHarmony操作系統(tǒng)的技術(shù)革新、分享階段性技術(shù)成果,圍繞OpenHarmony人才生態(tài)發(fā)展中面臨的各種問題、挑戰(zhàn)與實(shí)踐,一同
發(fā)表于 12-04 16:23
什么是邊緣計(jì)算盒子(AI算法盒子)?
邊緣計(jì)算盒子是一種基于邊緣計(jì)算和人工智能技術(shù)的智能設(shè)備,它內(nèi)置了靈活可配的多樣化AI算法庫,所以也被稱為AI算法盒子或智能
評論