TinyML計算機(jī)視覺正在通過microNPU（μ NPU）變?yōu)楝F(xiàn)實(shí)

今天的計算機(jī)視覺（CV）技術(shù)正處于一個轉(zhuǎn)折點(diǎn)，主要趨勢正在融合，使云技術(shù)在微小的邊緣AI設(shè)備中變得無處不在。技術(shù)進(jìn)步使這種以云為中心的人工智能技術(shù)能夠擴(kuò)展到邊緣，新的發(fā)展將使邊緣的人工智能視覺無處不在。

有三個主要的技術(shù)趨勢使這種演變。新的精益神經(jīng)網(wǎng)絡(luò)算法適合微型設(shè)備的內(nèi)存空間和計算能力。新的硅架構(gòu)為神經(jīng)網(wǎng)絡(luò)處理提供了比傳統(tǒng)微控制器（MCU）高幾個數(shù)量級的效率。用于較小微處理器的AI框架正在成熟，減少了在邊緣開發(fā)微型機(jī)器學(xué)習(xí)（ML）實(shí)現(xiàn)（tinyML）的障礙。

當(dāng)所有這些元素結(jié)合在一起時，毫瓦級的微型處理器可以擁有強(qiáng)大的神經(jīng)處理單元，這些單元可以執(zhí)行非常高效的卷積神經(jīng)網(wǎng)絡(luò)（CNN）-視覺處理中最常見的ML架構(gòu)-利用成熟且易于使用的開發(fā)工具鏈。這將在我們生活的各個方面實(shí)現(xiàn)令人興奮的新用例。

邊緣CV的承諾

數(shù)字圖像處理（過去的叫法）用于從半導(dǎo)體制造和檢測到高級駕駛員輔助系統(tǒng)（ADAS）功能（如車道偏離警告和盲點(diǎn)檢測），再到移動的設(shè)備上的圖像美化和操作等各種應(yīng)用。展望未來，邊緣CV技術(shù)正在實(shí)現(xiàn)更高級別的人機(jī)界面（HMI）。

HMI在過去十年中發(fā)生了重大變化。除了鍵盤和鼠標(biāo)等傳統(tǒng)界面之外，我們現(xiàn)在還擁有觸摸顯示屏、指紋識別器、面部識別系統(tǒng)和語音命令功能。在明顯改善用戶體驗(yàn)的同時，這些方法還有一個共同點(diǎn)它們都對用戶操作做出反應(yīng)。HMI的下一個層次將是通過上下文感知來理解用戶及其環(huán)境的設(shè)備。

情境感知設(shè)備不僅能感知用戶，還能感知它們所處的環(huán)境，所有這些都是為了做出更好的決策，實(shí)現(xiàn)更有用的自動化交互。例如，筆記本電腦可以在視覺上感知用戶何時注意，并相應(yīng)地調(diào)整其行為和電源策略。Synaptics的Emza Visual Sense技術(shù)已經(jīng)實(shí)現(xiàn)了這一點(diǎn)，OEM可以使用該技術(shù)在用戶不觀看顯示器時自適應(yīng)調(diào)暗顯示器以優(yōu)化功耗，從而降低顯示器的能耗。通過跟蹤旁觀者的眼球（旁觀者檢測），該技術(shù)還可以通過提醒用戶并隱藏屏幕內(nèi)容來增強(qiáng)安全性，直到海岸清晰。

另一個例子：智能電視機(jī)感知是否有人在觀看以及從哪里觀看，然后相應(yīng)地調(diào)整圖像質(zhì)量和聲音。它可以自動關(guān)閉，以保存電力時，沒有人在那里?；蛘?，空調(diào)系統(tǒng)根據(jù)房間占用情況優(yōu)化電力和氣流，以保存能源成本。這些和其他建筑物中智能能源利用的例子在家庭-辦公室混合工作模式下變得更加重要。

在工業(yè)領(lǐng)域中，視覺感測也有無窮無盡的用例，從用于安全監(jiān)管的物體檢測（即，限制區(qū)、安全通道、防護(hù)裝備執(zhí)行）直到用于制造過程控制的異常檢測。在農(nóng)業(yè)技術(shù)中，作物檢查以及CV技術(shù)實(shí)現(xiàn)的狀態(tài)和質(zhì)量監(jiān)控都至關(guān)重要。

無論是在筆記本電腦、消費(fèi)電子產(chǎn)品、智能建筑傳感器還是工業(yè)環(huán)境中，當(dāng)微型和負(fù)擔(dān)得起的微處理器、微型神經(jīng)網(wǎng)絡(luò)和優(yōu)化的人工智能框架使設(shè)備更加智能和節(jié)能時，這種環(huán)境計算能力就可以實(shí)現(xiàn)。nbsp；

神經(jīng)網(wǎng)絡(luò)視覺處理的發(fā)展

2012年是CV開始從啟發(fā)式CV方法轉(zhuǎn)向深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）的轉(zhuǎn)折點(diǎn)，Alex Krizhevsky和他的同事發(fā)表了AlexNet。DCNN在那年贏得ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC）后就再也沒有回頭路了。

從那時起，地球儀的團(tuán)隊一直在尋求更高的檢測性能，但對底層硬件的效率沒有太多的關(guān)注。所以CNN仍然是數(shù)據(jù)和計算饑渴的。這種對性能的關(guān)注對于在云基礎(chǔ)設(shè)施中運(yùn)行的應(yīng)用程序來說是很好的。

2015年，ResNet152被引入。它有6000萬個參數(shù)，單次推理操作需要超過11gigaflops，并且在ImageNet數(shù)據(jù)集上表現(xiàn)出94%的前5名準(zhǔn)確率。這繼續(xù)推動CNN的性能和準(zhǔn)確性。但直到2017年，隨著谷歌的一組研究人員發(fā)表了MobileNets，我們才看到了效率的提升。

MobileNets-針對智能手機(jī)-比當(dāng)時現(xiàn)有的神經(jīng)網(wǎng)絡(luò)（NN）架構(gòu)輕得多。例如，MobileNetV 2有350萬個參數(shù)，需要336 Mflops。這種大幅減少最初是通過艱苦的勞動實(shí)現(xiàn)的-手動識別深度學(xué)習(xí)網(wǎng)絡(luò)中的層，這并沒有增加太多的準(zhǔn)確性。后來，自動化的架構(gòu)搜索工具允許進(jìn)一步改進(jìn)層的數(shù)量和組織。在內(nèi)存和計算負(fù)載方面，MobileNetV 2比ResNet 192大約“輕”20倍，表現(xiàn)出90%的前5名準(zhǔn)確率。一組新的移動友好應(yīng)用程序現(xiàn)在可以使用AI。

硬件也在不斷發(fā)展

通過更小的NN和對所涉及的工作負(fù)載的清晰理解，開發(fā)人員現(xiàn)在可以為微型AI設(shè)計優(yōu)化的硅。這導(dǎo)致了微神經(jīng)處理單元（微NPU）。通過嚴(yán)格管理內(nèi)存組織和數(shù)據(jù)流，同時利用大規(guī)模并行性，這些小型專用核心可以比典型MCU中的獨(dú)立CPU快10倍或100倍地執(zhí)行NN推理。一個例子是Arm Ethos U55微型NPU。

讓我們來看看microNPU（μ NPU）影響的一個具體示例。CV的基本任務(wù)之一是對象檢測。物體檢測本質(zhì)上需要兩個任務(wù)：定位，確定物體在圖像中的位置，以及分類，識別檢測到的物體（圖2）。

Emza在Ethos U55 μN(yùn)PU上實(shí)現(xiàn)了一個人臉檢測模型，訓(xùn)練了一個對象檢測和分類模型，該模型是單鏡頭檢測器的輕量級版本，由Synaptics優(yōu)化，僅用于檢測人臉類別。結(jié)果令我們驚訝，模型執(zhí)行時間不到5毫秒：這與強(qiáng)大的智能手機(jī)應(yīng)用處理器（如Snapdragon 845）的執(zhí)行速度相當(dāng)。當(dāng)在使用四個Cortex A53內(nèi)核的Raspberry Pi 3B上執(zhí)行相同的模型時，執(zhí)行時間要長六倍。

AI框架和民主化

廣泛采用任何像ML這樣復(fù)雜的技術(shù)都需要良好的開發(fā)工具。TensorFlow Lite for Microcontrollers（TFLM）是一個框架，旨在更輕松地為tinyML訓(xùn)練和部署AI。對于完整TensorFlow所涵蓋的運(yùn)算符子集，TFLM會發(fā)出微處理器C代碼，用于在μN(yùn)PU上運(yùn)行解釋器和模型。來自Meta的PyTorch移動的框架和Glow編譯器也針對這一領(lǐng)域。此外，現(xiàn)在有很多AI自動化平臺（稱為AutoML）可以自動化針對微小目標(biāo)的AI部署的某些方面。例如Edge Impulse、Deeplite、Qeexo和SensiML。

但要在特定硬件和μ NPU上執(zhí)行，必須修改編譯器和工具鏈。Arm開發(fā)了Vela編譯器，可以優(yōu)化U55 μ NPU的CNN模型執(zhí)行。Vela編譯器通過自動在CPU和μ NPU之間分割模型執(zhí)行任務(wù)，消除了包含CPU和μ NPU的系統(tǒng)的復(fù)雜性。

更廣泛地說，Apache TVM是一個開源的，端到端的ML編譯器框架，用于CPU，GPU，NPU和加速器。TVM micro的目標(biāo)是微控制器，其愿景是在任何硬件上運(yùn)行任何AI模型。AI框架、AutoML平臺和編譯器的這種演變使開發(fā)人員更容易利用新的μ NPU來滿足他們的特定需求。

無處不在的邊緣AI

在邊緣無處不在的基于ML的視覺處理的趨勢是明確的。硬件成本正在下降，計算能力正在顯著提高，新的方法使訓(xùn)練和部署模型變得更加容易。所有這些都減少了采用的障礙，并增加了CV AI在邊緣的使用。

但是，即使我們看到越來越普遍的微小邊緣AI，仍然有工作要做。為了使環(huán)境計算成為現(xiàn)實(shí)，我們需要服務(wù)于許多細(xì)分領(lǐng)域的長尾用例，這些用例可能會帶來可擴(kuò)展性挑戰(zhàn)。在消費(fèi)品、工廠、農(nóng)業(yè)、零售和其他領(lǐng)域，每個新任務(wù)都需要不同的算法和獨(dú)特的數(shù)據(jù)集進(jìn)行訓(xùn)練。解決每個用例所需的研發(fā)投資和技能組合仍然是當(dāng)今的主要障礙。

這一差距最好由人工智能公司通過開發(fā)豐富的模型示例集（"模型動物園"）和應(yīng)用程序參考代碼來圍繞其NPU產(chǎn)品升級軟件來填補(bǔ)。通過這樣做，他們可以為長尾提供更廣泛的應(yīng)用，同時通過針對目標(biāo)硬件優(yōu)化正確的算法來確保設(shè)計成功，以在定義的成本、大小和功耗限制范圍內(nèi)解決特定的業(yè)務(wù)需求。

審核編輯 黃宇