基于人工智能神經(jīng)網(wǎng)絡(luò)的嵌入式機(jī)器學(xué)習(xí)

人工智能的火爆，也帶旺了許多新名詞，比如“機(jī)器學(xué)習(xí)”。

與讓機(jī)器按照既定的程序執(zhí)行指令的傳統(tǒng)工作方式不同，基于人工智能神經(jīng)網(wǎng)絡(luò)（ANN）的機(jī)器學(xué)習(xí)，其核心是讓機(jī)器能夠在沒有人工輸入和干預(yù)的情況下自動學(xué)習(xí)和改進(jìn)其操作或功能，這讓機(jī)器看上去具有了自我學(xué)習(xí)和進(jìn)化的能力，表現(xiàn)得更為“智能”。這對于應(yīng)付一些復(fù)雜、無法提前預(yù)知情況下的判斷和決策尤為關(guān)鍵，比如讓車輛在無人駕駛的狀態(tài)針對路況環(huán)境做出正確的反應(yīng)。

機(jī)器學(xué)習(xí)的興起

讓機(jī)器進(jìn)行“學(xué)習(xí)”的模式，也像極了人類大腦進(jìn)行學(xué)習(xí)和認(rèn)知的過程。首先，需要用一組數(shù)據(jù)對于ANN進(jìn)行“訓(xùn)練”，讓ANN具備某一類“知識”；之后，機(jī)器就可以從過去的訓(xùn)練中汲取知識和經(jīng)驗(yàn)，在新情況出現(xiàn)時(shí)基于訓(xùn)練有素的ANN進(jìn)行“推理”，做出準(zhǔn)確的判斷。

實(shí)際上機(jī)器學(xué)習(xí)并不是一個(gè)新概念，之所以這兩年火起來，自有其原因。從人工智能的ABC（A：算法；B：大數(shù)據(jù)；C：算力）三要素來看，算法雖然很“網(wǎng)紅”，但實(shí)質(zhì)上突破性的進(jìn)步有限，很多現(xiàn)在用的算法不過是將塵封多年的成果拿出來換個(gè)臉而已，而后兩者的發(fā)展才是機(jī)器學(xué)習(xí)興起的決定性作用。

過去20年間隨著數(shù)字化和互聯(lián)網(wǎng)的發(fā)展，人類積累了大量的數(shù)據(jù)，而前幾年大數(shù)據(jù)概念的興起和應(yīng)用，更是為機(jī)器學(xué)習(xí)做了良好的鋪墊，讓人們可以獲取大量可用于機(jī)器學(xué)習(xí)“訓(xùn)練”的數(shù)據(jù)。而算力方面，不斷提升的處理器技術(shù)為機(jī)器學(xué)習(xí)提供了堅(jiān)固的基石，可以禁得起更復(fù)雜和更深層次的ANN的考驗(yàn)。比如針對計(jì)算資源消費(fèi)大戶的“訓(xùn)練”階段，人們就發(fā)展出了GPU、FPGA、TPU、異構(gòu)處理器等多種計(jì)算平臺，去應(yīng)對算力挑戰(zhàn)。

機(jī)器學(xué)習(xí)所需的算力的提升，除了得益于底層硬件處理器平臺的進(jìn)步，還有一個(gè)不可忽視的重要因素，就是云計(jì)算的發(fā)展。以云計(jì)算為核心的集中式的大數(shù)據(jù)處理模式，將以前分散的計(jì)算資源集中到了云端，也讓以前看來不可能完成的計(jì)算任務(wù)成為可能。所以云計(jì)算也成為整個(gè)人工智能發(fā)展的一個(gè)重要基礎(chǔ)性支撐技術(shù)。

圖1，機(jī)器學(xué)習(xí)催生了很多創(chuàng)新的人工智能應(yīng)用，比如無人駕駛（圖片來源：網(wǎng)絡(luò)）

從云到邊緣

不過時(shí)至今日，集中式的云計(jì)算模式也遇到了挑戰(zhàn)。大家逐漸發(fā)現(xiàn)，大量的人工智能應(yīng)用和機(jī)器學(xué)習(xí)場景是發(fā)生在更為靠近用戶的網(wǎng)絡(luò)邊緣節(jié)點(diǎn)端的，如果凡事都要上傳到云端進(jìn)行分析判斷，然后再將指令下發(fā)到邊緣節(jié)點(diǎn)進(jìn)行處理，這么“漫長”的數(shù)據(jù)通信鏈路會受制于網(wǎng)絡(luò)傳輸帶寬的影響，產(chǎn)生不能接受的延時(shí)，同時(shí)還有諸如安全、功耗等方面的挑戰(zhàn)。

這一云計(jì)算的瓶頸必然促使人們重新考慮合理配置計(jì)算資源，提供一個(gè)更為合理和高效的計(jì)算體系架構(gòu)，于是“邊緣計(jì)算”應(yīng)運(yùn)而生了。與集中式的云計(jì)算不同，邊緣計(jì)算要做的是，不必再將數(shù)據(jù)傳到遙遠(yuǎn)的云端進(jìn)行處理，而是在邊緣側(cè)就地解決，讓邊緣端的嵌入式設(shè)備去完成實(shí)時(shí)性的數(shù)據(jù)分析和智能化處理。這實(shí)際上遵循的是一個(gè)“在正確的時(shí)間將正確的數(shù)據(jù)放在正確的位置處理”的策略，由此而形成的“云+邊緣端”的混合計(jì)算模式對于未來的物聯(lián)網(wǎng)架構(gòu)影響深遠(yuǎn)。

具體到基于機(jī)器學(xué)習(xí)的人工智能應(yīng)用場景，在部署其計(jì)算體系時(shí)也自然會考慮到上述“從云計(jì)算向邊緣計(jì)算”的發(fā)展趨勢，合理配置計(jì)算資源，令數(shù)據(jù)處理的效能最大化。對此，目前大家普遍的共識就是：充分利用云端算力，在云端去完成ANN的“訓(xùn)練”工作，而將“推理”放在網(wǎng)絡(luò)邊緣節(jié)點(diǎn)設(shè)備中進(jìn)行，進(jìn)而形成一個(gè)完整高效的機(jī)器學(xué)習(xí)系統(tǒng)。這有助于降低網(wǎng)絡(luò)擁塞風(fēng)險(xiǎn)，提升處理實(shí)時(shí)性，增強(qiáng)用戶隱私保護(hù)，甚至在無法聯(lián)網(wǎng)的情況下也能啟用“推理”功能。

舉個(gè)例子，比如一個(gè)人臉識別系統(tǒng)，可以將在云端受過“訓(xùn)練”的ANN部署到本地用戶端，當(dāng)攝像頭捕捉到人臉信息后，會利用本地嵌入式設(shè)備的處理器去完成“推理”工作，將其與本地?cái)?shù)據(jù)庫中存儲的人臉信息庫進(jìn)行比對，完成人臉識別的工作。這就是一個(gè)典型的“訓(xùn)練在云端、推理在邊緣”的例子。

圖2，邊緣計(jì)算架構(gòu)（圖片來源：網(wǎng)絡(luò)）

嵌入式系統(tǒng)上的機(jī)器學(xué)習(xí)

當(dāng)然，雖然上面這種“云端一體”的計(jì)算架構(gòu)看上去很美，但在實(shí)施過程中還是會面臨諸多問題。一個(gè)最直接的問題是——在網(wǎng)絡(luò)邊緣端工作的嵌入式設(shè)備，通常都是處于資源受限的狀態(tài)，功耗、成本、外形尺寸等方面的制約使其無法具備像云端系統(tǒng)那樣“奢侈”的計(jì)算能力。因此想要實(shí)現(xiàn)“在嵌入式系統(tǒng)上跑機(jī)器學(xué)習(xí)”，就需要從硬件設(shè)計(jì)到軟件部署，做出特殊化的安排。不過從另一個(gè)角度來看，這恰恰是給嵌入式系統(tǒng)設(shè)計(jì)帶來了新的機(jī)遇，使其雖然身處網(wǎng)絡(luò)“邊緣”，但實(shí)則成為了大家關(guān)注的“中心”。

在嵌入式機(jī)器學(xué)習(xí)方面，整個(gè)產(chǎn)業(yè)鏈已經(jīng)積極行動起來了。比如作為產(chǎn)業(yè)鏈上游的嵌入式處理器技術(shù)供應(yīng)商，ARM就宣布推出了機(jī)器學(xué)習(xí)處理器，以及神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)軟件ARM NN。ARM NN可以在現(xiàn)有神經(jīng)網(wǎng)絡(luò)框架（如TensorFlow或Caffe）與在嵌入式Linux平臺上運(yùn)行的底層硬件處理器之間實(shí)現(xiàn)橋接，讓開發(fā)人員方便地將機(jī)器學(xué)習(xí)框架和工具，無縫地在底層嵌入式平臺上運(yùn)行。

ARM推出的ARM NN軟件實(shí)現(xiàn)了機(jī)器學(xué)習(xí)所需的神經(jīng)網(wǎng)絡(luò)框架與嵌入式硬件之間的橋接（圖片來源：ARM）

而在產(chǎn)業(yè)鏈的另一端，互聯(lián)網(wǎng)巨擘和云計(jì)算提供商態(tài)度也很積極。如2017年的Google I/O年會上，Google發(fā)布了針對基于ARM的Android平臺的TensorFlow Lite；2018年3月阿里云在云棲大會·深圳峰會上，也宣布推出了首個(gè)IoT邊緣計(jì)算產(chǎn)品Link Edge，將自身的云計(jì)算優(yōu)勢下探到網(wǎng)絡(luò)邊緣端，為提升人工智能的應(yīng)用效率打造云、端一體的協(xié)同計(jì)算體系。

上述發(fā)端自產(chǎn)業(yè)鏈兩極的嘗試，最終會在某些契合點(diǎn)上“握手”并形成合力，成為嵌入式機(jī)器學(xué)習(xí)的推手。那時(shí)，嵌入式機(jī)器學(xué)習(xí)的“火”想必又會上升到一個(gè)更高的溫度。