深度學(xué)習(xí)在IoT大數(shù)據(jù)和流分析中的應(yīng)用

來源：網(wǎng)絡(luò)大數(shù)據(jù)（ID:raincent_com）

摘要：這篇論文對于使用深度學(xué)習(xí)來改進(jìn)IoT領(lǐng)域的數(shù)據(jù)分析和學(xué)習(xí)方法進(jìn)行了詳細(xì)的綜述。

在物聯(lián)網(wǎng)時代，大量的感知器每天都在收集并產(chǎn)生著涉及各個領(lǐng)域的數(shù)據(jù)。

由于商業(yè)和生活質(zhì)量提升方面的訴求，應(yīng)用物聯(lián)網(wǎng)(IoT)技術(shù)對大數(shù)據(jù)流進(jìn)行分析是十分有價值的研究方向。

這篇論文對于使用深度學(xué)習(xí)來改進(jìn)IoT領(lǐng)域的數(shù)據(jù)分析和學(xué)習(xí)方法進(jìn)行了詳細(xì)的綜述。從機器學(xué)習(xí)視角，作者將處理IoT數(shù)據(jù)的方法分為IoT大數(shù)據(jù)分析和IoT流數(shù)據(jù)分析。論文對目前不同的深度學(xué)習(xí)方法進(jìn)行了總結(jié)，并詳細(xì)討論了使用深度學(xué)習(xí)方法對IoT數(shù)據(jù)進(jìn)行分析的優(yōu)勢，以及未來面臨的挑戰(zhàn)。

論文貢獻(xiàn)

為了更好的在IoT領(lǐng)域內(nèi)應(yīng)用深度學(xué)習(xí)方法，作者分析了IoT數(shù)據(jù)的關(guān)鍵特征和主要問題。

作者對于目前最先進(jìn)的深度學(xué)習(xí)方法及其在物聯(lián)網(wǎng)領(lǐng)域?qū)τ诖髷?shù)據(jù)和流數(shù)據(jù)的應(yīng)用進(jìn)行了詳細(xì)的總結(jié)。

作者對于目前應(yīng)用了深度學(xué)習(xí)方法的大量IoT應(yīng)用進(jìn)行了介紹，并且對不同類型的深度神經(jīng)網(wǎng)絡(luò)在各種IoT領(lǐng)域的應(yīng)用進(jìn)行了概括和對比。

強調(diào)了深度學(xué)習(xí)與物聯(lián)網(wǎng)應(yīng)用成功結(jié)合所面臨的挑戰(zhàn)和未來的研究方向。

論文結(jié)構(gòu)

物聯(lián)網(wǎng)數(shù)據(jù)特征及分析要求

IoT快速流數(shù)據(jù)

目前流數(shù)據(jù)分析都是基于數(shù)據(jù)并行計算或增量處理的框架，盡管這些技術(shù)減少了從流數(shù)據(jù)分析框架返回響應(yīng)的時間延遲，對于IoT應(yīng)用的嚴(yán)格時間要求，它們并不是最佳方案。

IoT需要在數(shù)據(jù)源附近的平臺(甚至是IoT設(shè)備自身)上進(jìn)行快速流數(shù)據(jù)分析，以達(dá)到實時或近實時性的要求，傳統(tǒng)的流數(shù)據(jù)分析方法則面臨著計算、存儲以及數(shù)據(jù)源能量方面的局限和挑戰(zhàn)。

IoT大數(shù)據(jù)

IoT大數(shù)據(jù)具有“6V”特點：

容量(Volume)：數(shù)據(jù)量是將數(shù)據(jù)集視為大數(shù)據(jù)、或傳統(tǒng)的大規(guī)模/超大數(shù)據(jù)的一個決定性因素，使用物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)量比以前要多得多，明顯符合這一特點。

速度(Velocity)：物聯(lián)網(wǎng)大數(shù)據(jù)產(chǎn)生和處理速率要足夠高，以支持實時大數(shù)據(jù)的可用性。鑒于這種高數(shù)據(jù)率，也證明了需要先進(jìn)的工具和技術(shù)分析才能有效地運作。

多樣性(Variety)：一般來說，大數(shù)據(jù)有不同的形式和類型。這可能包括結(jié)構(gòu)化的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。各種各樣的數(shù)據(jù)類型可以通過物聯(lián)網(wǎng)產(chǎn)生，如文本、音頻、視頻、傳感器數(shù)據(jù)等等。

真實性(Veracity)：真實性是指質(zhì)量，一致性，和數(shù)據(jù)的可信性，有真實性的數(shù)據(jù)才能進(jìn)行準(zhǔn)確的分析。這一點對于物聯(lián)網(wǎng)來說尤其重要，特別是那些群體感知數(shù)據(jù)。

易變性(Variability)：這個屬性是指數(shù)據(jù)流的速率不同。由于物聯(lián)網(wǎng)應(yīng)用的性質(zhì)，不同的數(shù)據(jù)生成組件可能會有不一致的數(shù)據(jù)流。此外，在特定時間，一個數(shù)據(jù)源的數(shù)據(jù)加載速率可能不同。例如，利用物聯(lián)網(wǎng)傳感器的停車服務(wù)應(yīng)用在高峰期的數(shù)據(jù)加載會達(dá)到峰值。

價值(Value)：價值是指大數(shù)據(jù)轉(zhuǎn)化成為有用的信息和內(nèi)容，為組織帶來競爭優(yōu)勢。數(shù)據(jù)的價值的高度不僅僅取決于對數(shù)據(jù)的處理過程或服務(wù)，還取決于對待數(shù)據(jù)的方式。

數(shù)據(jù)流處理的主要障礙是缺少能部署在系統(tǒng)邊緣，甚至是IoT設(shè)備上的框架或算法。當(dāng)采用深度學(xué)習(xí)方法時，也要折衷考慮運行在系統(tǒng)邊緣的網(wǎng)絡(luò)的深度和性能。

深度學(xué)習(xí)

與其他傳統(tǒng)機器學(xué)習(xí)方法相比，深度學(xué)習(xí)結(jié)構(gòu)在近幾年受到越來越廣泛的關(guān)注。

Google Trend顯示近幾年對深度學(xué)習(xí)的關(guān)注呈上升趨勢

深度學(xué)習(xí)整體訓(xùn)練機制

結(jié)構(gòu)

深度學(xué)習(xí)模型總結(jié)

1)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)

CNN的核心結(jié)構(gòu)是卷積層，有一系列可學(xué)習(xí)的參數(shù)，稱作濾波器。訓(xùn)練過程中，濾波器在全圖按照卷積順序進(jìn)行移動，計算輸入和濾波器的乘積，得到該濾波器的特征圖。CNN的另一個結(jié)構(gòu)是池化層，將輸入劃分成不重疊的區(qū)域，然后用每個區(qū)域的最大值作為輸出。CNN的最后一個結(jié)構(gòu)是ReLU激活函數(shù)層，既可以縮短訓(xùn)練時間，也能避免影響網(wǎng)絡(luò)的泛化能力。

CNN和DNN的主要區(qū)別在于CNN具有局部相連、權(quán)值共享的特性，因此在視覺任務(wù)中具有獨特的優(yōu)越性，并且降低了網(wǎng)絡(luò)的復(fù)雜性。

2)循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)

循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

RNN主要適用于輸入為序列(例如語音和文本)或時間序列的數(shù)據(jù)(傳感器數(shù)據(jù))。RNN的輸入既包括當(dāng)前樣例，也包括之前觀察的樣例。也就是說，時間為t-1時RNN的輸出會影響時間為t的輸出。RNN的每個神經(jīng)元都有一個反饋環(huán)，將當(dāng)前的輸出作為下一步的輸入。該結(jié)構(gòu)可以解釋為RNN的每個神經(jīng)元都有一個內(nèi)部存儲，保留了用之前輸入進(jìn)行計算得到的信息。

3)長短時記憶(Long Short Term Memory，LSTM)

LSTM記憶單元結(jié)構(gòu)

LSTM是RNN的一種擴展。LSTM中，每個神經(jīng)元除了有反饋環(huán)這一儲存信息的機制，還有用于控制神經(jīng)元信息通過的“遺忘門”、“輸入層門”及“輸出層門”，防止不相關(guān)的信息造成的擾動。

4)自動編碼器(Autoencoders，AE)

自編碼器網(wǎng)絡(luò)結(jié)構(gòu)

AE的輸入層和輸出層由一個或多個隱層相連接，其輸入和輸出神經(jīng)元數(shù)量相同。該網(wǎng)絡(luò)的目標(biāo)是通過用最簡單的方式將輸入變換到輸出，以重建輸入信息。

5)變分自動編碼器(Variational Autoencoders，VAE)

變分自動編碼器結(jié)構(gòu)

VAE對數(shù)據(jù)結(jié)構(gòu)的假設(shè)并不強，是較為流行的生成模型框架。它很適用于IoT解決方案，因為IoT數(shù)據(jù)呈現(xiàn)的多樣性，以及標(biāo)記數(shù)據(jù)的缺失。模型由兩個子網(wǎng)絡(luò)組成：一個生成樣例，一個進(jìn)行假設(shè)推理。

6)生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)

生成對抗網(wǎng)絡(luò)概念圖

GAN由兩個神經(jīng)網(wǎng)絡(luò)組成，一個生成網(wǎng)絡(luò)，一個判別網(wǎng)絡(luò)，共同工作來產(chǎn)生合成的、高質(zhì)量數(shù)據(jù)。生成器根據(jù)數(shù)據(jù)在訓(xùn)練數(shù)據(jù)集中的分布生成新數(shù)據(jù)，判別器學(xué)習(xí)判別真實數(shù)據(jù)和生成器生成的假數(shù)據(jù)。GAN的目標(biāo)函數(shù)是基于極大極小博弈的，一個網(wǎng)絡(luò)要最大化目標(biāo)函數(shù)，而另一個要最小化目標(biāo)函數(shù)。

7)受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)

受限玻爾茲曼機結(jié)構(gòu)

RBM是一種隨機神經(jīng)網(wǎng)絡(luò)，由兩層組成，一層是包含輸入的可見層，一層是含有隱變量的隱藏層。RBM中的限制是指同一層的任意兩個神經(jīng)元互不相連。除此之外，偏置單元與所有的可見層和隱藏層單元都相連。

8)深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)

深度信念網(wǎng)絡(luò)結(jié)構(gòu)圖

虛線表示特征提取通道，實現(xiàn)表示生成通道。DBN是一種生成神經(jīng)網(wǎng)絡(luò)，由一個可見層可幾個隱層組成?？梢蕴崛∮?xùn)練數(shù)據(jù)的多層表示，并且對輸入數(shù)據(jù)進(jìn)行重構(gòu)。DBN的訓(xùn)練過程是逐層訓(xùn)練，將每一層視作一個RBM，在前一層的基礎(chǔ)上進(jìn)行訓(xùn)練。這樣的機制使DBN成為深度學(xué)習(xí)中有效且快速的網(wǎng)絡(luò)之一。

9)階梯網(wǎng)絡(luò)(Ladder Network)

兩層階梯網(wǎng)絡(luò)

階梯網(wǎng)絡(luò)在無監(jiān)督和半監(jiān)督學(xué)習(xí)任務(wù)中達(dá)到了先進(jìn)的水平。階梯網(wǎng)絡(luò)由兩個編碼器和一個解碼器組成。編碼器作為網(wǎng)絡(luò)的有監(jiān)督部分，解碼器進(jìn)行無監(jiān)督學(xué)習(xí)。訓(xùn)練目標(biāo)是最小化有監(jiān)督部分和無監(jiān)督網(wǎng)絡(luò)的損失和。

快速實時深度學(xué)習(xí)結(jié)構(gòu)

使用深度學(xué)習(xí)模型對數(shù)據(jù)流進(jìn)行快速實時的處理仍在起步階段。

早期工作：

【1】是對超限學(xué)習(xí)機（Extreme learning machine，ELM）的擴展——OS-ELM，將一個實時序列學(xué)習(xí)算法應(yīng)用到單隱層的前饋神經(jīng)網(wǎng)絡(luò)。

【2】Ren等人提出的Faster-RCNN在圖片中的目標(biāo)檢測中達(dá)到了接近實時的速度。他們的目標(biāo)檢測框架的運行時間為5-17fps。然而對于圖像處理任務(wù)，真正的實時效果需要系統(tǒng)的處理和分析時間達(dá)到30fps或更高。

【3】Redmon等人提出了YOLO，將目標(biāo)檢測的速度提高到45fps，以及更小版本的YOLO，速度更是達(dá)到了155fps，已經(jīng)適用于智能相機。

深度學(xué)習(xí)與其他方法結(jié)合

1）深度增強學(xué)習(xí)（Deep Reinforcement Learning）

深度增強學(xué)習(xí)是將增強學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的產(chǎn)物。其目標(biāo)是創(chuàng)建能自主學(xué)習(xí)的個體（agent），通過建立成功的交互過程以獲得長期的最大正反饋（reward）。

當(dāng)環(huán)境（environment）可由大量狀態(tài)表示時，傳統(tǒng)的增強學(xué)習(xí)方法稍顯不足，而深度神經(jīng)網(wǎng)絡(luò)則彌補了這一點。在IoT領(lǐng)域，【4】使用深度增強學(xué)習(xí)實現(xiàn)了半監(jiān)督條件下智能校園環(huán)境中的定位。

2）遷移學(xué)習(xí)與深度模型（Transfer Learning with Deep Models）

遷移學(xué)習(xí)主要應(yīng)用在域適應(yīng)和多任務(wù)學(xué)習(xí)的領(lǐng)域。遷移學(xué)習(xí)對于許多難以收集訓(xùn)練數(shù)據(jù)的IoT應(yīng)用來說都是一個可用的解決方案。

例如訓(xùn)練一個通過智能手機的低功耗藍(lán)牙和Wifi fingerpringting的定位系統(tǒng)，同一時間，在同一地點的RSSI值（Received Signal Strength Indication接收的信號強度指示）對于不同的平臺來說可能不同。

如果我們對一個平臺訓(xùn)練了一個模型，該模型可以遷移到其他平臺，而不需要對新平臺再收集訓(xùn)練數(shù)據(jù)。

3）深度學(xué)習(xí)與在線學(xué)習(xí)算法

由于IoT的應(yīng)用產(chǎn)生的數(shù)據(jù)流會上傳到云平臺來分析，在線機器學(xué)習(xí)算法的角色變得越來越重要，因為訓(xùn)練模型需要隨數(shù)據(jù)的增加而更新。

框架

近幾年，隨著深度學(xué)習(xí)在各個領(lǐng)域的應(yīng)用熱潮，各種深度學(xué)習(xí)框架也應(yīng)運而生。

Tensorflow： Tensorflow是機器學(xué)習(xí)系統(tǒng)的開源庫，可以使用多種深度神經(jīng)網(wǎng)絡(luò)。

Tensorflow使用圖表示來建立神經(jīng)網(wǎng)絡(luò)模型。開發(fā)人員也在使用TensorBoard，能可視化神經(jīng)網(wǎng)絡(luò)模型，并且觀測學(xué)習(xí)過程，包括參數(shù)更新。

Torch： Torch是一個機器學(xué)習(xí)開源框架，包含大量深度學(xué)習(xí)算法，可用于深度神經(jīng)網(wǎng)絡(luò)模型的簡單開發(fā)。它基于Lua語言開發(fā)，是訓(xùn)練深度學(xué)習(xí)算法的輕量級快速框架。支持在CPU和GPU上開發(fā)機器學(xué)習(xí)模型，并且提供了訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的并行計算庫。

Caffe： Caffe是一個深度學(xué)習(xí)算法和參考模型集的開源框架?；?a href="http://srfitnesspt.com/tags/C++/" target="_blank">C++，支持CUDA進(jìn)行GPU運算，并且提供Python和Matlab接口。Caffe通過配置文件定義模型，而不需要在源代碼中定義參數(shù)，將模型表示和實現(xiàn)分開。

深度學(xué)習(xí)框架對比

深度學(xué)習(xí)在IoT領(lǐng)域的應(yīng)用

IoT應(yīng)用和基礎(chǔ)服務(wù)。

基礎(chǔ)服務(wù)

1）圖像識別：

IoT的一大部分應(yīng)用場景中，輸入深度學(xué)習(xí)的數(shù)據(jù)是圖片或視頻。每天，每個人都在用手機的高清攝像頭拍攝者圖片和視頻，除此之外，家居、校園或工廠也在使用智能攝像頭。所以，圖像識別、分類、目標(biāo)檢測是這類設(shè)備的基礎(chǔ)應(yīng)用。

2）語音識別

隨著智能手機和可穿戴設(shè)備的普及，語音識別也成了人們和自己的設(shè)備互動的一種自然而方便的方式。Price等人【5】搭建了一個專用的低功耗深度學(xué)習(xí)芯片，用于自動語音識別。這種特制芯片的能量消耗要比目前手機上運行的語音識別工具的能量消耗低100倍。

3）室內(nèi)定位

室內(nèi)定位在IoT領(lǐng)域有許多應(yīng)用，例如智能家居、智能校園、或智能醫(yī)院。例如DeepFi系統(tǒng)，在線下訓(xùn)練階段，通過深度學(xué)習(xí)用之前儲存的WiFi通道狀態(tài)信息數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)權(quán)重，在線上定位階段通過fingerpringting來測定用戶位置。

4）生理和心理狀態(tài)檢測

IoT與深度學(xué)習(xí)的結(jié)合也應(yīng)用在了檢測各種生理或心理狀態(tài)中，例如姿態(tài)、活動和情緒。許多IoT應(yīng)用都在交付的服務(wù)中整合了人體姿態(tài)估計或活動識別模塊，例如智能家居、智能汽車、XBox、健康、運動等等。

5）安全和隱私

安全和隱私是所有IoT領(lǐng)域應(yīng)用所關(guān)注的一個重要問題。事實上，系統(tǒng)功能的有效性取決于是否能保護(hù)機器學(xué)習(xí)工具和處理過程不受攻擊。虛假數(shù)據(jù)注入（False Data Injection，F(xiàn)DI）是數(shù)據(jù)驅(qū)動系統(tǒng)的一種常見攻擊類型。

He等人【6】提出用條件DBN從歷史數(shù)據(jù)中提取FDI特征，然后利用這些特征進(jìn)行實時攻擊檢測。作為物聯(lián)網(wǎng)數(shù)據(jù)和應(yīng)用程序的一大貢獻(xiàn)者，智能手機也面臨著黑客攻擊的威脅。

Yuan等人【7】提出用深度學(xué)習(xí)框架來鑒別安卓應(yīng)用中的惡意軟件，準(zhǔn)確率達(dá)到了96.5%。深度機器學(xué)習(xí)方法的安全性和隱私保護(hù)是能否在IoT領(lǐng)域應(yīng)用的最重要因素。

Shokri等人【8】提出了一種解決分布式學(xué)習(xí)的深度學(xué)習(xí)模型隱私保護(hù)問題的方法。

應(yīng)用

1）智能家居：

智能家居的概念涉及廣泛的基于IoT的應(yīng)用，它有助于提高家庭的能源使用和效率，以及居住者的便利性、生產(chǎn)力和生活質(zhì)量。如今，家電可以與互聯(lián)網(wǎng)連接，提供智能服務(wù)。例如微軟和 Liebherr的一個合作項目，對從冰箱內(nèi)收集的信息應(yīng)用了Cortana 深度學(xué)習(xí)。這些分析和預(yù)測可以幫助家庭更好地控制他們的家庭用品和開支，并結(jié)合其他外部數(shù)據(jù)，可用于監(jiān)測和預(yù)測健康趨勢。

2）智慧城市：

智能城市服務(wù)跨越多個物聯(lián)網(wǎng)領(lǐng)域，如交通、能源、農(nóng)業(yè)等。智慧城市的一個重要問題是預(yù)測群體移動模式，Song等人【9】開發(fā)了基于深度神經(jīng)網(wǎng)絡(luò)模型的系統(tǒng)，在城市級別實現(xiàn)了這一目標(biāo)。Liang等人【10】基于RNN模型搭建了實時群體密度預(yù)測系統(tǒng)，利用移動手機用戶的通信數(shù)據(jù)對交通站的群體密度進(jìn)行預(yù)測。廢物管理和垃圾分類也是智慧城市的一個相關(guān)任務(wù)，可以通過基于視覺分類任務(wù)的CNN模型來實現(xiàn)自動化。Amato等人【11】基于智能相機和深度CNN開發(fā)了檢測停車場的使用中和空閑車位的系統(tǒng)。

3）能源：

消費者與智能電網(wǎng)之間的雙向通信是IoT大數(shù)據(jù)的來源。能源供應(yīng)商希望學(xué)習(xí)當(dāng)?shù)氐哪茉聪M模式、預(yù)測需求，并根據(jù)實時分析做出適當(dāng)?shù)臎Q定。在智能電網(wǎng)方面，從太陽能、風(fēng)能或其他類型的自然可持續(xù)能源中預(yù)測電力是一個活躍的研究領(lǐng)域，深度學(xué)習(xí)在這一領(lǐng)域的許多應(yīng)用中越來越多地被使用。

4）智能交通系統(tǒng)：

來自智能交通系統(tǒng)（ITS）的數(shù)據(jù)是大數(shù)據(jù)的另一個數(shù)據(jù)源。Ma等人【12】采用RBM和RNN結(jié)構(gòu)設(shè)計了一個交通網(wǎng)絡(luò)分析系統(tǒng)，模型輸入是參與該系統(tǒng)的出租車GPS數(shù)據(jù)。該系統(tǒng)通過一小時內(nèi)的累積數(shù)據(jù)預(yù)測交通擁堵的準(zhǔn)確率高達(dá)88%。ITS也帶動了交通標(biāo)志檢測和識別的發(fā)展，這一技術(shù)在自動駕駛、輔助駕駛系統(tǒng)中都有很重要的應(yīng)用。除此之外，許多初創(chuàng)公司應(yīng)用深度學(xué)習(xí)來完善自動駕駛汽車系統(tǒng)的檢測行人、交通標(biāo)志、路障等任務(wù)。

5）醫(yī)療和健康：

IoT結(jié)合深度學(xué)習(xí)也在為個人和組織提供醫(yī)療和健康方案中得到應(yīng)用。例如，開發(fā)基于移動應(yīng)用程序的精確測量飲食攝入量的解決方案，可以幫助提升個人健康和幸福感。Liu等人【13】采用CNN開發(fā)了識別食物圖片和相關(guān)信息的系統(tǒng)。用深度學(xué)習(xí)對醫(yī)學(xué)圖片進(jìn)行分類和分析是醫(yī)療領(lǐng)域的研究熱點。Pereira等人【14】通過CNN識別手寫圖片來鑒定早期帕金森癥。除此之外，深度學(xué)習(xí)與IoT的結(jié)合在聲音異常檢測、乳腺血管疾病檢測中也得到了應(yīng)用

6）農(nóng)業(yè)：

生產(chǎn)健康作物和發(fā)展有效的種植方式是健康社會和可持續(xù)環(huán)境的要求。使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行植物病害識別是一個可行的解決方案。深度學(xué)習(xí)也被用于遙感，進(jìn)行土地和作物的檢測與分類。研究顯示，使用CNN進(jìn)行作物識別準(zhǔn)確率達(dá)到了85%，相比于MLP或隨機森林有很大提高。自動耕作中的預(yù)測和檢測任務(wù)也應(yīng)用了深度學(xué)習(xí)。

7）教育：

IoT和深度學(xué)習(xí)的結(jié)合有助于提高教育系統(tǒng)的效率。移動設(shè)備可以收集學(xué)生的數(shù)據(jù)，深度分析方法可以用來預(yù)測和解釋學(xué)生的進(jìn)步和成就。增強現(xiàn)實技術(shù)結(jié)合可穿戴設(shè)備和移動設(shè)備也是深度學(xué)習(xí)在這一領(lǐng)域的潛在應(yīng)用，激發(fā)學(xué)生的興趣，讓教育學(xué)習(xí)方法更有效。此外，深度學(xué)習(xí)可以用于個性化推薦模塊，向教育者推薦更多相關(guān)內(nèi)容。利用深度學(xué)習(xí)對大型開放式網(wǎng)絡(luò)課程數(shù)據(jù)（MOOC）進(jìn)行分析，可以幫助學(xué)生更好的學(xué)習(xí)。除此之外，利用CNN監(jiān)測教室占用率是深度學(xué)習(xí)在教育方面的另一個應(yīng)用。

8）工業(yè)：

對于工業(yè)部門來說，IoT和網(wǎng)絡(luò)物理系統(tǒng)（CPS）是推動制造技術(shù)邁向智能制造（工業(yè)4.0）的核心要素。工業(yè)中的廣泛應(yīng)用均可以受益于深度學(xué)習(xí)模型的引入。通過將裝配線中生產(chǎn)車輛的圖像及其注釋都輸入深度學(xué)習(xí)系統(tǒng)，可以利用AlexNet、GoogLeNet等網(wǎng)絡(luò)實現(xiàn)視覺檢測。

9）政府：

許多涉及市政的各種任務(wù)需要精確的分析和預(yù)測?！?5】利用美國地質(zhì)調(diào)查局網(wǎng)絡(luò)的歷史數(shù)據(jù)訓(xùn)練LSTM網(wǎng)絡(luò)，可進(jìn)行地震預(yù)測?！?6】利用極端氣候的圖片訓(xùn)練CNN，進(jìn)行極端氣候事件探測。此外，城市的基礎(chǔ)設(shè)施，如道路、供水管道等的損害檢測，是IoT和深度學(xué)習(xí)可以為政府提供便利的另一個領(lǐng)域。

10）運動和娛樂：

運動分析近年來發(fā)展迅速，為團(tuán)隊或運動員帶來了競爭優(yōu)勢?！?7】提出了深度學(xué)習(xí)方法打造智能籃球場?！?8】采用RNN識別NBA比賽中的球員違規(guī)。【19】結(jié)合了可穿戴設(shè)備傳感數(shù)據(jù)和CNN進(jìn)行排球運動員活動識別?！?0】采用層級結(jié)構(gòu)的LSTM模型研究排球隊的整體活動。

11）零售：

隨著移動設(shè)備的普及，網(wǎng)上購物的人數(shù)大大增加了。最近出現(xiàn)了通過視覺搜索技術(shù)向產(chǎn)品圖像檢索的轉(zhuǎn)變。CNN一直用于服裝和時尚市場的視覺搜索，幫助你在網(wǎng)店中找到在電影中看到的或在街上看到的商品。IoT結(jié)合深度學(xué)習(xí)可以搭建視覺購物輔助系統(tǒng)，包括智能眼鏡、手套和購物車，目的是幫助視障人士購物。此外，智能購物車的開發(fā)可以實現(xiàn)實時自結(jié)賬的功能。

IoT設(shè)備上的深度學(xué)習(xí)

深度學(xué)習(xí)在語音和視頻方面的成功為IoT的基礎(chǔ)服務(wù)打下了良好的基礎(chǔ)，如何將它們的模型和方法部署在資源受限的設(shè)備上成了IoT領(lǐng)域的一個重要研究方向。到目前為止，深度學(xué)習(xí)方法難以應(yīng)用于IoT和資源受限設(shè)備，因為它們需要大量的資源來運行，如處理器、電池能量和存儲器。

幸運的是，近期研究顯示，深度神經(jīng)網(wǎng)絡(luò)的許多參數(shù)是冗余的，有時也不需要大量的隱層。有效的去除這些參數(shù)或?qū)涌梢詼p少網(wǎng)絡(luò)的復(fù)雜度，同時對輸出不會有太大的影響。

方法和技術(shù)

1）網(wǎng)絡(luò)壓縮

在資源受限設(shè)備上應(yīng)用深度神經(jīng)網(wǎng)絡(luò)的方法之一是網(wǎng)絡(luò)壓縮，將密集的網(wǎng)絡(luò)轉(zhuǎn)化為一個稀疏的網(wǎng)絡(luò)。主要局限性在于，它不足以支持所有類型的網(wǎng)絡(luò)。它只適用于具有這種稀疏性的特定網(wǎng)絡(luò)模型。另外，修剪多余的和不重要的參數(shù)或神經(jīng)元，是在資源受限的設(shè)備上運行深度神經(jīng)網(wǎng)絡(luò)的另一個重要途徑。

深度神經(jīng)網(wǎng)絡(luò)剪枝整體概念圖

2）近似計算：

近似計算是實現(xiàn)在IoT設(shè)備上部署機器學(xué)習(xí)工具的另一種方法，并有助于主機設(shè)備的節(jié)能。在許多IoT應(yīng)用中，機器學(xué)習(xí)的輸出不一定是精確的，而是在可接受的范圍內(nèi)提供所需的質(zhì)量。實際上，將深度學(xué)習(xí)模型與近似計算相結(jié)合，可以為資源受限設(shè)備提供更有效的深度學(xué)習(xí)模型。

3）加速器：

設(shè)計特定的硬件和電路來優(yōu)化IoT設(shè)備中深度學(xué)習(xí)模型的能量效率和內(nèi)存占用是另一個活躍的研究方向。目前已有工作為DNN和CNN設(shè)計加速器，并且應(yīng)用Post-CMOS技術(shù)進(jìn)行電子自旋加速。

4）微處理器：

除了之前所提方法，開發(fā)具有強深度學(xué)習(xí)能力的小尺寸處理器也是研究熱點。微處理器的設(shè)計尺寸在一立方毫米的范圍內(nèi)，可以用電池驅(qū)動，進(jìn)行深度神經(jīng)網(wǎng)絡(luò)分析只消耗大約300毫瓦。通過這種技術(shù)，許多對時間要求較高的IoT應(yīng)用程序可以在設(shè)備上執(zhí)行決策，而不是將數(shù)據(jù)發(fā)送到高性能計算機，等待它們的響應(yīng)。

IoT的霧和云中心深度學(xué)習(xí)

最近，人們提出了霧計算，使計算和分析更接近終端用戶和設(shè)備，而不是僅僅停留在云計算上。實驗表明，通過對霧計算節(jié)點進(jìn)行數(shù)據(jù)分析，可以避免向遙遠(yuǎn)的云節(jié)點傳輸大量原始數(shù)據(jù)，從而提高整體性能。還可以在一定程度上進(jìn)行實時分析，因為霧計算在本地，靠近數(shù)據(jù)源。

一些用于在霧或云上使用深度學(xué)習(xí)和服務(wù)的IoT領(lǐng)域的產(chǎn)品

技術(shù)和平臺

盡管在霧計算架構(gòu)上引入了深度學(xué)習(xí)分析，云計算仍然是許多無法在霧計算中處理的IoT應(yīng)用的唯一可行的解決方案。因此，設(shè)計的可擴展的和高性能的云中心的DNN模型和算法，對大量的IoT數(shù)據(jù)進(jìn)行分析，仍然是一個重要的研究領(lǐng)域。

除了在云平臺上托管可擴展的深度學(xué)習(xí)模型基礎(chǔ)設(shè)施的進(jìn)步，還需要研究使深度學(xué)習(xí)模型通過API訪問的機制和方法，以便容易地集成到IoT應(yīng)用程序中。

在云平臺中作為服務(wù)的深度學(xué)習(xí)模型

挑戰(zhàn)

在霧計算節(jié)點上進(jìn)行深度學(xué)習(xí)分析時，也會面臨一些挑戰(zhàn)：

深度學(xué)習(xí)服務(wù)發(fā)現(xiàn)：設(shè)備需要通過深度學(xué)習(xí)分析的某種擴展服務(wù)發(fā)現(xiàn)協(xié)議，來識別適當(dāng)?shù)姆治鎏峁┱叩膩碓础?/p>

深度學(xué)習(xí)模型和任務(wù)分布：在霧節(jié)點之間劃分深度學(xué)習(xí)模型和任務(wù)的執(zhí)行，以及在可用節(jié)點之間優(yōu)化數(shù)據(jù)流分配，對于時間敏感的應(yīng)用程序是至關(guān)重要的。

設(shè)計因素：研究如何霧計算環(huán)境的設(shè)計因素，以及在這種環(huán)境中部署深度學(xué)習(xí)模型如何影響分析服務(wù)的質(zhì)量是很有必要的。

移動端：在設(shè)計終端輔助的深度學(xué)習(xí)分析系統(tǒng)時，需要考慮移動端計算環(huán)境的動態(tài)性，因為移動設(shè)備可能會加入或離開系統(tǒng)。

深度學(xué)習(xí)帶來的IoT挑戰(zhàn)，以及未來的研究方向

挑戰(zhàn)

1）缺少大型IoT數(shù)據(jù)集：

缺乏可用的實際IoT應(yīng)用大數(shù)據(jù)集將深度學(xué)習(xí)模型引入IoT的一個主要障礙，因為深度學(xué)習(xí)需要更多的數(shù)據(jù)來實現(xiàn)更高的精度。此外，更多的數(shù)據(jù)也可以防止模型過度擬合。

2）預(yù)處理：

許多深度學(xué)習(xí)方法需要對數(shù)據(jù)進(jìn)行預(yù)處理以產(chǎn)生更好的結(jié)果，對于IoT應(yīng)用，預(yù)處理會更復(fù)雜，因為系統(tǒng)處理的是來自不同數(shù)據(jù)源的數(shù)據(jù)，可能有多種格式和分布，而且還可能有數(shù)據(jù)丟失。

3）安全和隱私：

確保數(shù)據(jù)安全和隱私是許多IoT應(yīng)用的一個主要問題，因為IoT大數(shù)據(jù)將通過互聯(lián)網(wǎng)進(jìn)行分析，因此世界各地都有可能看得到。此外，深度學(xué)習(xí)訓(xùn)練模型也容易受到惡意攻擊，如虛假數(shù)據(jù)注入或?qū)剐詷颖据斎耄渲蠭oT系統(tǒng)的許多功能或非功能性要求可能無法得到保證。

4）IoT大數(shù)據(jù)”6V“特性：

Volume（數(shù)據(jù)量）對于深度學(xué)習(xí)模型的時間消耗和結(jié)構(gòu)復(fù)雜性提出了很大的挑戰(zhàn)。并且數(shù)據(jù)量巨大也帶來了包括噪聲和未標(biāo)注數(shù)據(jù)的挑戰(zhàn)。

Variety（多樣性）帶來了管理不同數(shù)據(jù)源之間沖突的挑戰(zhàn)。在數(shù)據(jù)源沒有沖突的情況下，深度學(xué)習(xí)能夠有效處理異質(zhì)數(shù)據(jù)。

Velocity（速率）帶來了高速處理和分析數(shù)據(jù)的要求，增強深度學(xué)習(xí)的在線學(xué)習(xí)和序列學(xué)習(xí)的技術(shù)仍需進(jìn)一步研究。

Veracity（可信度），當(dāng)輸入數(shù)據(jù)不是來自可信的數(shù)據(jù)源時，IoT的大數(shù)據(jù)分析則是無用的。

Variability（可變性），IoT大數(shù)據(jù)的流速可變性對在線分析提出了挑戰(zhàn)。

Value（價值），企業(yè)經(jīng)理采用大數(shù)據(jù)的一個主要挑戰(zhàn)是，他們不清楚如何使用大數(shù)據(jù)分析來獲得價值，并改善他們的業(yè)務(wù)。

5）IoT設(shè)備上的深度學(xué)習(xí)：

在IoT設(shè)備上開發(fā)深度學(xué)習(xí)是一個新的挑戰(zhàn)，要考慮在資源受限的設(shè)備上處理深度神經(jīng)網(wǎng)絡(luò)的需求。

6）深度學(xué)習(xí)局限：

盡管深度學(xué)習(xí)模型在許多應(yīng)用中顯示出令人印象深刻的結(jié)果，它仍然有局限性。研究發(fā)現(xiàn)，深度網(wǎng)絡(luò)會將無法識別的圖片分類到熟悉的種類中。并且深度神經(jīng)網(wǎng)絡(luò)的回歸能力有待增強。

未來研究方向

1）IoT移動數(shù)據(jù)：

IoT數(shù)據(jù)的一大部分來自移動設(shè)備。研究利用移動大數(shù)據(jù)與深度學(xué)習(xí)方法相結(jié)合的有效方式，可以為IoT提供更好的服務(wù)，特別是在智慧城市場景中。

2）結(jié)合環(huán)境信息：

單靠IoT的 傳感數(shù)據(jù)不能理解環(huán)境的情況。因此，IoT數(shù)據(jù)需要與其他數(shù)據(jù)源融合，即環(huán)境信息，以補充對環(huán)境的理解。

3）IoT分析的在線資源供應(yīng)：

基于霧和云計算的深度學(xué)習(xí)快速數(shù)據(jù)分析部署需要在線配置霧或云資源來承載數(shù)據(jù)流。由于IoT數(shù)據(jù)的流特性，無法提前知道數(shù)據(jù)序列的容量。因此，我們需要一種新的基于當(dāng)前數(shù)據(jù)流的算法，并且不依賴于數(shù)據(jù)流的先驗知識。

4）半監(jiān)督分析框架：

為半監(jiān)督學(xué)習(xí)而設(shè)計的先進(jìn)的機器學(xué)習(xí)算法非常適合于智慧城市系統(tǒng)，可以使用少量的訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，然后使用大量未標(biāo)記數(shù)據(jù)來提高模型的準(zhǔn)確性。

5）可靠的IoT分析：

深度學(xué)習(xí)方法可以通過分析大量的信息物理系統(tǒng)（CPS）和IoT系統(tǒng)的日志，以識別和預(yù)測可能受到攻擊的系統(tǒng)的薄弱點。這將有助于系統(tǒng)防止或從故障中恢復(fù)，從而提高CPS和IoT系統(tǒng)的可靠性水平。

6）自組織通信網(wǎng)絡(luò)：

由于IoT設(shè)備的數(shù)量龐大，配置和維護(hù)他們的基本物理M2M通信和網(wǎng)絡(luò)變得越來越難。雖然大量的網(wǎng)絡(luò)節(jié)點及其相互關(guān)系對傳統(tǒng)的機器學(xué)習(xí)方法是一個挑戰(zhàn)，但它為深度學(xué)習(xí)體系結(jié)構(gòu)提供了一個機會，通過提供自配置、自優(yōu)化、自修復(fù)和自負(fù)載平衡等一系列的自我服務(wù)足以證明它們在這一領(lǐng)域的能力。

7）新興IoT應(yīng)用：

無人機：無人機被用于許多實時圖像分析任務(wù)，如監(jiān)視、搜索和救援行動，以及基礎(chǔ)設(shè)施檢查。這些設(shè)備的采用面臨包括路由、節(jié)約能源、避免私人區(qū)域和避障等挑戰(zhàn)。深度學(xué)習(xí)對于該領(lǐng)域的預(yù)測和決策任務(wù)有很大的影響，可以推動無人機達(dá)到最佳性能。

虛擬/增強現(xiàn)實：虛擬/增強現(xiàn)實是受益于IoT和深度學(xué)習(xí)的另一個應(yīng)用領(lǐng)域。增強現(xiàn)實可以用于提供諸如目標(biāo)跟蹤、行為識別、圖像分類和對象識別這樣的服務(wù)。增強現(xiàn)實可以極大地影響如教育，博物館，智能車等幾大領(lǐng)域。

結(jié)論

深度學(xué)習(xí)和IoT近年來受到研究人員和商業(yè)領(lǐng)域的廣泛關(guān)注，這兩項技術(shù)對我們的生活、城市和世界都產(chǎn)生了積極的影響。IoT和深度學(xué)習(xí)構(gòu)成了一個數(shù)據(jù)生產(chǎn)者-消費者鏈，其中IoT生成由深度學(xué)習(xí)模型分析的原始數(shù)據(jù)，深度學(xué)習(xí)模型產(chǎn)生高層次的分析，反饋給IoT系統(tǒng)，以微調(diào)和改進(jìn)服務(wù)。

查看論文原文：Deep Learning for IoT Big Data and Streaming Analytics: A Survey

參考文獻(xiàn)

【1】N.-Y. Liang, G.-B. Huang, P. Saratchandran, and N. Sundararajan, “A fast and accurate online sequential learning algorithm for feedforward networks,” IEEE Transactions on neural networks, vol. 17, no. 6, pp. 1411–1423, 2006.

【2】S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards realtime object detection with region proposal networks,” IEEE transactions on pattern analysis and machine intelligence, vol. 39, no. 6, pp. 1137–1149, 2017.

【3】J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 779–788.

【4】M. Mohammadi, A. Al-Fuqaha, M. Guizani, and J.-S. Oh, “Semisupervised deep reinforcement learning in support of IoT and smart city services,” IEEE Internet of Things Journal, vol. PP, no. 99, pp. 1–12, 2017.

【5】M. Price, J. Glass, and A. Chandrakasan, “A scalable speech recognizer with deep-neural-network acoustic models and voice-activated power gating,” in Proceedings of the IEEE ISSCC2017, 2017.

【6】Y. He, G. J. Mendis, and J. Wei, “Real-time detection of false data injection attacks in smart grid: A deep learning-based intelligent mechanism,” IEEE Transactions on Smart Grid, 2017.

【7】 Z. Yuan, Y. Lu, Z. Wang, and Y. Xue, “Droid-sec: deep learning in android malware detection,” in ACM SIGCOMM Computer Communication Review, vol. 44, no. 4. ACM, 2014, pp. 371–372.

【8】R. Shokri and V. Shmatikov, “Privacy-preserving deep learning,” in Proceedings of the 22nd ACM SIGSAC conference on computer and communications security. ACM, 2015, pp. 1310–1321.

【9】X. Song, H. Kanasugi, and R. Shibasaki, “Deeptransport: Prediction and simulation of human mobility and transportation mode at a citywide level.” IJCAI, 2016.

【10】V. C. Liang, R. T. Ma, W. S. Ng, L. Wang, M. Winslett, H. Wu, S. Ying, and Z. Zhang, “Mercury: Metro density prediction with recurrent neural network on streaming cdr data,” in Data Engineering (ICDE), 2016 IEEE 32nd International Conference on. IEEE, 2016, pp. 1374–1377.

【11】G. Amato, F. Carrara, F. Falchi, C. Gennaro, C. Meghini, and C. Vairo, “Deep learning for decentralized parking lot occupancy detection,” Expert Systems with Applications, 2017.

【12】X. Ma, H. Yu, Y. Wang, and Y. Wang, “Large-scale transportation network congestion evolution prediction using deep learning theory,” PloS one, vol. 10, no. 3, p. e0119044, 2015.

【13】C. Liu, Y. Cao, Y. Luo, G. Chen, V. Vokkarane, and Y. Ma, “Deepfood: Deep learning-based food image recognition for computer-aided dietary assessment,” in International Conference on Smart Homes and Health Telematics. Springer, 2016, pp. 37–48.

【14】C. R. Pereira, D. R. Pereira, J. P. Papa, G. H. Rosa, and X.-S. Yang, “Convolutional neural networks applied for parkinson’s disease identification,” in Machine Learning for Health Informatics. Springer, 2016, pp. 377–390.

【15】Q. Wang, Y. Guo, L. Yu, and P. Li, “Earthquake prediction based on spatio-temporal data mining: An lstm network approach,” IEEE Transactions on Emerging Topics in Computing, 2017.

【16】Y. Liu, E. Racah, J. Correa, A. Khosrowshahi, D. Lavers, K. Kunkel, M. Wehner, and W. Collins, “Application of deep convolutional neural networks for detecting extreme weather in climate datasets,” Int’l Conf. on Advances in Big Data Analytics, 2016.

【17】W. Liu, J. Liu, X. Gu, K. Liu, X. Dai, and H. Ma, “Deep learning based intelligent basketball arena with energy image,” in International Conference on Multimedia Modeling. Springer, 2017, pp. 601–613.

【18】K.-C. Wang and R. Zemel, “classifying nba offensive plays using neural networks,” in Proc. MIT SLOAN Sports Analytics Conf, 2016.

【19】T. Kautz, B. H. Groh, J. Hannink, U. Jensen, H. Strubberg, and B. M. Eskofier, “Activity recognition in beach volleyball using a deep convolutional neural network,” Data Mining and Knowledge Discovery, pp. 1–28, 2017.

【20】M. S. Ibrahim, S. Muralidharan, Z. Deng, A. Vahdat, and G. Mori, “A hierarchical deep temporal model for group activity recognition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 1971–1980.

未來智能實驗室是人工智能學(xué)家與科學(xué)院相關(guān)機構(gòu)聯(lián)合成立的人工智能，互聯(lián)網(wǎng)和腦科學(xué)交叉研究機構(gòu)。

未來智能實驗室的主要工作包括：建立AI智能系統(tǒng)智商評測體系，開展世界人工智能智商評測；開展互聯(lián)網(wǎng)（城市）云腦研究計劃，構(gòu)建互聯(lián)網(wǎng)（城市）云腦技術(shù)和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務(wù)。