工業(yè)大數(shù)據(jù)一般如何進(jìn)行處理呢？

工業(yè)大數(shù)據(jù)一般如何進(jìn)行處理呢？我畫了一個(gè)相對(duì)通用的架構(gòu)圖來解釋一下：

工業(yè)大數(shù)據(jù)在業(yè)務(wù)邏輯大的分層上和互聯(lián)網(wǎng)大數(shù)據(jù)類似，一般都分為三部分，數(shù)據(jù)采集層、數(shù)據(jù)處理層和數(shù)據(jù)展現(xiàn)層，當(dāng)然，具體到一個(gè)實(shí)際案例中，或者說根據(jù)不同的應(yīng)用場景，可以劃分為更多的層次，比如數(shù)據(jù)處理可以分為元數(shù)據(jù)管理層、數(shù)據(jù)交互層、數(shù)據(jù)分析層等等，如果你有興趣，可以把大數(shù)據(jù)劃分為N層。在分層的同時(shí)，還有許多同等重要的事情，例如安全保障、運(yùn)維服務(wù)、測試規(guī)范等等，要都說清楚，基本也就搞不清楚工業(yè)大數(shù)據(jù)是怎么回事了。所以我們今天只討論通用的、簡化的、適用于一般場景的架構(gòu)，而且僅僅是業(yè)務(wù)和邏輯層面的，技術(shù)層面的我們后面再詳細(xì)說明。

工業(yè)大數(shù)據(jù)系統(tǒng)非常重要的，也是基礎(chǔ)的層次是數(shù)據(jù)采集。沒有數(shù)據(jù)采集，所有的強(qiáng)大的、華麗的、技術(shù)非常NB的各種東東只能躲在黑暗里哭泣，英雄無用武之地。在這一層，也是工業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)差異非常大的一層，互聯(lián)網(wǎng)大樹的數(shù)據(jù)采集主要靠用戶的各種操作，例如網(wǎng)頁瀏覽、系統(tǒng)登錄、信息的互動(dòng)、鼠標(biāo)的點(diǎn)擊等，而工業(yè)大數(shù)據(jù)的數(shù)據(jù)來源更加多種多樣，最基本的是用于采集各類工業(yè)信號(hào)的傳感器，通過傳感器的采集，可以獲得機(jī)器設(shè)備的運(yùn)行狀態(tài)、環(huán)境的指標(biāo)、操作人的操作行為等各類信息。除通過傳感器采集的信息，還包括現(xiàn)場的視頻信息，各類圖像設(shè)備拍攝的圖片（例如，巡檢人員用手持設(shè)備拍攝的設(shè)備、環(huán)境信息圖片），語音及聲音信息（例如，操作人員的通話、設(shè)備運(yùn)轉(zhuǎn)的音量等），遙感遙測信息等等，這些信息都是通過各類設(shè)備傳輸?shù)摹３酥?，還有操作人員手工錄入的各類信息，采集軟件抓取的企業(yè)內(nèi)網(wǎng)的信息、互聯(lián)網(wǎng)上與企業(yè)相關(guān)的信息等等。這些信息共同構(gòu)成了數(shù)據(jù)采集的來源。

數(shù)據(jù)采集領(lǐng)域也是自動(dòng)化和信息化交叉最多的領(lǐng)域，其實(shí)也是一般IT從業(yè)人員比較頭疼的領(lǐng)域，跨學(xué)科嘛，哈！

數(shù)據(jù)采集結(jié)束后，就進(jìn)入了數(shù)據(jù)處理階段，這一階段，軟件人員就可以大顯身手了，大部分技術(shù)都和互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)差不太多。通常，我們會(huì)對(duì)采集到的數(shù)據(jù)先進(jìn)行一定程度的處理，各類工業(yè)協(xié)議需要解析、視頻流需要解碼、語音需要識(shí)別等等，識(shí)別處理好后再對(duì)數(shù)據(jù)進(jìn)行規(guī)范、清洗，洗刷刷完成后，干凈數(shù)據(jù)才好用。需要立即處理的數(shù)據(jù)，例如報(bào)警、監(jiān)測等，直接送到實(shí)時(shí)處理系統(tǒng)中進(jìn)行處理，不著急的非急診數(shù)據(jù)請(qǐng)進(jìn)入倉庫，按照類型存起來先。然后慢慢分析加工。存儲(chǔ)可能會(huì)用到多種數(shù)據(jù)庫，包括工業(yè)實(shí)時(shí)數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫、地理數(shù)據(jù)庫、分布式數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等，這些數(shù)據(jù)庫的整合、管理、鏈接又是工業(yè)大數(shù)據(jù)的一個(gè)難題，這個(gè)我們放到后面詳細(xì)談。今天先聊宏觀。

洗干凈、切成塊、冷凍好的紅燒肉，啊，不是，存儲(chǔ)好的工業(yè)數(shù)據(jù)如此之海量，怎么推送給用戶就成為數(shù)據(jù)可視化層要干的事情了。數(shù)據(jù)可視化最近也比較火，原先做報(bào)表的，現(xiàn)在都號(hào)稱大數(shù)據(jù)可視化公司了，其實(shí)，單純的大數(shù)據(jù)可視化是沒有意義的，沒有對(duì)工業(yè)業(yè)務(wù)的深入理解，很難做出讓客戶的滿意的可視化結(jié)果?？梢暬ㄔS多方式，如報(bào)表、二維地圖、三維地圖、三維模型、短信、手機(jī)APP、微信、大屏等等，總之，通過一切手段讓用戶看到自己想看的數(shù)據(jù)即可。