物聯(lián)網(wǎng)正在不斷產(chǎn)生不可思議的數(shù)據(jù)量

物聯(lián)網(wǎng)正在不斷產(chǎn)生不可思議的數(shù)據(jù)量。分析師預計，2019年將有266.6億臺物聯(lián)網(wǎng)設備投入使用。此外，IDC預計，到2025年，物聯(lián)網(wǎng)設備將產(chǎn)生超過90 zettabytes的數(shù)據(jù)。

所有這些數(shù)據(jù)意味著什么？

通過流式分析，它意味著可以對拯救生命事件的實時反應。例如，卡車接收關于道路上結冰的數(shù)據(jù)，然后，卡車不僅可以提醒駕駛員，而且還可以提醒其他車輛結冰的確切位置。

為了使這種實時數(shù)據(jù)能夠以高容量和高速度從物聯(lián)網(wǎng)傳感器和網(wǎng)絡操作中不斷流入組織，您需要一種不同于傳統(tǒng)靜態(tài)事務數(shù)據(jù)所需的數(shù)據(jù)管理解決方案。

以卡車為例。想象一下，冬天的時候，你在路上開著一輛卡車。貴公司為車輛安裝了物聯(lián)網(wǎng)傳感器，可持續(xù)監(jiān)控車輪打滑、氣溫、速度和轉速情況。突然，當氣溫降至冰點以下時，車輪打滑測量值急劇上升，如果卡車或司機能在幾毫秒內(nèi)做出反應，事故就可以避免，如果沒有，傳感器數(shù)據(jù)就沒有意義。

事件流處理

事件流處理系統(tǒng)使您能夠通過實時數(shù)據(jù)清理和分析及時處理這些數(shù)據(jù)。

讓我們定義事件流處理：“事件”是在明確定義的時間發(fā)生并記錄在數(shù)據(jù)字段集合中的任何事件; “流”是數(shù)據(jù)事件的持續(xù)流動，或者是從成千上萬個連網(wǎng)設備流入企業(yè)內(nèi)部和企業(yè)周圍的持續(xù)數(shù)據(jù)流;“處理”是指分析數(shù)據(jù)的行為。

當事件流處理系統(tǒng)管理來自物聯(lián)網(wǎng)傳感器的數(shù)據(jù)時，它們會執(zhí)行將原始數(shù)據(jù)轉化為實時操作信息的過程。隨著大量數(shù)據(jù)快速流入系統(tǒng)，事件流處理系統(tǒng)會立即清理、規(guī)范和聚合內(nèi)存中的數(shù)據(jù)。同時，在這些數(shù)據(jù)流中編碼的實時分析模型將執(zhí)行分析，以確定特定事件是否相關，并在需要緊急行動時生成即時警報。

實時分析與事后分析

事件流處理系統(tǒng)實時過濾數(shù)據(jù)。因為這些系統(tǒng)最初存儲數(shù)據(jù)的內(nèi)存是有限的，所以事件流處理系統(tǒng)決定要丟棄哪些數(shù)據(jù)或者要保存哪些數(shù)據(jù)，甚至可能以聚合形式保存，因為多個事件通常比單個事件更具信息性。

例如，當卡車在結冰的道路上有打滑的危險時，網(wǎng)絡邊緣的實時分析會立即提醒司機減速，甚至自動減速。

相比之下，傳統(tǒng)的關系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）存儲所有數(shù)據(jù)，并在事后進行清理和分析。關系數(shù)據(jù)庫管理系統(tǒng)從預定義的來源收集數(shù)據(jù)，并將其存儲在存儲系統(tǒng)中，如數(shù)據(jù)集市。一旦進入存儲，數(shù)據(jù)就會被清理、規(guī)范化并整合到數(shù)據(jù)倉庫或Hadoop中。只有這樣，用戶才能通過報告、歷史分析，甚至預測分析和機器學習，從數(shù)據(jù)中獲得意義。

例如，對于事件流處理，如果傳感器跟蹤氣溫并且氣溫保持穩(wěn)定，則系統(tǒng)不會存儲持續(xù)的讀數(shù)。相反，它可能只保留指示變化的讀數(shù)。

多階段分析提供了優(yōu)勢

事件流處理為您提供了多個從數(shù)據(jù)中提取價值的機會。對于傳統(tǒng)的數(shù)據(jù)管理，數(shù)據(jù)是歷史的，不會改變。它可能會在事后進行分析一兩次，而不是更多。

事件流處理系統(tǒng)首先實時分析數(shù)據(jù)，從而能夠對事件做出即時響應。然后，您可以實時或接近實時地將來自多個傳感器的數(shù)據(jù)子集帶回云端或現(xiàn)場進行跨傳感器分析。

假設您希望對整個卡車車隊進行分析，以確定在某一海拔處發(fā)生的故障情況。如果系統(tǒng)檢測到問題，則可能觸發(fā)車隊中所有卡車的大規(guī)模維修。

最后，事件流處理系統(tǒng)還將指定的數(shù)據(jù)存儲在數(shù)據(jù)倉庫或Hadoop中。在那里，您可以對現(xiàn)在的歷史數(shù)據(jù)進行可視化分析或可視化統(tǒng)計。

利用數(shù)據(jù)倉庫中的歷史數(shù)據(jù)，您可以使用機器學習算法進行預測性維護。隨著時間推移，機器學習算法可以學習模式，指示卡車何時需要維護并提前發(fā)現(xiàn)故障。

在多階段分析的所有步驟中，機器學習可以訓練系統(tǒng)更好地預測結果。隨著模型的變化，流處理解決方案可以根據(jù)需要在邊緣、本地或云中更新模型。

流數(shù)據(jù)允許您在需要時從物聯(lián)網(wǎng)數(shù)據(jù)中收集見解，并實時地和歷史地識別跨傳感器分析的趨勢。通過處理邊緣數(shù)據(jù)，組織、個人和社區(qū)可以從實時數(shù)據(jù)提供的見解中受益。這些實時數(shù)據(jù)有望拯救生命、改善交通狀況和危機溝通。

讓我們生活在邊緣，看看它會把我們帶去哪里！