大數(shù)據(jù)需要特殊的技術(shù),主要包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫、數(shù)據(jù)挖掘網(wǎng)絡(luò)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。大數(shù)據(jù)技術(shù)分為整體技術(shù)和關(guān)鍵技術(shù)兩個方面。
1.整體技術(shù)
整體技術(shù)主要有數(shù)據(jù)采集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、模型預測和結(jié)果呈現(xiàn)等。
2.關(guān)鍵技術(shù)
大數(shù)據(jù)處理關(guān)鍵技術(shù)一般包括:大數(shù)據(jù)采集、大數(shù)據(jù)預處理、大數(shù)據(jù)存儲及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應用(大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應用、大數(shù)據(jù)安全等)。
(1)大數(shù)據(jù)采集技術(shù):數(shù)據(jù)采集是通過RFID射頻技術(shù)、傳感器以及移動互聯(lián)網(wǎng)等方式獲得的各種類型的結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)。大數(shù)據(jù)采集一般分為大數(shù)據(jù)智能感知層和基礎(chǔ)支撐層: 大數(shù)據(jù)智能感知層:主要包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統(tǒng)。實現(xiàn)對結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù)的智能化識別、定位、跟蹤、接入、傳輸、信號轉(zhuǎn)換、監(jiān)控、初步處理和管理等。必須著重攻克針對大數(shù)據(jù)源的智能識別、感知、適配、傳輸、接入等技術(shù)。
基礎(chǔ)支撐層:提供大數(shù)據(jù)服務平臺所需的虛擬服務器,結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫及物聯(lián)網(wǎng)絡(luò)資源等基礎(chǔ)支撐環(huán)境。重點攻克分布式虛擬存儲技術(shù),大數(shù)據(jù)獲取、存儲、組織、分析和決策操作的可視化接口技術(shù),大數(shù)據(jù)的網(wǎng)絡(luò)傳輸與壓縮技術(shù),大數(shù)據(jù)隱私保護技術(shù)等。
(2)大數(shù)據(jù)預處理技術(shù):大數(shù)據(jù)預處理主要完成對已接收數(shù)據(jù)的抽取、清洗等操作。
抽?。阂颢@取的數(shù)據(jù)可能具有多種結(jié)構(gòu)和類型,數(shù)據(jù)抽取過程可以將這些復雜的數(shù)據(jù)轉(zhuǎn)化為單一的或者便于處理的構(gòu)型,以達到快速分析處理的目的。
清洗:對于大數(shù)據(jù),并不全是有價值的,有些數(shù)據(jù)并不是我們所關(guān)心的內(nèi)容,而另一些數(shù)據(jù)則是完全錯誤的干擾項,因此要對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)。
(3)大數(shù)據(jù)存儲及管理技術(shù):大數(shù)據(jù)存儲與管理要用存儲器把采集到的數(shù)據(jù)存儲起來,建立相應的數(shù)據(jù)庫,并進行管理和調(diào)用。要解決大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)葞讉€關(guān)鍵問題。
(4)大數(shù)據(jù)分析及挖掘技術(shù):數(shù)據(jù)分析及挖掘技術(shù)是大數(shù)據(jù)的核心技術(shù)。主要是在現(xiàn)有的數(shù)據(jù)上進行基于各種預測和分析的計算,從而起到預測的效果,滿足一些高級別數(shù)據(jù)分析的需求。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機實際數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識的過程。
(5)數(shù)據(jù)展現(xiàn)和應用:大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息挖掘出來,從而提高各個領(lǐng)域的運行效率。在我國,大數(shù)據(jù)重點應用于以下三大領(lǐng)域:商業(yè)智能、政決策和公共服務。
審核編輯 :李倩
-
傳感器
+關(guān)注
關(guān)注
2542文章
50260瀏覽量
750134 -
數(shù)據(jù)采集
+關(guān)注
關(guān)注
38文章
5702瀏覽量
113321 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8832瀏覽量
137138
原文標題:大數(shù)據(jù)技術(shù)到底有哪些
文章出處:【微信號:xunwei201508,微信公眾號:訊維官方公眾號】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論