每日一課 | 智慧燈桿之大數(shù)據(jù)分析及挖掘技術(shù)

4．大數(shù)據(jù)分析及挖掘技術(shù)

大數(shù)據(jù)分析技術(shù)改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)；開(kāi)發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù)；突破基于對(duì)象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù)，突破用戶(hù)興趣分折，網(wǎng)絡(luò)行為分析、情感語(yǔ)義分析等面向領(lǐng)域的大數(shù)挖掘技術(shù)。

數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、潛在有用的信息和知識(shí)的過(guò)程。數(shù)據(jù)挖掘涉及的技術(shù)方法很多，有多種分類(lèi)法。

根據(jù)挖掘任務(wù)可分為分類(lèi)或預(yù)測(cè)模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類(lèi)、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴(lài)關(guān)系或依賴(lài)模型發(fā)現(xiàn)、異常和趨勢(shì)發(fā)現(xiàn)等。

根據(jù)挖掘?qū)ο罂煞譃殛P(guān)系數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)、空間數(shù)據(jù)庫(kù)、時(shí)態(tài)數(shù)據(jù)庫(kù)、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫(kù)、異質(zhì)數(shù)據(jù)庫(kù)、遺產(chǎn)數(shù)據(jù)庫(kù)及環(huán)球網(wǎng)Web。

根據(jù)挖掘方法，可粗分為機(jī)器學(xué)習(xí)方法、統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫(kù)方法。機(jī)器學(xué)習(xí)，可細(xì)分為歸納學(xué)習(xí)方法（決策樹(shù)、規(guī)則歸納等）、基于范例學(xué)習(xí)、遺傳算法等。統(tǒng)計(jì)方法，可細(xì)分為回歸分析（多元回歸、自回歸等）、判別分析（貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等）、聚類(lèi)分析（系統(tǒng)聚類(lèi)、動(dòng)態(tài)聚類(lèi)等）、探索性分析（主元分析法、相關(guān)分析法等）等。神經(jīng)網(wǎng)絡(luò)方法，可細(xì)分為前向神經(jīng)網(wǎng)絡(luò)（BP算法等）、自組織神經(jīng)網(wǎng)絡(luò)（自組織特征映射、競(jìng)爭(zhēng)學(xué)習(xí)等）等。數(shù)據(jù)庫(kù)方法主要是多維數(shù)據(jù)分析或OLAP方法，還有面向?qū)傩缘臍w納方法。