數(shù)據(jù)挖掘的定義及算法

數(shù)據(jù)挖掘的定義

數(shù)據(jù)挖掘是指從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。

數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并通過(guò)統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)（依靠過(guò)去的經(jīng)驗(yàn)法則）和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。

數(shù)據(jù)挖掘的對(duì)象

數(shù)據(jù)的類型可以是結(jié)構(gòu)化的、半結(jié)構(gòu)化的，甚至是異構(gòu)型的。發(fā)現(xiàn)知識(shí)的方法可以是數(shù)學(xué)的、非數(shù)學(xué)的，也可以是歸納的。最終被發(fā)現(xiàn)了的知識(shí)可以用于信息管理、查詢優(yōu)化、決策支持及數(shù)據(jù)自身的維護(hù)等。

數(shù)據(jù)挖掘的對(duì)象可以是任何類型的數(shù)據(jù)源?？梢允顷P(guān)系數(shù)據(jù)庫(kù)，此類包含結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)源；也可以是數(shù)據(jù)倉(cāng)庫(kù)、文本、多媒體數(shù)據(jù)、空間數(shù)據(jù)、時(shí)序數(shù)據(jù)、Web數(shù)據(jù)，此類包含半結(jié)構(gòu)化數(shù)據(jù)甚至異構(gòu)性數(shù)據(jù)的數(shù)據(jù)源。?

發(fā)現(xiàn)知識(shí)的方法可以是數(shù)字的、非數(shù)字的，也可以是歸納的。最終被發(fā)現(xiàn)的知識(shí)可以用于信息管理、查詢優(yōu)化、決策支持及數(shù)據(jù)自身的維護(hù)等。

數(shù)據(jù)挖掘的步驟

1、定義問(wèn)題。在開(kāi)始知識(shí)發(fā)現(xiàn)之前最先的也是最重要的要求就是了解數(shù)據(jù)和業(yè)務(wù)問(wèn)題。必須要對(duì)目標(biāo)有一個(gè)清晰明確的定義，即決定到底想干什么。比如，想提高電子信箱的利用率時(shí)，想做的可能是“提高用戶使用率”，也可能是“提高一次用戶使用的價(jià)值”，要解決這兩個(gè)問(wèn)題而建立的模型幾乎是完全不同的，必須做出決定。

2、建立數(shù)據(jù)挖掘庫(kù)。建立數(shù)據(jù)挖掘庫(kù)包括以下幾個(gè)步驟：數(shù)據(jù)收集，數(shù)據(jù)描述，選擇，數(shù)據(jù)質(zhì)量評(píng)估和數(shù)據(jù)清理，合并與整合，構(gòu)建元數(shù)據(jù)，加載數(shù)據(jù)挖掘庫(kù)，維護(hù)數(shù)據(jù)挖掘庫(kù)。

3、分析數(shù)據(jù)。分析的目的是找到對(duì)預(yù)測(cè)輸出影響最大的數(shù)據(jù)字段，和決定是否需要定義導(dǎo)出字段。如果數(shù)據(jù)集包含成百上千的字段，那么瀏覽分析這些數(shù)據(jù)將是一件非常耗時(shí)和累人的事情，這時(shí)需要選擇一個(gè)具有好的界面和功能強(qiáng)大的工具軟件來(lái)協(xié)助你完成這些事情。?

4、準(zhǔn)備數(shù)據(jù)。這是建立模型之前的最后一步數(shù)據(jù)準(zhǔn)備工作?？梢园汛瞬襟E分為四個(gè)部分：選擇變量，選擇記錄，創(chuàng)建新變量，轉(zhuǎn)換變量。?

5、建立模型。建立模型是一個(gè)反復(fù)的過(guò)程。需要仔細(xì)考察不同的模型以判斷哪個(gè)模型對(duì)面對(duì)的商業(yè)問(wèn)題最有用。先用一部分?jǐn)?shù)據(jù)建立模型，然后再用剩下的數(shù)據(jù)來(lái)測(cè)試和驗(yàn)證這個(gè)得到的模型。有時(shí)還有第三個(gè)數(shù)據(jù)集，稱為驗(yàn)證集，因?yàn)闇y(cè)試集可能受模型的特性的影響，這時(shí)需要一個(gè)獨(dú)立的數(shù)據(jù)集來(lái)驗(yàn)證模型的準(zhǔn)確性。訓(xùn)練和測(cè)試數(shù)據(jù)挖掘模型需要把數(shù)據(jù)至少分成兩個(gè)部分，一個(gè)用于模型訓(xùn)練，另一個(gè)用于模型測(cè)試。

6、評(píng)價(jià)模型。模型建立好之后，必須評(píng)價(jià)得到的結(jié)果、解釋模型的價(jià)值。從測(cè)試集中得到的準(zhǔn)確率只對(duì)用于建立模型的數(shù)據(jù)有意義。在實(shí)際應(yīng)用中，需要進(jìn)一步了解錯(cuò)誤的類型和由此帶來(lái)的相關(guān)費(fèi)用的多少。經(jīng)驗(yàn)證明，有效的模型并不一定是正確的模型。造成這一點(diǎn)的直接原因就是模型建立中隱含的各種假定，因此，直接在現(xiàn)實(shí)世界中測(cè)試模型很重要。先在小范圍內(nèi)應(yīng)用，取得測(cè)試數(shù)據(jù)，覺(jué)得滿意之后再向大范圍推廣。?

7、實(shí)施。模型建立并經(jīng)驗(yàn)證之后，可以有兩種主要的使用方法。第一種是提供給分析人員做參考；另一種是把此模型應(yīng)用到不同的數(shù)據(jù)集上。

數(shù)據(jù)挖掘的方法

1、分類。它首先從數(shù)據(jù)中選出已經(jīng)分好類的訓(xùn)練集，在該訓(xùn)練集上運(yùn)用數(shù)據(jù)挖掘技術(shù)，建立一個(gè)分類模型，再將該模型用于對(duì)沒(méi)有分類的數(shù)據(jù)進(jìn)行分類。

2、估值。估值與分類類似，但估值最終的輸出結(jié)果是連續(xù)型的數(shù)值，估值的量并非預(yù)先確定。估值可以作為分類的準(zhǔn)備工作。?

3、預(yù)測(cè)。它是通過(guò)分類或估值來(lái)進(jìn)行，通過(guò)分類或估值的訓(xùn)練得出一個(gè)模型，如果對(duì)于檢驗(yàn)樣本組而言該模型具有較高的準(zhǔn)確率，可將該模型用于對(duì)新樣本的未知變量進(jìn)行預(yù)測(cè)。

4、相關(guān)性分組或關(guān)聯(lián)規(guī)則。其目的是發(fā)現(xiàn)哪些事情總是一起發(fā)生。

5、聚類。它是自動(dòng)尋找并建立分組規(guī)則的方法，它通過(guò)判斷樣本之間的相似性，把相似樣本劃分在一個(gè)簇中。

數(shù)據(jù)挖掘算法

1、神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)法是模擬生物神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，是一種通過(guò)訓(xùn)練來(lái)學(xué)習(xí)的非線性預(yù)測(cè)模型，它將每一個(gè)連接看作一個(gè)處理單元，試圖模擬人腦神經(jīng)元的功能，可完成分類、聚類、特征挖掘等多種數(shù)據(jù)挖掘任務(wù)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法主要表現(xiàn)在權(quán)值的修改上。其優(yōu)點(diǎn)是具有抗干擾、非線性學(xué)習(xí)、聯(lián)想記憶功能，對(duì)復(fù)雜情況能得到精確的預(yù)測(cè)結(jié)果；缺點(diǎn)首先是不適合處理高維變量，不能觀察中間的學(xué)習(xí)過(guò)程，具有“黑箱”性，輸出結(jié)果也難以解釋；其次是需較長(zhǎng)的學(xué)習(xí)時(shí)間。神經(jīng)網(wǎng)絡(luò)法主要應(yīng)用于數(shù)據(jù)挖掘的聚類技術(shù)中。

2、決策樹(shù)法

決策樹(shù)是根據(jù)對(duì)目標(biāo)變量產(chǎn)生效用的不同而建構(gòu)分類的規(guī)則，通過(guò)一系列的規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類的過(guò)程，其表現(xiàn)形式是類似于樹(shù)形結(jié)構(gòu)的流程圖。最典型的算法是J．R．Quinlan于1986年提出的ID3算法，之后在ID3算法的基礎(chǔ)上又提出了極其流行的C4.5算法。采用決策樹(shù)法的優(yōu)點(diǎn)是決策制定的過(guò)程是可見(jiàn)的，不需要長(zhǎng)時(shí)間構(gòu)造過(guò)程、描述簡(jiǎn)單，易于理解，分類速度快；缺點(diǎn)是很難基于多個(gè)變量組合發(fā)現(xiàn)規(guī)則。決策樹(shù)法擅長(zhǎng)處理非數(shù)值型數(shù)據(jù)，而且特別適合大規(guī)模的數(shù)據(jù)處理。決策樹(shù)提供了一種展示類似在什么條件下會(huì)得到什么值這類規(guī)則的方法。比如，在貸款申請(qǐng)中，要對(duì)申請(qǐng)的風(fēng)險(xiǎn)大小做出判斷。

3、遺傳算法

遺傳算法模擬了自然選擇和遺傳中發(fā)生的繁殖、交配和基因突變現(xiàn)象，是一種采用遺傳結(jié)合、遺傳交叉變異及自然選擇等操作來(lái)生成實(shí)現(xiàn)規(guī)則的、基于進(jìn)化理論的機(jī)器學(xué)習(xí)方法。它的基本觀點(diǎn)是“適者生存”原理，具有隱含并行性、易于和其他模型結(jié)合等性質(zhì)。主要的優(yōu)點(diǎn)是可以處理許多數(shù)據(jù)類型，同時(shí)可以并行處理各種數(shù)據(jù)；缺點(diǎn)是需要的參數(shù)太多，編碼困難，一般計(jì)算量比較大。遺傳算法常用于優(yōu)化神經(jīng)元網(wǎng)絡(luò)，能夠解決其他技術(shù)難以解決的問(wèn)題。?

4、粗糙集法

粗糙集法也稱粗糙集理論，是由波蘭數(shù)學(xué)家Z Pawlak在20世紀(jì)80年代初提出的，是一種新的處理含糊、不精確、不完備問(wèn)題的數(shù)學(xué)工具，可以處理數(shù)據(jù)約簡(jiǎn)、數(shù)據(jù)相關(guān)性發(fā)現(xiàn)、數(shù)據(jù)意義的評(píng)估等問(wèn)題。其優(yōu)點(diǎn)是算法簡(jiǎn)單，在其處理過(guò)程中可以不需要關(guān)于數(shù)據(jù)的先驗(yàn)知識(shí)，可以自動(dòng)找出問(wèn)題的內(nèi)在規(guī)律；缺點(diǎn)是難以直接處理連續(xù)的屬性，須先進(jìn)行屬性的離散化。因此，連續(xù)屬性的離散化問(wèn)題是制約粗糙集理論實(shí)用化的難點(diǎn)。粗糙集理論主要應(yīng)用于近似推理、數(shù)字邏輯分析和化簡(jiǎn)、建立預(yù)測(cè)模型等問(wèn)題。

5、模糊集法

模糊集法是利用模糊集合理論對(duì)問(wèn)題進(jìn)行模糊評(píng)判、模糊決策、模糊模式識(shí)別和模糊聚類分析。模糊集合理論是用隸屬度來(lái)描述模糊事物的屬性。系統(tǒng)的復(fù)雜性越高，模糊性就越強(qiáng)。

6、關(guān)聯(lián)規(guī)則法

關(guān)聯(lián)規(guī)則反映了事物之間的相互依賴性或關(guān)聯(lián)性。其最著名的算法是R．Agrawal等人提出的Apriori算法。其算法的思想是：首先找出頻繁性至少和預(yù)定意義的最小支持度一樣的所有頻集，然后由頻集產(chǎn)生強(qiáng)關(guān)聯(lián)規(guī)則。最小支持度和最小可信度是為了發(fā)現(xiàn)有意義的關(guān)聯(lián)規(guī)則給定的2個(gè)閾值。在這個(gè)意義上，數(shù)據(jù)挖掘的目的就是從源數(shù)據(jù)庫(kù)中挖掘出滿足最小支持度和最小可信度的關(guān)聯(lián)規(guī)則。

編輯：jq