決策樹(shù)的結(jié)構(gòu)/優(yōu)缺點(diǎn)/生成

　　決策樹(shù)（DecisionTree）是機(jī)器學(xué)習(xí)中一種常見(jiàn)的算法，它的思想非常樸素，就像我們平時(shí)利用選擇做決策的過(guò)程。決策樹(shù)是一種基本的分類與回歸方法，當(dāng)被用于分類時(shí)叫做分類樹(shù)，被用于回歸時(shí)叫做回歸樹(shù)。

　　一、決策樹(shù)結(jié)構(gòu)：

　　顧名思義，決策樹(shù)在邏輯上表現(xiàn)為樹(shù)的形式，包含有節(jié)點(diǎn)和向邊。

　　一般情況下，一棵決策樹(shù)包含一個(gè)根節(jié)點(diǎn)、若干個(gè)內(nèi)部節(jié)點(diǎn)和若干個(gè)葉結(jié)點(diǎn)。

　　根節(jié)點(diǎn)：包含樣本全集，從根節(jié)點(diǎn)到每個(gè)葉結(jié)點(diǎn)的路徑對(duì)應(yīng)了一個(gè)判定測(cè)試序列。

　　內(nèi)部節(jié)點(diǎn)：表示一個(gè)特征和屬性。每個(gè)內(nèi)部節(jié)點(diǎn)都是一個(gè)判斷條件，并且包含數(shù)據(jù)集中，滿足從根節(jié)點(diǎn)到該節(jié)點(diǎn)所有條件的數(shù)據(jù)的集合。根據(jù)內(nèi)部節(jié)點(diǎn)的屬性測(cè)試結(jié)果，內(nèi)部節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)的集合別分到兩個(gè)或多個(gè)子節(jié)點(diǎn)中。

　　葉節(jié)點(diǎn)：表示一個(gè)類，對(duì)應(yīng)于決策結(jié)果。葉節(jié)點(diǎn)為最終的類別，如果該數(shù)據(jù)被包含在該葉節(jié)點(diǎn)，則屬于該類別。

　　如下圖中，其中圓和方框分別表示內(nèi)部節(jié)點(diǎn)和葉結(jié)點(diǎn)。

　　簡(jiǎn)而言之，決策樹(shù)是一個(gè)利用樹(shù)的模型進(jìn)行決策的預(yù)測(cè)模型，表現(xiàn)出的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系，簡(jiǎn)單明了，非常容易理解。

　　我們決策樹(shù)學(xué)習(xí)的目的是為了產(chǎn)生一棵泛化能力強(qiáng)，也就是能夠高效、有效處理未見(jiàn)示例的決策樹(shù)。

　　二、決策樹(shù)的優(yōu)缺點(diǎn)：

　　1.決策樹(shù)的最大優(yōu)點(diǎn)是，對(duì)背景知識(shí)要求不高，計(jì)算復(fù)雜度也不是很高，可以自學(xué)習(xí)。

　　2.屬于有監(jiān)督學(xué)習(xí)

　　3.對(duì)中間缺失值不敏感

　　4.解釋性強(qiáng)，甚至超過(guò)線性回歸

　　5.相比傳統(tǒng)的回歸和分類方法，決策樹(shù)是更接近人的決策模式

　　6.能夠用圖形來(lái)表示，即使不是專業(yè)人士也可以輕松理解

　　7.可以在不創(chuàng)建啞變量的情況下，直接處理定性的預(yù)測(cè)變量，

　　8.決策樹(shù)的預(yù)測(cè)準(zhǔn)確性相比一般比回歸和分類方法比較弱，但能夠通過(guò)用集成學(xué)習(xí)方法組合大量決策樹(shù)，這樣可以顯著提升樹(shù)的預(yù)測(cè)效果

　　三、決策樹(shù)的生成

　　決策樹(shù)的生成是一個(gè)自頂向下的遞歸過(guò)程，其基本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹(shù)，到葉子結(jié)點(diǎn)處的熵值為零。

　　在決策樹(shù)算法中有三種情形導(dǎo)致遞歸返回：

　　1）當(dāng)前節(jié)點(diǎn)包含的樣本屬于同一類，不需要?jiǎng)澐?

　　2）當(dāng)前屬性集為空，無(wú)法進(jìn)行劃分。這種情況下，需要將當(dāng)前節(jié)點(diǎn)標(biāo)記成葉節(jié)點(diǎn)，并將其類別設(shè)定為所含樣本最多的類別;利用當(dāng)前節(jié)點(diǎn)的后驗(yàn)分布;（就是：有樣本無(wú)屬性進(jìn)行劃分）

　　3）當(dāng)前結(jié)點(diǎn)包含的樣本集合為空，不能進(jìn)項(xiàng)劃分。此時(shí)，要將當(dāng)前節(jié)點(diǎn)標(biāo)記為葉節(jié)點(diǎn)，將其類別設(shè)定為其父結(jié)點(diǎn)所含樣本最多的類別;利用父結(jié)點(diǎn)的先驗(yàn)分布（就是：無(wú)樣本有屬性）
?責(zé)任編輯人：CC