隨機(jī)森林是一種靈活且易于使用的機(jī)器學(xué)習(xí)算法,即便沒有超參數(shù)調(diào)優(yōu),也可以在大多數(shù)情況下得到很好的結(jié)果。它也是最常用的算法之一,因?yàn)樗芎?jiǎn)易,既可用于分類也能用于回歸任務(wù)。 在這篇文章中,你將了解到隨機(jī)森林算法的工作原理以及適用范圍。
機(jī)器學(xué)習(xí)算法之隨機(jī)森林算法工作原理
隨機(jī)森林是一種有監(jiān)督學(xué)習(xí)算法。 就像你所看到的它的名字一樣,它創(chuàng)建了一個(gè)森林,并使它擁有某種方式隨機(jī)性。 所構(gòu)建的“森林”是決策樹的集成,大部分時(shí)候都是用“bagging”方法訓(xùn)練的。 bagging方法,即bootstrap aggregating,采用的是隨機(jī)有放回的選擇訓(xùn)練數(shù)據(jù)然后構(gòu)造分類器,最后組合學(xué)習(xí)到的模型來增加整體的效果。
簡(jiǎn)而言之:隨機(jī)森林建立了多個(gè)決策樹,并將它們合并在一起以獲得更準(zhǔn)確和穩(wěn)定的預(yù)測(cè)。隨機(jī)森林的一大優(yōu)勢(shì)在于它既可用于分類,也可用于回歸問題,這兩類問題恰好構(gòu)成了當(dāng)前的大多數(shù)機(jī)器學(xué)習(xí)系統(tǒng)所需要面對(duì)的。 接下來,將探討隨機(jī)森林如何用于分類問題,因?yàn)榉诸愑袝r(shí)被認(rèn)為是機(jī)器學(xué)習(xí)的基石。 下圖,你可以看到兩棵樹的隨機(jī)森林是什么樣子的:
除了少數(shù)例外,隨機(jī)森林分類器使用所有的決策樹分類器以及bagging 分類器的超參數(shù)來控制整體結(jié)構(gòu)。 與其先構(gòu)建bagging分類器,并將其傳遞給決策樹分類器,您可以直接使用隨機(jī)森林分類器類,這樣對(duì)于決策樹而言,更加方便和優(yōu)化。要注意的是,回歸問題同樣有一個(gè)隨機(jī)森林回歸器與之相對(duì)應(yīng)。
隨機(jī)森林算法中樹的增長會(huì)給模型帶來額外的隨機(jī)性。與決策樹不同的是,每個(gè)節(jié)點(diǎn)被分割成最小化誤差的最佳特征,在隨機(jī)森林中我們選擇隨機(jī)選擇的特征來構(gòu)建最佳分割。因此,當(dāng)您在隨機(jī)森林中,僅考慮用于分割節(jié)點(diǎn)的隨機(jī)子集,甚至可以通過在每個(gè)特征上使用隨機(jī)閾值來使樹更加隨機(jī),而不是如正常的決策樹一樣搜索最佳閾值。這個(gè)過程產(chǎn)生了廣泛的多樣性,通??梢缘玫礁玫哪P?。
一個(gè)更容易理解算法的例子
想象一下,一個(gè)名叫安德魯?shù)娜?,想知道一年的假期旅行中他?yīng)該去哪些地方。他會(huì)向了解他的朋友們咨詢建議。
起初,他去尋找一位朋友,這位朋友會(huì)問安德魯他曾經(jīng)去過哪些地方,他喜歡還是不喜歡這些地方。基于這些回答就能給安德魯一些建議,這便是一種典型的決策樹算法。
朋友通過安德魯?shù)幕卮穑瑸槠渲贫ǔ鲆恍┮?guī)則來指導(dǎo)應(yīng)當(dāng)推薦的地方。隨后,安德魯開始尋求越來越多朋友們的建議,他們會(huì)問他不同的問題,并從中給出一些建議。 最后,安德魯選擇了推薦最多的地方,這便是典型的隨機(jī)森林算法。
機(jī)器學(xué)習(xí)算法之隨機(jī)森林算法的特征的重要性
隨機(jī)森林算法的另一個(gè)優(yōu)點(diǎn)是可以很容易地測(cè)量每個(gè)特征對(duì)預(yù)測(cè)的相對(duì)重要性。 Sklearn為此提供了一個(gè)很好的工具,它通過查看使用該特征減少了森林中所有樹多少的不純度,來衡量特征的重要性。它在訓(xùn)練后自動(dòng)計(jì)算每個(gè)特征的得分,并對(duì)結(jié)果進(jìn)行標(biāo)準(zhǔn)化,以使所有特征的重要性總和等于1。
如果你不了解決策樹是如何工作對(duì),也不知道什么是葉子或節(jié)點(diǎn),可以參考維基百科的描述:在決策樹中,每個(gè)內(nèi)部節(jié)點(diǎn)代表對(duì)一類屬性的“測(cè)試”(例如,拋硬幣的結(jié)果是正面還是反面),每個(gè)分支代表測(cè)試的結(jié)果,每個(gè)葉節(jié)點(diǎn)代表一個(gè)類標(biāo)簽(在計(jì)算所有屬性之后作出的決定)。葉子就是沒有下一分支的節(jié)點(diǎn)。
通過查看特征的重要性,您可以知道哪些特征對(duì)預(yù)測(cè)過程沒有足夠貢獻(xiàn)或沒有貢獻(xiàn),從而決定是否丟棄它們。這是十分重要的,因?yàn)橐话愣詸C(jī)器學(xué)習(xí)擁有的特征越多,模型就越有可能過擬合,反之亦然。
下面你可以看到一個(gè)表格和一個(gè)可視化圖表,顯示了13個(gè)特征的重要性,我在有監(jiān)督分類項(xiàng)目中使用了kaggle上著名的Titanic 數(shù)據(jù)集。
決策樹與隨機(jī)森林的區(qū)別
正如我先前提到的,隨機(jī)森林是決策樹的集合,但仍有一些區(qū)別。
如果您將帶有特征和標(biāo)簽的訓(xùn)練數(shù)據(jù)集輸入到?jīng)Q策樹中,它將制定一些規(guī)則集,用于預(yù)測(cè)。
例如,如果您想預(yù)測(cè)某人是否會(huì)點(diǎn)擊在線廣告,可以收集該廣告的過去點(diǎn)擊人員以及能夠描述其做決定的特征。一旦你將這些特征和標(biāo)簽放入決策樹中,它會(huì)生成節(jié)點(diǎn)和一些規(guī)則,然后你就可以預(yù)測(cè)廣告是否會(huì)被點(diǎn)擊。但決策樹通常通過計(jì)算信息增益和基尼指數(shù)來生成節(jié)點(diǎn)和規(guī)則時(shí),相比之下,隨機(jī)森林則是隨機(jī)的。
另一個(gè)區(qū)別是“深度”決策樹往往會(huì)遭遇過擬合問題。而隨機(jī)森林則可以通過創(chuàng)建隨機(jī)的特征子集并使用這些子集構(gòu)建較小的樹,隨后組成子樹,這種方法可以防止大部分情況的過擬合。要注意的是,這同時(shí)會(huì)使得計(jì)算速度變慢,并取決于隨機(jī)森林構(gòu)建的樹數(shù)。
機(jī)器學(xué)習(xí)算法之隨機(jī)森林算法重要的超參數(shù)
隨機(jī)森林中的參數(shù)要么用來增強(qiáng)模型的預(yù)測(cè)能力,要么使模型更快。 以下將討論sklearns內(nèi)置的隨機(jī)森林函數(shù)中的超參數(shù)。
提高模型預(yù)測(cè)準(zhǔn)確性
首先,“n_estimators”超參數(shù)表示算法在進(jìn)行最大投票或采取預(yù)測(cè)平均值之前建立的樹數(shù)。 一般來說,樹的數(shù)量越多,性能越好,預(yù)測(cè)也越穩(wěn)定,但這也會(huì)減慢計(jì)算速度。
另一個(gè)重要的超參數(shù)是“max_features”,它表示隨機(jī)森林在單個(gè)樹中可擁有的特征最大數(shù)量。 Sklearn提供了幾個(gè)選項(xiàng),在他們的文檔中有描述:
http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html
最后一個(gè)重要的超參數(shù)是“min_sample_leaf”,正如其名稱所述,這決定了葉子的數(shù)量。
加快模型計(jì)算速度
“n_jobs”超參數(shù)表示引擎允許使用處理器的數(shù)量。 若值為1,則只能使用一個(gè)處理器。 值為-1則表示沒有限制。
“random_state”,表示隨機(jī)數(shù)種子,保證模型的輸出具有可復(fù)制性。 當(dāng)它被賦于一個(gè)指定值,且模型訓(xùn)練具有相同的參數(shù)和相同的訓(xùn)練數(shù)據(jù)時(shí),該模型將始終產(chǎn)生相同的結(jié)果。
最后,還有一個(gè)“oob_score”(也稱為oob采樣),它是一種隨機(jī)森林交叉驗(yàn)證方法。 在這個(gè)抽樣中,大約三分之一的數(shù)據(jù)不用于模型訓(xùn)練,而用來評(píng)估模型的性能。這些樣本被稱為袋外樣本。它與留一法交叉驗(yàn)證方法非常相似,但幾乎沒有附加的計(jì)算負(fù)擔(dān)。
優(yōu)缺點(diǎn)分析
就像我之前提到的那樣,隨機(jī)森林的一個(gè)優(yōu)點(diǎn)是它可以用于回歸和分類任務(wù),并且很容易查看模型的輸入特征的相對(duì)重要性。
隨機(jī)森林同時(shí)也被認(rèn)為是一種非常方便且易于使用的算法,因?yàn)樗悄J(rèn)的超參數(shù)通常會(huì)產(chǎn)生一個(gè)很好的預(yù)測(cè)結(jié)果。超參數(shù)的數(shù)量也不是那么多,而且它們所代表的含義直觀易懂。
機(jī)器學(xué)習(xí)中的一個(gè)重大問題是過擬合,但大多數(shù)情況下這對(duì)于隨機(jī)森林分類器而言不會(huì)那么容易出現(xiàn)。因?yàn)橹灰种杏凶銐蚨嗟臉?,分類器就不?huì)過度擬合模型。
隨機(jī)森林的主要限制在于使用大量的樹會(huì)使算法變得很慢,并且無法做到實(shí)時(shí)預(yù)測(cè)。一般而言,這些算法訓(xùn)練速度很快,預(yù)測(cè)十分緩慢。越準(zhǔn)確的預(yù)測(cè)需要越多的樹,這將導(dǎo)致模型越慢。在大多數(shù)現(xiàn)實(shí)世界的應(yīng)用中,隨機(jī)森林算法已經(jīng)足夠快,但肯定會(huì)遇到實(shí)時(shí)性要求很高的情況,那就只能首選其他方法。
當(dāng)然,隨機(jī)森林是一種預(yù)測(cè)性建模工具,而不是一種描述性工具。也就是說,如果您正在尋找關(guān)于數(shù)據(jù)中關(guān)系的描述,那建議首選其他方法。
適用范圍
隨機(jī)森林算法可被用于很多不同的領(lǐng)域,如銀行,股票市場(chǎng),醫(yī)藥和電子商務(wù)。 在銀行領(lǐng)域,它通常被用來檢測(cè)那些比普通人更高頻率使用銀行服務(wù)的客戶,并及時(shí)償還他們的債務(wù)。 同時(shí),它也會(huì)被用來檢測(cè)那些想詐騙銀行的客戶。 在金融領(lǐng)域,它可用于預(yù)測(cè)未來股票的趨勢(shì)。 在醫(yī)療保健領(lǐng)域,它可用于識(shí)別藥品成分的正確組合,分析患者的病史以識(shí)別疾病。 除此之外,在電子商務(wù)領(lǐng)域中,隨機(jī)森林可以被用來確定客戶是否真的喜歡某個(gè)產(chǎn)品。
總 結(jié)
隨機(jī)森林是一種很好的算法,適合在模型開發(fā)過程的早期進(jìn)行訓(xùn)練,了解它的工作原理,并且由于其簡(jiǎn)易性,很難構(gòu)建出“糟糕”的隨機(jī)森林。 如果您需要在短時(shí)間內(nèi)開發(fā)模型,隨機(jī)森林會(huì)是一個(gè)不錯(cuò)的選擇。 最重要的是,它為你選擇的特征提供了一個(gè)很好的重要性表示。
隨機(jī)森林在性能方面也很難被擊敗。 當(dāng)然,沒有最好只有更好,你總能找到一個(gè)性能更好的模型,比如神經(jīng)網(wǎng)絡(luò),但這類模型通常需要更多的時(shí)間來開發(fā)。 最重要的是,隨機(jī)森林同時(shí)可以處理許多不同屬性的特征類型,如二元的,類別的和數(shù)值的。總的來說,隨機(jī)森林是一個(gè)(相對(duì)大部分而言)快速,簡(jiǎn)單且靈活的工具,盡管它存在一定的局限性。
-
算法
+關(guān)注
關(guān)注
23文章
4575瀏覽量
92338 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8320瀏覽量
132165 -
隨機(jī)森林
+關(guān)注
關(guān)注
1文章
22瀏覽量
4250 -
機(jī)器學(xué)習(xí)算法
+關(guān)注
關(guān)注
2文章
47瀏覽量
6441
原文標(biāo)題:聊一聊「隨機(jī)森林算法」那些事兒...
文章出處:【微信號(hào):thejiangmen,微信公眾號(hào):將門創(chuàng)投】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論