使用Scikit-learn在Python中設(shè)置神經(jīng)網(wǎng)絡(luò)的方法

　　對(duì)于 Python 來(lái)說(shuō)，最受歡迎的機(jī)器學(xué)習(xí)圖書(shū)館是 SciKit Learn。 前幾天最新版本（0.18）剛剛發(fā)布，現(xiàn)在已內(nèi)置支持神經(jīng)網(wǎng)絡(luò)模型。 對(duì) Python 的基本理解對(duì)于弄明白這篇文章是必要的，有一些關(guān)于Sci-Kit Learn 的使用經(jīng)驗(yàn)也是十分有幫助的（但不是必要）。

　　另外，作為一個(gè)快速附注，我寫(xiě)了一篇詳解版的姐妹文章，不過(guò)是以 R 語(yǔ)言編寫(xiě)的（可點(diǎn)擊此處查看）。

　　| 神經(jīng)網(wǎng)絡(luò)

　　神經(jīng)網(wǎng)絡(luò)是一個(gè)試圖模仿自然生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)模式的機(jī)器學(xué)習(xí)框架。 生物神經(jīng)網(wǎng)絡(luò)具有相互連接的神經(jīng)元，神經(jīng)元帶有接受輸入信號(hào)的樹(shù)突，然后基于這些輸入，它們通過(guò)軸突向另一個(gè)神經(jīng)元產(chǎn)生輸出信號(hào)。 我們將嘗試通過(guò)使用人工神經(jīng)網(wǎng)絡(luò)（ANN）來(lái)模擬這個(gè)過(guò)程，我們現(xiàn)在將其稱(chēng)為神經(jīng)網(wǎng)絡(luò)。 創(chuàng)建神經(jīng)網(wǎng)絡(luò)的過(guò)程從最基本的形式單個(gè)感知器開(kāi)始。

　　| 感知器

　　讓我們通過(guò)探討感知器開(kāi)始我們的討論吧。 感知器具有一個(gè)或多個(gè)輸入、偏置、激活函數(shù)和單個(gè)輸出。 感知器接收輸入，將它們乘以一些權(quán)重，然后將它們傳遞到激活函數(shù)以產(chǎn)生輸出。 有許多激活函數(shù)可供選擇，例如邏輯函數(shù)，三角函數(shù)，階躍函數(shù)等。我們還確保向感知器添加偏差，這避免了所有輸入可能等于零的問(wèn)題（意味著沒(méi)有乘權(quán)重會(huì)有影響）。 檢查下面的圖表感知器的可視化：

　　一旦我們有輸出，我們可以將其與已知標(biāo)簽進(jìn)行比較，并相應(yīng)地調(diào)整權(quán)重（權(quán)重通常以隨機(jī)初始化值開(kāi)始）。 我們繼續(xù)重復(fù)此過(guò)程，直到我們達(dá)到允許迭代的最大數(shù)量或可接受的錯(cuò)誤率。

　　為了創(chuàng)建神經(jīng)網(wǎng)絡(luò)，從疊加感知器層開(kāi)始即可創(chuàng)建神經(jīng)網(wǎng)絡(luò)的多層感知器模型。 將產(chǎn)生直接接收要素輸入的一個(gè)輸入層，一個(gè)將創(chuàng)建結(jié)果輸出的輸出層。 之間的任何圖層都稱(chēng)為隱藏圖層，因?yàn)樗鼈儾恢苯印安榭础币剌斎牖蜉敵觥?對(duì)于可視化可查看下面的圖表（來(lái)源：維基百科）。

　　下面，讓我們開(kāi)始實(shí)操，用 python 創(chuàng)建神經(jīng)網(wǎng)絡(luò)吧！

　　| SciKit-Learn

　　為了跟得上這個(gè)教程的節(jié)奏，您需要安裝最新版本的 SciKit Learn。雖然通過(guò) pip 或 conda 很容易安裝，但你可以參考官方的安裝文檔來(lái)了解完整的細(xì)節(jié)。

　　| 數(shù)據(jù)

　　我們將使用 SciKit Learn 內(nèi)置的乳腺癌數(shù)據(jù)集，如果具有腫瘤特征的樣本均會(huì)被標(biāo)記，并顯示腫瘤為惡性還是良性。 我們將嘗試創(chuàng)建一個(gè)神經(jīng)網(wǎng)絡(luò)模型，它可以理解腫瘤的特點(diǎn)，并嘗試預(yù)測(cè)。讓我們繼續(xù)進(jìn)行，從獲取數(shù)據(jù)開(kāi)始吧！

　　這個(gè)對(duì)象就像字典一樣，包含著數(shù)據(jù)的描述信息，特點(diǎn)及目標(biāo)：

　　| 訓(xùn)練測(cè)試分裂

　　讓我們把數(shù)據(jù)分成訓(xùn)練和測(cè)試集，通過(guò)來(lái)自模式選擇中的 SciKit Learn‘s 的訓(xùn)練測(cè)試分裂函數(shù)，這點(diǎn)便可以輕松做到。

　　| 數(shù)據(jù)預(yù)處理

　　如果數(shù)據(jù)未被歸一化，則在最大迭代次數(shù)被準(zhǔn)許之前，神經(jīng)網(wǎng)絡(luò)可能難以聚集。 多層感知器對(duì)特征縮放非常敏感，因此強(qiáng)烈建議您縮放數(shù)據(jù)。 請(qǐng)注意，必須對(duì)測(cè)試集應(yīng)用相同的縮放以獲得有意義的結(jié)果。 目前有很多不同的數(shù)據(jù)標(biāo)準(zhǔn)化方法，我們將使用內(nèi)置的 StandardScaler 進(jìn)行標(biāo)準(zhǔn)化。

　　| 訓(xùn)練模型

　　現(xiàn)在該訓(xùn)練我們的模型了。 通過(guò)估計(jì)對(duì)象， SciKit Learn 使這一切變得極其容易。 在這種情況下，我們將從 SciKit-Learn 的 neural_network 庫(kù)導(dǎo)入我們的估計(jì)器（多層感知器分類(lèi)器模型）。

　　我們接下來(lái)將創(chuàng)建一個(gè)模型的實(shí)例，你可以定義很多參數(shù)和自定義，我們將只定義 hidden_layer_sizes。 對(duì)于此參數(shù)，您傳遞一個(gè)元組，其中在每一層包含你想要的神經(jīng)元數(shù)量，其中元組中的第 n 個(gè)條目表示 MLP 模型的第 n 層中的神經(jīng)元的數(shù)量。 有很多方法來(lái)選擇這些數(shù)字，但為了簡(jiǎn)單起見(jiàn)，我們將選擇與我們的數(shù)據(jù)集中的特征相同數(shù)量的神經(jīng)元的三層：

　　現(xiàn)在已經(jīng)建立了模型，我們可以將訓(xùn)練數(shù)據(jù)放入其中，記住這個(gè)數(shù)據(jù)已經(jīng)被處理和縮放：

　　MLPClassifier（activation=’relu‘， alpha=0.0001， batch_size=’auto‘， beta_1=0.9，

　　beta_2=0.999， early_stopping=False， epsilon=1e-08，

　　hidden_layer_sizes=（30， 30， 30）， learning_rate=’constant‘，

　　learning_rate_init=0.001， max_iter=200， momentum=0.9，

　　nesterovs_momentum=True， power_t=0.5， random_state=None，

　　shuffle=True， solver=’adam‘， tol=0.0001， validation_fraction=0.1，

　　verbose=False， warm_start=False）

　　我們可以在其中看到顯示模型中其他參數(shù)的默認(rèn)值輸出。 嘗試用不同的數(shù)值多次操作，就能看到數(shù)據(jù)對(duì)模型的影響。

　　| 預(yù)測(cè)與評(píng)估

　　現(xiàn)在我們有一個(gè)模型，是時(shí)候使用它來(lái)獲得預(yù)測(cè)！ 我們可以簡(jiǎn)單地使用我們的擬合模型中的 predict（）方法：

　　現(xiàn)在我們可以使用 SciKit-Learn 內(nèi)置的指標(biāo)，如分類(lèi)報(bào)告和混淆矩陣來(lái)評(píng)估我們的模型執(zhí)行得如何：

　　看上去只有三個(gè)案例被錯(cuò)誤分類(lèi)了，準(zhǔn)確率達(dá)到 98 %（以及 98％ 的精度和召回）。考慮到我們才寫(xiě)了這么少的代碼，效果還是相當(dāng)不錯(cuò)的。 然而，使用多層感知器模型的缺點(diǎn)在于，解釋模型本身存在著很多困難，而特征的權(quán)重和偏差很難輕易解釋。

　　然而，如果希望在訓(xùn)練模型后提取MLP權(quán)重和偏差，則需要使用其公共屬性 coefs_ 和 intercepts_。

　　coefs_ 是權(quán)重矩陣的列表，其中索引i 處的權(quán)重矩陣表示層 i 和層 i + 1 之間的權(quán)重。

　　intercepts_ 是偏差向量的列表，其中索引i 處的向量表示添加到層 i + 1 的偏差值。

　　| 結(jié)論

　　希望你喜歡這個(gè)關(guān)于神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)短討論，我們可以在學(xué)習(xí)中嘗試玩轉(zhuǎn)隱藏層和神經(jīng)元的數(shù)量，看看它們?nèi)绾斡绊懡Y(jié)果。