一個(gè)決定神經(jīng)網(wǎng)絡(luò)深度、網(wǎng)絡(luò)層大小的簡單方法

編者按：Ahmed Gad介紹了一個(gè)決定神經(jīng)網(wǎng)絡(luò)深度、網(wǎng)絡(luò)層大小的簡單方法。

該使用多少層隱藏層？使用隱藏層的目的是什么？增加隱藏層/神經(jīng)元的數(shù)目總能給出更好的結(jié)果嗎？人工神經(jīng)網(wǎng)絡(luò)（ANN）初學(xué)者常常提出這些問題。如果需要解決的問題很復(fù)雜，這些問題的答案可能也會(huì)比較復(fù)雜。希望讀完這篇文章后，你至少可以知道如何回答這些問題。

介紹

在計(jì)算機(jī)科學(xué)中，借鑒了生物神經(jīng)網(wǎng)絡(luò)的ANN用一組網(wǎng)絡(luò)層表示。這些網(wǎng)絡(luò)層可以分為三類：輸入層、隱藏層、輸出層。

輸入層和輸出層的層數(shù)、大小是最容易確定的。每個(gè)網(wǎng)絡(luò)都有一個(gè)輸入層，一個(gè)輸出層。輸入層的神經(jīng)元數(shù)目等于將要處理的數(shù)據(jù)的變量數(shù)。輸出層的神經(jīng)元數(shù)目等于每個(gè)輸入對(duì)應(yīng)的輸出數(shù)。不過，確定隱藏層的層數(shù)和大小卻是一項(xiàng)挑戰(zhàn)。

下面是在分類問題中確定隱藏層的層數(shù)，以及每個(gè)隱藏層的神經(jīng)元數(shù)目的一些原則：

在數(shù)據(jù)上畫出分隔分類的期望邊界。

將期望邊界表示為一組線段。

線段數(shù)等于第一個(gè)隱藏層的隱藏層神經(jīng)元數(shù)。

將其中部分線段連接起來（每次選擇哪些線段連接取決于設(shè)計(jì)者），并增加一個(gè)新隱藏層。也就是說，每連接一些線段，就新增一個(gè)隱藏層。

每次連接的連接數(shù)等于新增隱藏層的神經(jīng)元數(shù)目。

下面我們將舉例說明這一確定隱藏層層數(shù)、大小的簡單方法。

例一

讓我們先來看一個(gè)簡單的分類問題。每個(gè)樣本有兩個(gè)輸入和一個(gè)表示分類標(biāo)簽的輸出，和XOR問題很像。

首先需要回答的問題，是否需要隱藏層。關(guān)于這個(gè)問題，有一條一般規(guī)則：

在神經(jīng)網(wǎng)絡(luò)中，當(dāng)且僅當(dāng)數(shù)據(jù)必須以非線性的方式分割時(shí)，才需要隱藏層。

回到我們的例子?？雌饋硪粭l直線搞不定，因此，我們需要使用隱藏層。在這樣的情形下，也許我們?nèi)匀豢梢圆挥秒[藏層，但會(huì)影響到分類精確度。所以，最好使用隱藏層。

已知需要隱藏層，那么接下來就需要回答兩個(gè)重要問題：

需要多少層？

每層需要多少神經(jīng)元？

按照我們之前提到的流程，首先需要畫出分割的邊界。如下圖所示，可能的邊界不止一種。我們在之后的討論中將以下圖右部的方案為例。

根據(jù)之前的原則，接下來是使用一組線段表示這一邊界。

使用一組線段表示邊界的想法來自于神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)構(gòu)件——單層感知器。單層感知器是一個(gè)線性分類器，根據(jù)下式創(chuàng)建分界線：

y = w1x1+ w2x2+ ? + wixi+ b

其中xi是第i項(xiàng)輸入，wi是權(quán)重，b是偏置，y是輸出。因?yàn)槊吭黾右粋€(gè)隱藏單元都會(huì)增加權(quán)重?cái)?shù)，所以一般建議使用能夠完成任務(wù)的最少數(shù)量的隱藏單元。隱藏神經(jīng)元使用量超出需要會(huì)增加復(fù)雜度。

回到我們的例子上來，人工神經(jīng)網(wǎng)絡(luò)基于多個(gè)感知器構(gòu)建，這就相當(dāng)于網(wǎng)絡(luò)由多條直線組成。

因此我們使用一組線段替換邊界，以分界曲線變向處作為線段的起點(diǎn)，在這一點(diǎn)上放置方向不同的兩條線段。

如下圖所示，我們只需要兩條線段（分界曲線變向處以空心圓圈表示）。也就是兩個(gè)單層感知器網(wǎng)絡(luò)，每個(gè)感知器產(chǎn)生一條線段。

只需兩條線段就可以表示邊界，因此第一個(gè)隱藏層將有兩個(gè)隱藏神經(jīng)元。

到目前為止，我們有包含兩個(gè)隱藏神經(jīng)元的單隱藏層。每個(gè)隱藏神經(jīng)元可以看成由一條線段表示的一個(gè)線性分類器。每個(gè)分類器（即隱藏神經(jīng)元）都有一個(gè)輸出，總共有兩個(gè)輸出。但我們將要?jiǎng)?chuàng)建的是基于單個(gè)輸出表示分類標(biāo)簽的一個(gè)分類器，因此，兩個(gè)隱藏神經(jīng)元的輸出將被合并為單個(gè)輸出。換句話說，這兩條線段將由另一個(gè)神經(jīng)元連接起來，如下圖所示。

很幸運(yùn)，我們并不需要額外添加一個(gè)包含單個(gè)神經(jīng)元的隱藏層。輸出層的神經(jīng)元正好可以起到這個(gè)作用，合并之前提到的兩個(gè)輸出（連接兩條線段），這樣整個(gè)網(wǎng)絡(luò)就只有一個(gè)輸出。

整個(gè)網(wǎng)絡(luò)架構(gòu)如下圖所示：

例二

我們再來看一個(gè)分類問題的例子。和上面一個(gè)例子相似，這個(gè)例子也有兩個(gè)分類，每個(gè)樣本對(duì)應(yīng)兩個(gè)輸入和一個(gè)輸出。區(qū)別在于邊界比之前的更復(fù)雜。

遵照之前的原則，第一步是畫出邊界（如下圖左半部分所示），接著是將邊界分成一組線段，我們將使用ANN的感知器建模每條線段。在畫出線段之前，首先標(biāo)出邊界的變向處（下圖右半部分中的空心圓圈）。

問題在于需要幾條線段？頂部和底部的變向處各需要兩條線段，這樣總共是4條線段。而當(dāng)中的變向處可以和上下兩個(gè)變向處共用線段。所以我們需要4條線段，如下圖所示。

這意味著第一個(gè)隱藏層將包含4個(gè)神經(jīng)元。換句話說，由單層感知器構(gòu)成的4個(gè)分類器，每個(gè)分類器各生成一個(gè)輸出，共計(jì)4個(gè)輸出。接下來需要將這些分類器連接起來，使得整個(gè)網(wǎng)絡(luò)生成單個(gè)輸出。換句話說，通過另外的隱藏層將這些線段連接起來，以得到單條曲線。

網(wǎng)絡(luò)的具體布局取決于模型設(shè)計(jì)者。一種可能的網(wǎng)絡(luò)架構(gòu)是創(chuàng)建包含兩個(gè)隱藏神經(jīng)元的第二隱藏層。其中第一個(gè)隱藏神經(jīng)元連接前兩條線段，最后一個(gè)隱藏神經(jīng)元連接后兩條線段，如下圖所示。

到目前為止，我們有兩條曲線，也就是兩個(gè)輸出。接下來我們連接這兩條曲線，以得到整個(gè)網(wǎng)絡(luò)的單個(gè)輸出。在這一情形下，輸出層的神經(jīng)元可以完成最終的連接，而無需增加一個(gè)新的隱藏層。最后我們得到了如下曲線：

這就完成了網(wǎng)絡(luò)的設(shè)計(jì)，整個(gè)網(wǎng)絡(luò)架構(gòu)如下圖所示：