卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程及與深度學習的差異

發(fā)展過程

1986年Rumelhart等人提出了人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法，掀起了神經(jīng)網(wǎng)絡(luò)在機器學習中的熱潮，神經(jīng)網(wǎng)絡(luò)中存在大量的參數(shù)，存在容易發(fā)生過擬合、訓練時間長的缺點，但是對比Boosting、Logistic回歸、SVM等基于統(tǒng)計學習理論的方法（也可以看做具有一層隱層節(jié)點或不含隱層節(jié)點的學習模型，被稱為淺層模型）來說，具有較大的優(yōu)越性。

淺層模型為什么效果沒有深層模型好？

淺層學習模型通常要由人工的方法來獲得好的樣本特性，在此基礎(chǔ)上進行識別和預(yù)測，因此方法的有效性在很大程度上受到特征提取的制約。

深度學習的提出：

2006年，Hinton提出了深度學習，兩個主要的觀點是：

多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學習能力，學習到的數(shù)據(jù)更能反映數(shù)據(jù)的本質(zhì)特征有利于可視化或分類

深度神經(jīng)網(wǎng)絡(luò)在訓練上的難度，可以通過逐層無監(jiān)督訓練有效克服，

深度學習取得成功的原因：

大規(guī)模數(shù)據(jù)（例如ImageNet）：為深度學習提供了好的訓練資源

計算機硬件的飛速發(fā)展：特別是GPU的出現(xiàn)，使得訓練大規(guī)模上網(wǎng)絡(luò)成為可能

深度學習的思想：

深度神經(jīng)網(wǎng)絡(luò)的基本思想是通過構(gòu)建多層網(wǎng)絡(luò)，對目標進行多層表示，以期通過多層的高層次特征來表示數(shù)據(jù)的抽象語義信息，獲得更好的特征魯棒性。

什么是卷積神經(jīng)網(wǎng)絡(luò)：

卷積神經(jīng)網(wǎng)絡(luò)是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，卷積結(jié)構(gòu)可以減少深層網(wǎng)絡(luò)占用的內(nèi)存量，其三個關(guān)鍵的操作，其一是局部感受野，其二是權(quán)值共享，其三是pooling層，有效的減少了網(wǎng)絡(luò)的參數(shù)個數(shù)，緩解了模型的過擬合問題。

1）網(wǎng)絡(luò)結(jié)構(gòu)

**卷積神經(jīng)網(wǎng)絡(luò)整體架構(gòu)：**卷積神經(jīng)網(wǎng)絡(luò)是一種多層的監(jiān)督學習神經(jīng)網(wǎng)絡(luò)，隱含層的卷積層和池采樣層是實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能的核心模塊。該網(wǎng)絡(luò)模型通過采用梯度下降法最小化損失函數(shù)對網(wǎng)絡(luò)中的權(quán)重參數(shù)逐層反向調(diào)節(jié)，通過頻繁的迭代訓練提高網(wǎng)絡(luò)的精度。卷積神經(jīng)網(wǎng)絡(luò)的低隱層是由卷積層和最大池采樣層交替組成，高層是全連接層對應(yīng)傳統(tǒng)多層感知器的隱含層和邏輯回歸分類器。第一個全連接層的輸入是由卷積層和子采樣層進行特征提取得到的特征圖像。最后一層輸出層是一個分類器，可以采用邏輯回歸，Softmax回歸甚至是支持向量機對輸入圖像進行分類。

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：卷積層，降采樣層，全鏈接層。每一層有多個特征圖，每個特征圖通過一種卷積濾波器提取輸入的一種特征，每個特征圖有多個神經(jīng)元。

輸入圖像統(tǒng)計和濾波器進行卷積之后，提取該局部特征，一旦該局部特征被提取出來之后，它與其他特征的位置關(guān)系也隨之確定下來了，每個神經(jīng)元的輸入和前一層的局部感受野相連，每個特征提取層都緊跟一個用來求局部平均與二次提取的計算層，也叫特征映射層，網(wǎng)絡(luò)的每個計算層由多個特征映射平面組成，平面上所有的神經(jīng)元的權(quán)重相等。

通常將輸入層到隱藏層的映射稱為一個特征映射，也就是通過卷積層得到特征提取層，經(jīng)過pooling之后得到特征映射層。

2）局部感受野與權(quán)值共享

卷積神經(jīng)網(wǎng)絡(luò)的核心思想就是局部感受野、是權(quán)值共享和pooling層，以此來達到簡化網(wǎng)絡(luò)參數(shù)并使得網(wǎng)絡(luò)具有一定程度的位移、尺度、縮放、非線性形變穩(wěn)定性。

局部感受野：由于圖像的空間聯(lián)系是局部的，每個神經(jīng)元不需要對全部的圖像做感受，只需要感受局部特征即可，然后在更高層將這些感受得到的不同的局部神經(jīng)元綜合起來就可以得到全局的信息了，這樣可以減少連接的數(shù)目。

權(quán)值共享：不同神經(jīng)元之間的參數(shù)共享可以減少需要求解的參數(shù)，使用多種濾波器去卷積圖像就會得到多種特征映射。權(quán)值共享其實就是對圖像用同樣的卷積核進行卷積操作，也就意味著第一個隱藏層的所有神經(jīng)元所能檢測到處于圖像不同位置的完全相同的特征。其主要的能力就能檢測到不同位置的同一類型特征，也就是卷積網(wǎng)絡(luò)能很好的適應(yīng)圖像的小范圍的平移性，即有較好的平移不變性（比如將輸入圖像的貓的位置移動之后，同樣能夠檢測到貓的圖像）

3）卷積層、下采樣層、全連接層

卷積層：因為通過卷積運算我們可以提取出圖像的特征，通過卷積運算可以使得原始信號的某些特征增強，并且降低噪聲。

用一個可訓練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個偏置bx，得到卷積層Cx。

下采樣層：因為對圖像進行下采樣，可以減少數(shù)據(jù)處理量同時保留有用信息，采樣可以混淆特征的具體位置，因為某個特征找出來之后，它的位置已經(jīng)不重要了，我們只需要這個特征和其他特征的相對位置，可以應(yīng)對形變和扭曲帶來的同類物體的變化。

每鄰域四個像素求和變?yōu)橐粋€像素，然后通過標量Wx+1加權(quán)，再增加偏置bx+1，然后通過一個sigmoid激活函數(shù)，產(chǎn)生一個大概縮小四倍的特征映射圖Sx+1。 **

全連接層：采用softmax全連接，得到的激活值即卷積神經(jīng)網(wǎng)絡(luò)提取到的圖片特征。

卷積神經(jīng)網(wǎng)絡(luò)相比一般神經(jīng)網(wǎng)絡(luò)在圖像理解中的優(yōu)點：

網(wǎng)絡(luò)結(jié)構(gòu)能夠較好的適應(yīng)圖像的結(jié)構(gòu)

同時進行特征提取和分類，使得特征提取有助于特征分類

權(quán)值共享可以減少網(wǎng)絡(luò)的訓練參數(shù)，使得神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得簡單，適應(yīng)性更強