詳解卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜機(jī)制？

??　　隨著復(fù)雜和高效的神經(jīng)網(wǎng)絡(luò)架構(gòu)的出現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的性能已經(jīng)優(yōu)于傳統(tǒng)的數(shù)字圖像處理方法，如 SIFT 和 SURF。在計算機(jī)視覺領(lǐng)域，學(xué)者們開始將研究重點轉(zhuǎn)移到 CNN，并相信 CNN 是這一領(lǐng)域的未來趨勢。但是，人們對成效卓著的 CNN 背后的機(jī)理卻缺乏了解。研究 CNN 的運(yùn)行機(jī)理是當(dāng)今一個熱門話題?；旧希腥N主流觀點：1》優(yōu)化、2》近似、3》信號。前兩種觀點主要集中在純數(shù)學(xué)分析，它們試圖分析神經(jīng)網(wǎng)絡(luò)的統(tǒng)計屬性和收斂性，而第三種觀點信號嘗試解決以下問題：1）為什么非線性激活函數(shù)（activation function）對所有中間層的過濾式輸出（filter output）是必不可少的？2）雙層級聯(lián)系統(tǒng)（two-layer cascade system）比單層系統(tǒng)的優(yōu)勢在哪里？
　　球面修正相關(guān)性（REctified COrrelations on a Sphere/RECOS）
　　眾所周知，前饋神經(jīng)網(wǎng)絡(luò)（FNN）可以被看作是一個萬能的近似器，在給定包含有限數(shù)量神經(jīng)元的單個隱藏層的情況下，它能夠近似任何連續(xù)的函數(shù)。FNN 的特殊之處在于神經(jīng)元的非線性激活函數(shù)。有的神經(jīng)網(wǎng)絡(luò)龐大且深度，但如果離開非線性激活函數(shù)，它們的復(fù)雜架構(gòu)的效果與一個簡單的單層線性模型沒什么不同，都是將輸入映射到另一個輸出空間。具體來說，非線性激活函數(shù)學(xué)習(xí)到的輸入的表征集合更適合解決實際問題。
　　CNN 只是 FNN 或 MLP（多層感知器/perceptron）的另一種類型。為了分析 CNN 的非線性，作者提出了一個數(shù)學(xué)模型來理解 CNN 的行為。在模型中，CNN 被視為由基本操作單元組成的一個網(wǎng)絡(luò)，它們計算「球面修正相關(guān)（RECOS）」。因此，它被稱為 RECOS 模型。在 CNN 訓(xùn)練期間，首先初始化核權(quán)重，然后通過梯度下降法（gradient descent）和反向傳播（back propagation）算法進(jìn)行調(diào)整。在 RECOS 模型中，權(quán)重被稱為錨向量（anchor vector），以表示它們在聚類輸入數(shù)據(jù)中的作用。也就是說，我們試圖計算輸入向量和錨向量之間的相關(guān)性，然后測量其相似度。
　　為什么用非線性激活函數(shù)？
　　
　　與 MLP 僅用 1 步考慮所有像素的交互作用不同，CNN 將輸入圖像分解成較小的圖像塊（patch），在某些層中又被稱為節(jié)點的感受域（receptive field）。算法逐漸擴(kuò)大感受域的范圍以覆蓋更大的圖像。神經(jīng)元計算輸入向量與其錨向量之間的相關(guān)性，以測量它們的相似度。每個 RECOS 單元中有 K 個神經(jīng)元。我們將模型表示為 Y = AX，其中 X 是輸入向量，Y 是輸出向量，A 是我們的錨向量（核過濾器（kernel filter）的權(quán)重矩陣）。這個方程表示 CNN 將輸入映射到另一個空間。通過研究 RECOS 模型，我們可以立即得出結(jié)論：學(xué)習(xí)到的核權(quán)重傾向于將相似的對象映射到同一個區(qū)域。例如，如果 x_i 與 x_j 的歐式距離相近，則相應(yīng)的輸出 y_i 和 y_j 在新空間中也必須相近。對于用于捕獲貓的特征的過濾器，學(xué)習(xí)到的錨向量 A 將所有代表貓?zhí)卣鞯南蛄?X_cat 映射為 Y_cat，而其它代表狗特征的向量 X_dog 或代表車特征的向量 X_car 將永遠(yuǎn)不會出現(xiàn)在這個區(qū)域。這就是 CNN 能夠有效識別不同對象的原因。