神經(jīng)語言學中的卷積神經(jīng)網(wǎng)絡

當人們提到卷積神經(jīng)網(wǎng)絡(CNN), 大部分是關(guān)于計算機視覺的問題。卷積神經(jīng)網(wǎng)絡確實幫助圖像分類以及計算機視覺系統(tǒng)核心取得了重要突破，例如Facebook自動照片加tag的功能啊，自動駕駛車輛等。

近年來，我們也嘗試用CNN去解決神經(jīng)語言學（NLP）中的問題，并且獲得了一些有趣的結(jié)果。理解CNN在NLP中的作用比較困難，但是它在計算機視覺中的作用就更容易理解一些，所以呢，在本文中我們先從計算機視覺的角度出發(fā)談一談CNN，慢慢再過渡到NLP的問題中去~

什么是卷積神經(jīng)網(wǎng)絡

對我來說，最容易理解卷積的辦法是把它理解成一個滑動的窗口函數(shù)，就像是一個矩陣一樣。雖然很拗口，但是看起來很直觀（如下圖，自行領(lǐng)悟）：

?

Convolution with 3×3 Filter. Source:
讓我們發(fā)揮想象力，左邊的矩陣代表一個黑白圖像。每個方格對應一個像素，0表示黑色，1表示白色（通常來說，計算機視覺處理的圖像是一個灰度值在0到255之間的灰度圖）。滑動的窗口被稱為一個（卷積）內(nèi)核、過濾器（譯者：有那么點濾波器的感覺）或者特征檢測器（譯者：用于特征提取）。

現(xiàn)在，我們用一個3×3的過濾器，將它的值與原矩陣中的值相乘，然后求和。為了得到右邊的矩陣，我們需要將在完整的矩陣中每一個3×3子矩陣做一次操作。

你可能在想這種操作有什么作用，下面有兩個例子

模糊處理

讓像素與周圍像素值平均后，圖像發(fā)生模糊。

（譯者：類似于將周圍幾個像素的數(shù)值平攤一下）

?

?

邊緣檢測

對像素與周圍像素值做差后，邊界就變得顯著了。

為了更好地理解這個問題，先想想在一個像素變化平滑連續(xù)的圖像上，一塊像素點和周圍的幾個像素點相同的時候，會發(fā)生什么：那些因相互比較產(chǎn)生的增量就會消失，每個像素的最終值將會是0，也就是黑色。（譯者：猜是沒有對比度了）。如果那有很強的有著明顯色差的邊界，例如從白色到黑色的圖像邊界，那你就會得到明顯的反差，從而得到白色。

這個 GIMP manual 網(wǎng)址有更多的例子。（譯者：如銳化啊、邊緣加強之類的，還有一個似乎是可以這樣做卷積修圖的軟件）。如果想了解得更多的話，建議你們看看這個 Chris Olah’s post on the topic.

什么是卷積神經(jīng)網(wǎng)絡

你現(xiàn)在已經(jīng)知道了什么是卷積了，那么什么是卷積神經(jīng)網(wǎng)絡呢？簡單說來，CNN就是用好幾層使用非線性激活函數(shù)（如，ReLu，tanh）的卷積得到答案的神經(jīng)網(wǎng)絡。

在傳統(tǒng)的前饋神經(jīng)網(wǎng)絡中，我們將每一層的每個輸出和下一層的每個輸入相互連接，這也被稱為完全連接層或仿射層。但是CNN中并不是這樣。相反，我們使用卷積在輸入層中計算輸出（譯者：卷積造成部分映射，參見之前的卷積圖），這就導致了局部連接，一個輸出值連接到部分的輸入（譯者：利用層間局部空間相關(guān)性將相鄰每一層的神經(jīng)元節(jié)點只與和它相近的上層神經(jīng)元節(jié)點連接）。

每一層都需要不同的過濾器（通常是成千上萬的），就類似上文提到的那樣，然后將它們的結(jié)果合并起來。那還有一個叫做池（pooling layer）或者下采樣層（subsampling layers）的東西，之后再說吧。

在訓練階段中，CNN能夠通過訓練集自動改善過濾器中的參數(shù)值。舉個例子，在圖像分類問題中，CNN能夠在第一層時，用原始像素中識別出邊界，然后在第二層用邊緣去檢測簡單的形狀，然后再用這些形狀來識別高級的圖像，如人臉形狀啊，房子?。ㄗg者：特征提取后可以通過特征分辨圖像）。最后一層就是用高級的圖像來進行分類。

?

在計算方面有兩個值得注意的東西：局部不變性（Location Invariance）和組合性（Compositionality）。

假設你要辨別圖像上有木有大象，進行一次二分類（就是分成有大象和沒有大象的兩種）。

咱們的過濾器將掃描整個圖像，所以并不用太在意大象到底在哪兒。在現(xiàn)實中，pooling也使得你的圖像在平移、旋轉(zhuǎn)、縮放的時候保持不變（后者的情況更多些）。
組合性（局部組合性），每個過濾器獲取了低層次的圖片的一部分，組合起來成了高層次圖片。
這就是為什么CNN在計算機視覺上表現(xiàn)地如此給力。在從像素建邊，從邊到確立形狀，從形狀建立更加復雜的物體過程中，CNN會給人一個直觀的感受。

CNN在NLP中的用途

相比于圖像與像素，大多數(shù)的NLP問題的輸入是句子或者文檔構(gòu)成的矩陣。矩陣的每一行一般來說是一個單詞，也可以是一個字符（如，字符）。所以呢，每一行就是表示一個單詞的向量。通常每一個向量是一個放棄詞向量word embeddings(低緯度的表示方法)，例如word2vec or GloVe, 它們也可以是one-hot vectors 用于表示單詞。對于一個10個詞的句子，用一個100維的embedding表示，我們就有10×100的矩陣作為我們的輸出，這就是我們的“圖像”。

在這樣看來，我們的過濾器在一個圖像的小塊像素上滑動，但是在NLP問題上，我們用過濾器在矩陣的每一個完整的行上面滑動（就是一個單詞）。所以呢，過濾器的寬度一般和輸入矩陣的寬度相同。高度、區(qū)域大小一般各有不同，但是一般都是一次讀2-5個單詞。

將上面說的全部聯(lián)系起來，那么一個用于NLP問題的CNN就是醬紫的（花點時間，試著理解下面這張圖，想想每一維度是怎么被計算的，目前可以忽略池pooling，過會兒再說）：

?

用于句子分類的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)圖。

我們有三種過濾器，它們的高度分別為： 2，3， 4，每種過濾器共兩個。每個過濾器在句子矩陣里進行卷積并且產(chǎn)生一個長短不一的特征映射(feature maps)，然后一個1-max pooling在每個映射上運行，每個特征映射的最大數(shù)值都被記錄下來。因此，一個單變量特征向量由所有六個映射生成，這6個特征被級聯(lián)以形成用于倒數(shù)第二層的特征向量。 最后的 Softmax層就以輸入的形式接收到這些特征向量，然后用它來進行句子分類；這里我們假設二分類，也就是描述兩個可能的輸出狀態(tài)。
Source: Zhang, Y., & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification.
那我們能不能擁有像計算機視覺那樣的直觀感受呢？局部不變性（Location Invariance）和局部組合性（local Compositionally，譯者：我猜是mac自動更換造成的書寫錯誤）產(chǎn)生了對于圖像處理的直觀感受，但是這些對于NLP問題來說并不是特別直觀。你可能更加注意一個單詞出現(xiàn)在句子中的哪一個位置。（這里有一個疑問，因為后文說了，并不在意它在哪個位置，而是在意它有沒有出現(xiàn)過）

相互靠近的像素非?？赡苡小Z義’上面的聯(lián)系，比如可能是一個物體的一個部分，但是對于一個單詞而言，上述的規(guī)律并不是總是對的。在大部分的語言中，一個詞組可以被分成幾個孤立的部分。

同樣的，組合的特性也不是特別的明顯。我們知道，單詞之間肯定有特定的組合規(guī)律，才能相互連接，就像形容詞用來修飾名詞一樣，但是這些規(guī)則究竟怎么運轉(zhuǎn)，更高層次的表達究竟意味著什么，都不是像在計算機視覺中那樣明顯，那樣直觀。

在這樣的情況下，CNN看上去并不是特別適合用于NLP問題的處理。然而，RNN就能夠給你更加直觀的感受啦。它們象征著我們?nèi)绾谓M織語言（或者，最少也是我們腦海中怎么組織語言）：從左到右依次讀。幸運的是， 這并不代表CNN沒用。所有的模型都有錯誤，但是并不代表著它們沒用用。恰好，實際應用證明了CNN對于解決NLP問題相當不錯。簡單的詞袋模型Bag of Words model是一個基于錯誤假設的過簡單化模型，但是還是被當做標準方法這么多年，并且取得了不錯的成績。

一個對于CNN的爭議就是在于他們的速度，他們快，非?？?。卷積是計算機圖形的核心部分，并在GPU上的硬件級別上實現(xiàn)（你可以想象這有多快了吧）。相比于類似N-Grams之類的東西， CNN在單詞或者分類的表示方面效率極高。在處理大量的詞匯時，快速運算超出3-Grams的數(shù)據(jù)開銷巨大。甚至連Google都不可以計算超過5-Grams的數(shù)據(jù)。但是卷積過濾器可以自動學習到一種很好的表達方式，而不用多余地去表示所有的詞匯。因此，它完全可以擁有一個大小大于5的過濾器。我想啊，在第一層中設計這么多自動學習的過濾器，它們提取特征的行為很像（但不局限于）N-Grams的方式，但是卻用一個更加簡潔有效的方法表示它們。

CNN 的超參（HYPER-PARAMETERS）

在解釋CNN是如何作用于NLP問題之前，我們先看看在建立CNN的時候需要做哪些選擇。希望這會幫助你更好地理解這一領(lǐng)域的文獻。