基于機(jī)器學(xué)習(xí)的第三代神經(jīng)網(wǎng)絡(luò)--脈沖神經(jīng)網(wǎng)絡(luò)的解析

脈沖神經(jīng)網(wǎng)絡(luò)（SNN）屬于第三代神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了更高級(jí)的生物神經(jīng)模擬水平。除了神經(jīng)元和突觸狀態(tài)之外，SNN 還將時(shí)間概念納入了其操作之中。本文將簡要介紹這種神秘的神經(jīng)網(wǎng)絡(luò)形式。

所有對(duì)目前機(jī)器學(xué)習(xí)有所了解的人都聽說過這樣一個(gè)事實(shí)：目前的人工神經(jīng)網(wǎng)絡(luò)是第二代神經(jīng)網(wǎng)絡(luò)。它們通常是全連接的，接收連續(xù)的值，輸出連續(xù)的值。盡管當(dāng)代神經(jīng)網(wǎng)絡(luò)已經(jīng)讓我們?cè)诤芏囝I(lǐng)域中實(shí)現(xiàn)了突破，但它們?cè)谏飳W(xué)上是不精確的，其實(shí)并不能模仿生物大腦神經(jīng)元的運(yùn)作機(jī)制。

第三代神經(jīng)網(wǎng)絡(luò)，脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network，SNN），旨在彌合神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)之間的差距，使用最擬合生物神經(jīng)元機(jī)制的模型來進(jìn)行計(jì)算。脈沖神經(jīng)網(wǎng)絡(luò)與目前流行的神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)方法有著根本上的不同。SNN 使用脈沖——這是一種發(fā)生在時(shí)間點(diǎn)上的離散事件——而非常見的連續(xù)值。每個(gè)峰值由代表生物過程的微分方程表示出來，其中最重要的是神經(jīng)元的膜電位。本質(zhì)上，一旦神經(jīng)元達(dá)到了某一電位，脈沖就會(huì)出現(xiàn)，隨后達(dá)到電位的神經(jīng)元會(huì)被重置。對(duì)此，最常見的模型是 Integrate-And-Fire（LIF）模型。此外，SNN 通常是稀疏連接的，并會(huì)利用特殊的網(wǎng)絡(luò)拓?fù)洹?/p>

LIF 模型中膜電位的微分方程

脈沖期間的膜電位形態(tài)

三神經(jīng)元網(wǎng)絡(luò)的脈沖訓(xùn)練

脈沖神經(jīng)網(wǎng)絡(luò)圖示

乍一看，脈沖神經(jīng)網(wǎng)絡(luò)的方法像是一種倒退。我們從連續(xù)輸出移動(dòng)至二進(jìn)制輸出，這些脈沖訓(xùn)練的可解釋性不強(qiáng)。但是，脈沖訓(xùn)練增強(qiáng)了我們處理時(shí)空數(shù)據(jù)（或者說真實(shí)世界感官數(shù)據(jù)）的能力?？臻g指神經(jīng)元僅與附近的神經(jīng)元連接，這樣它們可以分別處理輸入塊（類似于 CNN 使用濾波器）。時(shí)間指脈沖訓(xùn)練隨著時(shí)間而發(fā)生，這樣我們?cè)诙M(jìn)制編碼中丟失的信息可以在脈沖的時(shí)間信息中重新獲取。這允許我們自然地處理時(shí)間數(shù)據(jù)，無需 RNN 添加額外的復(fù)雜度。事實(shí)證明脈沖神經(jīng)元是比傳統(tǒng)人工神經(jīng)元更強(qiáng)大的計(jì)算單元。

既然理論上 SNN 比第二代網(wǎng)絡(luò)更強(qiáng)大，那么我們很自然會(huì)想到為什么它們沒有得到廣泛應(yīng)用。主要問題在于 SNN 的訓(xùn)練。盡管我們有無監(jiān)督生物學(xué)習(xí)方法，如赫布學(xué)習(xí)（Hebbian learning）和 STDP，但沒有適合 SNN 的有效監(jiān)督訓(xùn)練方法能夠 i 通過提供優(yōu)于第二代網(wǎng)絡(luò)的性能。由于脈沖訓(xùn)練不可微，我們無法在不損失準(zhǔn)確時(shí)間信息的前提下使用梯度下降來訓(xùn)練 SNN。因此，為了正確地使用 SNN 解決真實(shí)世界任務(wù)，我們需要開發(fā)一種高效的監(jiān)督學(xué)習(xí)方法。這是一項(xiàng)艱巨的任務(wù)，因?yàn)樗婕暗剑o定這些網(wǎng)絡(luò)的生物現(xiàn)實(shí)主義，確定人類大腦如何學(xué)習(xí)。

另一個(gè)問題是在正常硬件上模擬 SNN 需要耗費(fèi)大量算力，因?yàn)樗枰M微分方程。但是，神經(jīng)形態(tài)硬件，如 IBM TrueNorth，旨在使用利用神經(jīng)元脈沖行為的離散和稀疏本質(zhì)的專門硬件模擬神經(jīng)元，進(jìn)而解決該問題。

今天看來，SNN 的未來依然不甚清晰。一方面，它們是我們當(dāng)前神經(jīng)網(wǎng)絡(luò)的天然繼承者；但是另一方面，對(duì)大多數(shù)任務(wù)來說它們還遠(yuǎn)不是實(shí)踐工具。目前在實(shí)時(shí)圖像和音頻處理中有一些 SNN 實(shí)際應(yīng)用，但相關(guān)文獻(xiàn)仍然很少。絕大多數(shù) SNN 論文或者是理論的，或者在一個(gè)簡單的全連接第二代網(wǎng)絡(luò)之中展示性能。然而，很多團(tuán)隊(duì)正致力于開發(fā) SNN 監(jiān)督式學(xué)習(xí)規(guī)則，并且我對(duì) SNN 的未來充滿樂觀。