研究人員研發(fā)新型基于人腦的算法，可幫助神經(jīng)網(wǎng)絡(luò)節(jié)省內(nèi)存

如今，人工智能的發(fā)展如火如荼，廣泛應(yīng)用到了圖像、自然語言、人機對話等各個領(lǐng)域，對各個產(chǎn)業(yè)進(jìn)行了變革。

在移動應(yīng)用中，人工智能廣泛使用的最大障礙之一是人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)活動需要消耗大量能量，而解決這一問題的一種方法可以從大腦中獲得靈感。這是因為大腦具有超級計算能力，而且大腦神經(jīng)元之間可以通過短的電脈沖或尖峰進(jìn)行有效傳輸，極大節(jié)省了能量。

基于此思路，奧地利格拉茨工業(yè)大學(xué)的研究人員 Wolfgang Maass 和 Robert Legenstein 領(lǐng)導(dǎo)的工作組開發(fā)了一種稱為 e-propagation （簡稱 e-prop） 的新型機器學(xué)習(xí)算法。該算法可根據(jù)人腦模型進(jìn)行學(xué)習(xí)，適應(yīng)不斷變化的需求，其在線學(xué)習(xí)的特性也極大節(jié)省了能量。

該項研究的結(jié)果發(fā)表在近期的 Nature Communications 雜志上。

大腦的神經(jīng)網(wǎng)絡(luò)比人工神經(jīng)網(wǎng)絡(luò)更節(jié)能

通常我們將大腦中的神經(jīng)元網(wǎng)絡(luò)與人工智能的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行類比，然而人工智能的運作原理與人腦完全不同，其中最大的區(qū)別是神經(jīng)元相互交流的方式。深度神經(jīng)網(wǎng)絡(luò)的每一層以同步方式生成數(shù)字，而大腦通過異步發(fā)射的尖峰進(jìn)行通信。

現(xiàn)代深度學(xué)習(xí)最早受生物學(xué)啟發(fā)，以神經(jīng)元的單個計算單元的大型網(wǎng)絡(luò)之間的連接強度來編碼信息。人工神經(jīng)網(wǎng)絡(luò)被組織成層，每個神經(jīng)元通常連接到下一層中的每個神經(jīng)元。信息以高度同步的方式在層之間傳遞，對數(shù)據(jù)進(jìn)行預(yù)測，再與目標(biāo)值進(jìn)行比較，計算損失，之后再反向傳播，經(jīng)過多次迭代調(diào)整網(wǎng)絡(luò)，得到準(zhǔn)確的預(yù)測為止。

而對于大腦來說，生物神經(jīng)元通過發(fā)射尖峰的電脈沖進(jìn)行交流，每個神經(jīng)元都按照自己的時間表進(jìn)行交流。連接并沒有整齊地分成幾層，并具有許多反饋回路，這意味著神經(jīng)元的輸出通常最終會影響其輸入。

大腦這種基于峰值的方法在能源效率方面要比人工神經(jīng)網(wǎng)絡(luò)高得多，一般訓(xùn)練最強大的 AI 需要幾千瓦的電能，而大腦只需要 20 瓦。因此人們對人工神經(jīng)網(wǎng)絡(luò)以及神經(jīng)形態(tài)硬件（一種可以模仿大腦的物理組織和原理的計算機芯片）的興趣日益濃厚。

既然大腦傳遞信息能極大節(jié)能，那如果將人工神經(jīng)網(wǎng)絡(luò)的思想應(yīng)用到大腦中會發(fā)生什么呢？我們可以看到，這里存在一個問題，在大腦中的神經(jīng)元進(jìn)行反向傳播，相當(dāng)于將信號在時間和空間上通過神經(jīng)元之間的突觸向后發(fā)送，這顯然是不可能的。

新型機器學(xué)習(xí)算法

這促使研究人員在實驗神經(jīng)科學(xué)數(shù)據(jù)中研究已經(jīng)清楚的兩個特征：一個特征是每個神經(jīng)元以分子標(biāo)記的形式保留了先前活動的記憶，并隨著時間的流逝而逐漸消失；另一個特征是大腦使用像神經(jīng)遞質(zhì)多巴胺這樣的東西提供自上而下的學(xué)習(xí)信號，該信號調(diào)節(jié)神經(jīng)元群的行為。

奧地利的這支團隊利用了這兩種特征進(jìn)行最佳組合，創(chuàng)建了一種稱為 e-prop 的新學(xué)習(xí)算法，該算法無需對信號進(jìn)行時間反向傳播。它的學(xué)習(xí)速度雖然比反向傳播慢，但趨近于反向傳播的性能。此外，e-prop 還適用于具有更復(fù)雜神經(jīng)元模型的 RSNN。

更重要的是，該方法允許在線學(xué)習(xí)。這意味著，無需立即處理大量數(shù)據(jù)，而只是在數(shù)據(jù)可用時就從數(shù)據(jù)中學(xué)習(xí)。這極大地減少了所需的內(nèi)存和能量，這使得在較小的移動設(shè)備中進(jìn)行片上學(xué)習(xí)變得更加實用。

在大腦中，一般尖峰僅在網(wǎng)絡(luò)中的信息處理需要它們時才會變得活躍，而對于不那么活躍的網(wǎng)絡(luò)，學(xué)習(xí)則是一種特殊挑戰(zhàn)，因為需要更長的觀察時間才能確定哪些神經(jīng)元連接可以改善網(wǎng)絡(luò)性能，因此學(xué)習(xí)率很低。

而 e-prop 算法的出現(xiàn)解決這一問題。在該方法中，首先將自上而下的信號標(biāo)記為學(xué)習(xí)信號，而每個神經(jīng)元在所謂的資格跟蹤信號中記錄何時使用連接。利用這兩種信號以及突觸可塑性提供一個規(guī)范模型，由此產(chǎn)生的學(xué)習(xí)模型表明，許多生物神經(jīng)元的一個特征方面（即緩慢變化的隱藏變量的存在）為 RSNN 如何學(xué)習(xí)而沒有錯誤信號向后傳播的問題提供了一種可能的解決方案，即神經(jīng)元導(dǎo)致合格性跡線在更長的時間跨度內(nèi)向前傳播，因此能夠與后來出現(xiàn)的瞬時錯誤信號重合。

除此外，e-prop 理論為實驗發(fā)現(xiàn)的多巴胺信號多樣性對不同神經(jīng)元群體的功能作用提供了一個假設(shè)。以前的基于獎勵的學(xué)習(xí)理論要求將相同的學(xué)習(xí)信號發(fā)送給所有神經(jīng)元，而對于 e-prop 來說，它是針對特定目標(biāo)來發(fā)送的，因為神經(jīng)元群的自上而下的學(xué)習(xí)信號取決于其對網(wǎng)絡(luò)性能的影響（即損失函數(shù)）。

神經(jīng)形態(tài)硬件的驅(qū)動力

Maass 和 Legenstein 都相信，e-prop 將推動新一代移動學(xué)習(xí)計算系統(tǒng)的發(fā)展，這些系統(tǒng)無需編程，而是按照人腦模型進(jìn)行學(xué)習(xí)，從而根據(jù)不斷變化的需求進(jìn)行調(diào)整。其目的是確保這樣的計算系統(tǒng)不再僅僅通過云來消耗大量能源，而是有效地將學(xué)習(xí)潛力的大部分整合到移動硬件組件中，從而節(jié)約能源。

該小組目前正在與英特爾的研究人員合作，將該方法與該公司的神經(jīng)形態(tài)芯片 Loihi 的下一個版本集成，后者針對尖峰網(wǎng)絡(luò)進(jìn)行了優(yōu)化。他們還與曼徹斯特大學(xué)的人腦計劃研究人員合作，將 e-prop 應(yīng)用于神經(jīng)形態(tài)超級計算機 SpiNNaker。

要使這項技術(shù)與當(dāng)今領(lǐng)先的 AI 的能力相提并論，還有很長的路要走。但是，如果它可以幫助我們開始接近我們在生物大腦中看到的效率，那么不久，人工智能無處不在。