神經(jīng)元的深度學習 神經(jīng)科學與人工智能結合有望

多倫多大學和DeepMind研究人員合作，通過實驗表明某些哺乳動物的神經(jīng)元也能進行深度學習。如果神經(jīng)元與深度學習之間的關聯(lián)得以確認，我們就能開發(fā)更好的腦機接口，從疾病治療到增強智能，隨之而來的應用也將開啟各種可能。

神經(jīng)網(wǎng)絡受生物神經(jīng)網(wǎng)絡啟發(fā)而來，但大腦里的學習過程真如深度學習那樣嗎？這個問題的答案有望實現(xiàn)更強大的深度學習模型，也有助于進一步了解人類的智能。

12月5日，CIFAR研究員、多倫多大學的Blake A. Richards和同事在期刊eLife發(fā)表了論文《嘗試用分離的樹突進行深度學習》（Towards deep learning with segregated dendrites）。他們在論文中提出了一種算法，對大腦中可以如何進行深度學習進行了模擬。他們構建的網(wǎng)絡表明，某些哺乳動物神經(jīng)元具有適合進行深度學習的形狀和電學特性。不僅如此，他們的實驗也用一種更接近生物學的方法，展示了真實的大腦如何進行深度學習，甚至有望幫助解釋大腦如何演化出了“學習”的能力。

如果神經(jīng)元與深度學習之間的關聯(lián)得以確認，我們就能開發(fā)更好的腦機接口，從疾病治療到增強智能，隨之而來的應用也將開啟各種可能。

哺乳動物大腦的神經(jīng)元也能做深度學習

這項研究由Richards和他在多倫多大學的研究生Jordan Guerguiev一起，與DeepMind的Timothy Lillicrap合作完成。

實驗中使用的神經(jīng)元是小鼠大腦新皮質(zhì)的樹突細胞。新皮質(zhì)腦區(qū)負責一些高等功能，比如知覺、運動指令的產(chǎn)生，與空間推理、意識及人類語言也有關系。而樹突則是從神經(jīng)元細胞本體發(fā)出的多分支突起，形狀類似樹木。樹突是神經(jīng)元的輸入通道，將從其他神經(jīng)元接收到的動作電位（電信號）傳送至細胞本體。

研究構建的“多房室神經(jīng)網(wǎng)絡”模型示意：左邊是小鼠初級視覺皮層錐體神經(jīng)元；右邊是簡化的神經(jīng)元模型。

利用這種神經(jīng)元結構的知識，Richards和Guerguiev建立了一個模型，叫做“多房室神經(jīng)網(wǎng)絡”（multi-compartment neural network model）。在這個網(wǎng)絡中，神經(jīng)元都在隔開的“隔間”中接收信號。由于一段一段隔開，不同層的模擬神經(jīng)元能夠協(xié)作，實現(xiàn)深度學習。

結果發(fā)現(xiàn)，在識別手寫數(shù)字時，多層網(wǎng)絡的效果明顯好于單層的網(wǎng)絡。算法能夠利用多層網(wǎng)絡結構識別高階表示正是深度學習的核心標志。這表明小鼠大腦神經(jīng)元跟人工神經(jīng)元一樣都能進行深度學習。

“這只是一組模擬，所以不能準確反映大腦正在做什么。但是，如果大腦可以使用AI使用的算法，這已經(jīng)足以證明我們可以開展更進一步的實驗調(diào)查了?！盧ichards說。

用更好的訓練方法，證明深度學習體現(xiàn)人類大腦工作機制

在21世紀初，Richards和Lillicrap在多倫多大學上了Hinton的課，深信深度學習模型在一定程度上準確反映了人類大腦工作的機制。但是，在當時要驗證這個想法還有幾個挑戰(zhàn)。首先，人們還不確定深度學習是否能達到人類水平。其次，深度學習算法違反了神經(jīng)科學家已經(jīng)證明的生物學事實。

計算機網(wǎng)絡在深度學習中發(fā)生的活動模式也類似于人類大腦中所見的模式。但是，深度學習的一些特征似乎與大腦的工作方式不相容。而且，人工網(wǎng)絡中的神經(jīng)元比生物神經(jīng)元簡單得多。

現(xiàn)在，Richards和一些研究人員正在積極尋求彌合神經(jīng)科學和人工智能之間差距的方法。本文以Yoshua Bengio團隊的研究為基礎，以生物學上更加可行的方式訓練神經(jīng)網(wǎng)絡。

均衡傳播示意圖：使用均衡傳播訓練神經(jīng)網(wǎng)絡時信息的傳遞過程。右邊的簡單網(wǎng)絡，一層一層傳遞，BP適用，當然均衡傳播也適用；而左邊的復雜網(wǎng)絡，更加類似生物神經(jīng)網(wǎng)絡結構，BP在這里就不適用了，這也是通常認為深度學習不能體現(xiàn)人腦機制的原因之一，但是，均衡傳播能夠適用于多連接的這種情況。

Bengio和他的研究生Benjamin Scellier發(fā)明了一種新的神經(jīng)網(wǎng)絡訓練方法，叫做“均衡傳播”（equilibrium propagation），是常用的反向傳播（BP）的一種替代方法。均衡傳播可以使用單一的回路和單一類型的計算來進行誤差的推理和反向傳播。因此，均衡傳播過程可能更加類似大腦生物神經(jīng)回路中的學習過程。

這項研究還使用了DeepMind的TimothyLillicrap開發(fā)的算法，進一步放寬了神經(jīng)網(wǎng)絡的一些訓練規(guī)則。（順便一說，TimothyLillicrap也是DeepMind最強通用棋類AI AlphaZero論文的作者之一。）

這篇論文還吸收了Matthew Larkam對新皮質(zhì)神經(jīng)元結構的研究。通過將神經(jīng)科學的發(fā)現(xiàn)與現(xiàn)有的算法相結合，Richards的團隊創(chuàng)建了一個更好的、更真實的算法來模擬大腦中的學習過程。

未來10年真正打通神經(jīng)科學與人工智能

樹狀新皮質(zhì)神經(jīng)元只是大腦中許多細胞類型之一。Richards說，未來的研究應該模擬不同類型的大腦細胞，并研究它們?nèi)绾蜗嗷プ饔脕韺崿F(xiàn)深度學習。從長遠看，他希望研究人員能夠克服重大挑戰(zhàn)，比如在不接收反饋的情況下如何通過經(jīng)驗進行學習。

Richards說：“我們在接下來的十年左右可能會看到神經(jīng)科學與人工智能之間真正的研究良性循環(huán)，神經(jīng)科學的發(fā)現(xiàn)幫助我們開發(fā)新的人工智能，而人工智能幫助我們解釋和理解神經(jīng)科學方面的實驗數(shù)據(jù)?！?/p>