機(jī)器學(xué)習(xí)的變革,隨機(jī)和分散的網(wǎng)絡(luò)

如今的人工智能系統(tǒng)，例如受到神經(jīng)元和神經(jīng)系統(tǒng)連接啟發(fā)的人工神經(jīng)網(wǎng)絡(luò)，在很多任務(wù)上表現(xiàn)得都不錯(cuò)。同樣，這些系統(tǒng)需要強(qiáng)大的計(jì)算力和大量訓(xùn)練數(shù)據(jù)，這也使得它們能在圍棋等游戲上達(dá)到甚至超越人類水平、能夠檢測出圖像中的汽車、能分辨是貓是狗。但是，賓夕法尼亞大學(xué)的計(jì)算神經(jīng)科學(xué)家Konrad Kording表示：“它們在音樂編曲或?qū)懚坦适路矫嫒匀槐憩F(xiàn)不佳。它們在對(duì)實(shí)際情況進(jìn)行有效推理時(shí)仍然有困難?！?/span>

為了突破這些限制，一些研究小組回過頭來思考，大腦能否為創(chuàng)造新想法提供創(chuàng)意。但是其中有些人選擇的研究對(duì)象看起來似乎很難：對(duì)氣味的感知?？茖W(xué)家們嘗試創(chuàng)建一種更好方法，理解器官是如何處理化學(xué)信息的，從而發(fā)現(xiàn)了與人工智能問題相關(guān)的編碼策略。此外，嗅覺回路與更復(fù)雜的大腦區(qū)域非常相似，這些區(qū)域?qū)?gòu)建更好地機(jī)器能提供幫助。

現(xiàn)在，計(jì)算機(jī)科學(xué)家們開始在機(jī)器學(xué)習(xí)環(huán)境中研究這些發(fā)現(xiàn)。

機(jī)器學(xué)習(xí)的變革

目前使用的領(lǐng)先的機(jī)器學(xué)習(xí)技術(shù)，有些是在模仿視覺系統(tǒng)的結(jié)構(gòu)，基于對(duì)信息的分層提取。當(dāng)大腦的視覺皮層接收到感知數(shù)據(jù)，它首先會(huì)選取一些小的、明確的特點(diǎn)，例如線條、結(jié)構(gòu)、顏色等。神經(jīng)科學(xué)家David Hubel和Torsten Wiesel在上世紀(jì)50和60年代發(fā)現(xiàn)，視覺系統(tǒng)中特殊的神經(jīng)元對(duì)應(yīng)著視網(wǎng)膜中相同位置的像素。這一發(fā)現(xiàn)讓他們獲得了諾貝爾獎(jiǎng)。

隨著視覺信息在大腦皮層神經(jīng)元中傳遞，有關(guān)線條、結(jié)構(gòu)和顏色的詳細(xì)信息組合在一起構(gòu)成了輸入的抽象表示，即判斷目標(biāo)物體時(shí)人臉，之后確定他的身份。網(wǎng)絡(luò)中的每一層都能幫助該器官達(dá)到這一目標(biāo)。

深度神經(jīng)網(wǎng)絡(luò)也是用相似的分層方式搭建的，這對(duì)機(jī)器學(xué)習(xí)和AI研究來說是一場革命。想要教會(huì)這些網(wǎng)絡(luò)辨認(rèn)目標(biāo)物體，例如人臉，它們就需要輸入上千張樣本圖片。有了足夠的樣本，它就能在新圖片和語境中識(shí)別出目標(biāo)人臉。

研究人員在圖像分類、語音識(shí)別、語言翻譯以及其他機(jī)器學(xué)習(xí)應(yīng)用中都取得了較大的成功。華盛頓大學(xué)計(jì)算神經(jīng)科學(xué)中心的研究者Charles Delahunt表示：“我把深度網(wǎng)絡(luò)看作是貨運(yùn)列車。它們非常強(qiáng)大，只要你有足夠平的空地，就能在上面鋪設(shè)鐵軌、建造設(shè)施。但是我們知道生物系統(tǒng)并不需要這些，它們可以解決深度網(wǎng)絡(luò)目前無法解決的問題?！?/p>

自動(dòng)駕駛汽車是AI領(lǐng)域的熱點(diǎn)話題，當(dāng)汽車在新環(huán)境中實(shí)時(shí)導(dǎo)航時(shí)，這一環(huán)境可能經(jīng)常在變化，充滿了噪音，受視覺系統(tǒng)啟發(fā)的深度學(xué)習(xí)技術(shù)可能會(huì)失靈?；蛟S，只依靠視覺導(dǎo)航也許不是正確的方法。麻省理工學(xué)院的生物物理學(xué)家Adam Marblestone認(rèn)為，這種視覺上的成功是歷史發(fā)展的巧合。這一系統(tǒng)也是科學(xué)家們最了解的，能有明確的機(jī)器學(xué)習(xí)任務(wù)應(yīng)用。

但是，加利福尼亞一名計(jì)算機(jī)科學(xué)家Saket Navlakha表示：“每一種刺激并非是按同一種方式進(jìn)行處理的，例如視覺和嗅覺都是不同種類的信號(hào)……所以可能存在不同的方法，處理不同類型的數(shù)據(jù)。我認(rèn)為除了研究視覺系統(tǒng)的工作原理外，還有很多需要了解的事。”

Saket Navlakha

他和他的同事們開始研究昆蟲的嗅覺系統(tǒng)背后的秘密。上個(gè)世紀(jì)九十年代，生物學(xué)家Linda Buck和Richard Axel發(fā)現(xiàn)了有關(guān)氣味接收器的基因，這才開始了對(duì)嗅覺的研究。但是從那時(shí)起，嗅覺系統(tǒng)僅僅能從蒼蠅或其他昆蟲中輕易地研究。有些科學(xué)家認(rèn)為，視覺系統(tǒng)并不能用于一般的計(jì)算挑戰(zhàn)任務(wù)中。

Delahunt說：“我們研究嗅覺，是因?yàn)樗且粋€(gè)有限的系統(tǒng)，你可以相對(duì)完整地描述它?！焙仗馗５驴ご髮W(xué)的計(jì)算神經(jīng)科學(xué)家Michael Schmuker表示：“人們已經(jīng)能用視覺做出很強(qiáng)大的結(jié)果了，也許嗅覺同樣如此?！?/p>

隨機(jī)和分散的網(wǎng)絡(luò)

嗅覺和視覺在很多角度都不同。味道是非結(jié)構(gòu)化的，它們沒有線條，也無法在空間中進(jìn)行分類。它們是各種成分和濃度的混合體，并且難以用種類進(jìn)行區(qū)分。所以并不確定應(yīng)該關(guān)注哪些特征。

嗅覺系統(tǒng)中的神經(jīng)元是對(duì)整個(gè)接收區(qū)域隨機(jī)采樣，并非針對(duì)某一特定區(qū)域。在類似視覺皮層的映射系統(tǒng)中，神經(jīng)元所在的位置解釋了它所攜帶的信息。但是在嗅覺皮層中卻不是這樣的，信息分布在系統(tǒng)中，要讀取數(shù)據(jù)需要對(duì)少量神經(jīng)元進(jìn)行采樣。

以果蠅的嗅覺循環(huán)為例：50個(gè)投射神經(jīng)元從接收器中接收了輸入，每個(gè)都對(duì)不同的模塊有反應(yīng)。一種氣味可能會(huì)讓多種不同神經(jīng)元有反應(yīng)，而且每種神經(jīng)元可以表示多種氣味。這樣的信息非常會(huì)亂，各種表示也相互重疊。之后，這些信息被隨機(jī)投射到2000個(gè)Kenyon細(xì)胞上，該細(xì)胞中含有特殊的氣味，其中包含的維度比之前多了40倍，分辨氣味更加容易。

一旦果蠅的嗅覺循環(huán)完成，它就需要找到一種方法用非重疊的神經(jīng)元區(qū)分味道。它通過對(duì)數(shù)據(jù)“稀疏化”完成這一過程，只有大約100個(gè)Kenyon細(xì)胞對(duì)特定氣味有反應(yīng)，這就能夠給每種氣味打上唯一的標(biāo)簽。

簡單來說，雖然傳統(tǒng)的深度網(wǎng)絡(luò)會(huì)在“學(xué)習(xí)”的過程中改變它們連接的力量，但嗅覺系統(tǒng)通常不會(huì)通過調(diào)整投射神經(jīng)元和Kenyon細(xì)胞之間的連接而訓(xùn)練自己。

本世紀(jì)初，研究者創(chuàng)建了相應(yīng)算法來判斷隨機(jī)嵌入和更高維度的分散是如何幫助提高計(jì)算效率的。英國斯科塞斯大學(xué)的Thomas Nowotny和加利福尼亞大學(xué)圣迭戈分校的Ramón Huerta利用支持向量機(jī)進(jìn)行這一問題的研究。他們認(rèn)為，不論是自然還是人工的信息處理系統(tǒng)，在利用隨機(jī)組織和維度擴(kuò)張來高效地表示復(fù)雜數(shù)據(jù)時(shí)，方法都是相同的。

基于此，Nowotny和他的同事們繼續(xù)探尋嗅覺和機(jī)器學(xué)習(xí)之間的關(guān)系，看二者之間是否有更深的聯(lián)系。2009年，他們證明了一種基于昆蟲的嗅覺模型可以辨認(rèn)手寫數(shù)字。即使去除了大部分神經(jīng)元，也不會(huì)過度影響模型性能。

但在這之后，就很少有相關(guān)研究出現(xiàn)。直到最近一些科學(xué)家們開始回顧嗅覺的生物系統(tǒng)能否改善相關(guān)的機(jī)器學(xué)習(xí)問題。

基于嗅覺的多種成果

Delahunt和他的同事們重復(fù)了Nowotny等人的部分工作，用飛蛾的嗅覺系統(tǒng)作為基礎(chǔ)，將它與傳統(tǒng)的機(jī)器學(xué)習(xí)模型相比。只提供不到20個(gè)樣本，基于飛蛾的模型能更好地識(shí)別出手寫數(shù)字，但是隨著訓(xùn)練數(shù)據(jù)的增加，其他模型也能得出更精確的結(jié)果。

至于學(xué)習(xí)速度，嗅覺似乎表現(xiàn)得更好。在這種情況下，學(xué)習(xí)不再是尋找最佳特征和表示，而是減少了辨認(rèn)大量隨機(jī)特征的機(jī)會(huì)，很多都是無用的。南方醫(yī)科大學(xué)的生物學(xué)家Fei Peng表示：“如果能點(diǎn)擊一下鼠標(biāo)就能完成訓(xùn)練，不就太完美了嗎？”

嗅覺策略的其中一個(gè)著名案例是去年Navlakha實(shí)驗(yàn)室的成果，研究者們想找到一種基于嗅覺的方法，利用相似性進(jìn)行搜索。就像各類視頻網(wǎng)站總是在頁面邊緣推薦相關(guān)信息一樣，器官也要在辨認(rèn)氣味時(shí)快速做出對(duì)比和判斷。果蠅最初可能會(huì)學(xué)習(xí)接近成熟的香蕉味道，遠(yuǎn)離醋味，但是由于環(huán)境非常復(fù)雜，充滿噪聲，它無法多次聞到同樣的氣味。當(dāng)它感知到一種新味道后，果蠅要思考之前聞過的哪種氣味更接近，這樣才能做出正確的反應(yīng)。

Charles Delahunt（左）和J.Nathan Kutz（右）

Navlakha創(chuàng)造了一種基于氣味相似性的搜索算法，將其應(yīng)用到了圖片數(shù)據(jù)集上。他和他的團(tuán)隊(duì)發(fā)現(xiàn)他們的算法比傳統(tǒng)的非生物方法好兩到三倍。除此之外，Peng和他的同事們，基于螞蟻的嗅覺模型研究它們是如何進(jìn)行導(dǎo)航的。Nowotny正在研究嗅覺系統(tǒng)是如何處理混合物的，例如器官可以在多種味道的混合中分辨出一種特定的味道。

這一想法可能對(duì)AI領(lǐng)域的“雞尾酒問題”有所幫助，這一問題是指想在嘈雜的環(huán)境中分離多種對(duì)話有多困難。如果一間房間里有很多說話者，AI可能通過分辨聲音信號(hào)來確定不同的發(fā)言者。

結(jié)語

嗅覺是一種古老的系統(tǒng)，可以追溯到細(xì)菌的生化感知能力，很多生物的器官都用它來探索環(huán)境。讓科學(xué)家們感到欣慰的是，嗅覺系統(tǒng)的結(jié)構(gòu)和許多物種大腦的其他區(qū)域驚人地相似，特別是涉及記憶和導(dǎo)航的海馬體，以及負(fù)責(zé)運(yùn)動(dòng)控制的小腦。

嗅覺循環(huán)可以用作理解海馬體和小腦使用的復(fù)雜學(xué)習(xí)算法和計(jì)算的手段，并且可以應(yīng)用于AI之上。研究人員已經(jīng)開始轉(zhuǎn)向研究注意力和各種形式的認(rèn)知過程，希望能找到改進(jìn)當(dāng)前機(jī)器學(xué)習(xí)架構(gòu)和機(jī)制的方法。而嗅覺可能提供了一種更簡單的方法建立這些連接。