近日,DeepMind 在 Nature 上發(fā)表的一篇論文引起 AI 領(lǐng)域和神經(jīng)科學(xué)領(lǐng)域的極大震撼:AI 展現(xiàn)出與人腦 “網(wǎng)格細(xì)胞” 高度一致的空間導(dǎo)航能力。甚至有些學(xué)者認(rèn)為,憑著這篇論文,DeepMind 的作者有可能問(wèn)鼎諾貝爾獎(jiǎng)。本文作者鄧侃博士對(duì)這篇突破性的論文進(jìn)行了解讀。
Google 麾下的 DeepMind 公司,不僅會(huì)下圍棋,而且寫的論文也頂呱呱。
2018/5/10,今天的微信朋友圈,被DeepMind 一篇論文刷屏了。論文發(fā)表在最近一期 Nature 雜志上,題目是Vector-based navigation using grid-like representations in artificial agents [1]。
有些學(xué)者認(rèn)為,憑著這篇論文,DeepMind 的作者有可能問(wèn)鼎諾貝爾獎(jiǎng)[2]。
重要意義:AI的定位和導(dǎo)航類似于大腦的位置細(xì)胞和網(wǎng)格細(xì)胞
其實(shí)這篇論文是DeepMind 人工智能團(tuán)隊(duì),與 University College of London(UCL) 的生物學(xué)家,合作的產(chǎn)物。
對(duì)空間的定位和導(dǎo)航能力,是生物的本能。早在 1971 年,UCL 的生理學(xué)教授 John O'Keefe 在大腦海馬體中,發(fā)現(xiàn)了位置細(xì)胞(Place Cell)。隨后 O'Keefe 的學(xué)生,Moser 夫婦于 2005 年發(fā)現(xiàn),在大腦內(nèi)嗅皮層,存在一種更為神奇的神經(jīng)元,網(wǎng)格細(xì)胞(Grid Cell)。在運(yùn)動(dòng)過(guò)程中,生物的網(wǎng)格細(xì)胞,把空間分割為蜂窩那樣的六邊形,并且把運(yùn)動(dòng)軌跡記錄在蜂窩狀的網(wǎng)格上。
2014 年的諾貝爾生理學(xué)/醫(yī)學(xué)獎(jiǎng),頒發(fā)給了John O'Keefe 和Moser 夫婦。
人工智能深度學(xué)習(xí)模型,經(jīng)常被詬病的一大軟肋,是缺乏生理學(xué)理論基礎(chǔ)。深度學(xué)習(xí)模型中的隱節(jié)點(diǎn)的物理意義,也無(wú)法解釋。
DeepMind 和 UCL 合著的 Nature 論文,發(fā)現(xiàn)深度學(xué)習(xí)模型中隱節(jié)點(diǎn),與腦內(nèi)的位置細(xì)胞和網(wǎng)格細(xì)胞,這兩者的激活機(jī)制和數(shù)值分布,非常相似,幾乎呈一一對(duì)應(yīng)的關(guān)系。
Extended Data Fig 3.d:第一行,深度學(xué)習(xí)模型的隱節(jié)點(diǎn)的激活機(jī)制和數(shù)值分布。第二行,Moser 夫婦發(fā)現(xiàn)的網(wǎng)格細(xì)胞的蜂窩狀數(shù)值分布。深度學(xué)習(xí)隱節(jié)點(diǎn)與網(wǎng)格細(xì)胞的數(shù)值分布,極為相似。第三行,數(shù)值分布所揭示的空間定位及運(yùn)動(dòng)方向。
這篇論文,之所以引起學(xué)界轟動(dòng),原因在于證明了,把深度學(xué)習(xí)模型用于空間的定位和導(dǎo)航,其隱節(jié)點(diǎn)的物理意義,類似于大腦的位置細(xì)胞和網(wǎng)格細(xì)胞。進(jìn)一步猜想,深度學(xué)習(xí)模型的定位和導(dǎo)航的計(jì)算過(guò)程,很可能與大腦的定位和導(dǎo)航的生理機(jī)制,也極為相似。
為什么DeepMind 熱衷于玩游戲?
面向空間定位和導(dǎo)航的深度學(xué)習(xí)模型,有哪些應(yīng)用場(chǎng)景呢?DeepMind 把這個(gè)技術(shù)用于玩電子游戲,類似于 “反恐精英”(Counter Strike)那樣的走迷宮射殺***的游戲。
DeepMind 下完圍棋以后,玩初級(jí)電子游戲,現(xiàn)在升級(jí)了,改玩高級(jí)游戲了。為什么DeepMind 那么熱衷于游戲呢?
游戲是仿真系統(tǒng),一切盡在掌控之中,想要什么數(shù)據(jù),就能獲取什么數(shù)據(jù)。所以,每條數(shù)據(jù),都很全面,不會(huì)有數(shù)據(jù)丟失。
同時(shí),只要多雇一些玩家,多花一點(diǎn)時(shí)間,要多少訓(xùn)練數(shù)據(jù),就有多少訓(xùn)練數(shù)據(jù)。
用游戲來(lái)驗(yàn)證深度學(xué)習(xí)模型,非常方便。這是 DeepMind 熱衷于玩游戲的原因。同時(shí),因?yàn)槟軌蚩焖俚孬@取數(shù)據(jù),DeepMind 對(duì)于深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)研究,領(lǐng)先世界。
Figure 3. DeepMind 把基于深度學(xué)習(xí)的空間定位和導(dǎo)航技術(shù),應(yīng)用于反恐精英(Counter Strike)游戲。
問(wèn)題是,把適用于游戲的深度學(xué)習(xí)模型,移用到真實(shí)世界,解決實(shí)際問(wèn)題,是否仍然有效?
同是 Google 麾下兄弟,Google Brain 更注重解決實(shí)際問(wèn)題,兄弟倆各有千秋。Google Brain 開(kāi)發(fā)的 Tensorflow成為工程利器,而 DeepMind 的論文,提供新方法,引領(lǐng)研究前沿。
深度學(xué)習(xí)仿真位置和網(wǎng)格細(xì)胞的論文,技術(shù)上有什么創(chuàng)新?
短的答案,沒(méi)有獨(dú)特的創(chuàng)新。
長(zhǎng)的答案,得先講講馬爾科夫和強(qiáng)化學(xué)習(xí)。
強(qiáng)化學(xué)習(xí)(Reinforcement Learning)是機(jī)器學(xué)習(xí)的一個(gè)重要分支,它試圖解決決策優(yōu)化的問(wèn)題。所謂決策優(yōu)化,是指面對(duì)特定狀態(tài)(State,S),采取什么行動(dòng)方案(Action,A),才能使收益最大(Reward,R)。很多問(wèn)題都與決策優(yōu)化有關(guān),從下棋,到投資,到課程安排,到駕車,到走迷宮等等。
AlphaGo 的核心算法,就是強(qiáng)化學(xué)習(xí)。AlphaGo不僅穩(wěn)超勝券地戰(zhàn)勝了當(dāng)今世界所有人類高手,而且甚至不需要學(xué)習(xí)人類棋手的棋譜,完全靠自己摸索,在短短幾天內(nèi),發(fā)現(xiàn)并超越了一千多年來(lái)人類積累的全部圍棋戰(zhàn)略戰(zhàn)術(shù)。
最簡(jiǎn)單的強(qiáng)化學(xué)習(xí)的數(shù)學(xué)模型,是馬爾科夫決策過(guò)程(Markov Decision Process,MDP)。之所以說(shuō) MDP 是一個(gè)簡(jiǎn)單的模型,是因?yàn)樗鼘?duì)問(wèn)題做了很多限制。
1. 面對(duì)的狀態(tài) s_{t},數(shù)量 t = 1... T,T 是有限的。
2. 采取的行動(dòng)方案 a_{t},數(shù)量t = 1... T,T也是有限的。
3.對(duì)應(yīng)于特定狀態(tài) s_{t},當(dāng)下的收益 r_{t} 是明確的。
4. 在某一個(gè)時(shí)刻 t,采取了行動(dòng)方案 a_{t},狀態(tài)從當(dāng)前的 s_{t} 轉(zhuǎn)換成下一個(gè)狀態(tài) s_{t+1}。下一個(gè)狀態(tài)s_{t+1}有多種可能,從當(dāng)前狀態(tài) s_{t}轉(zhuǎn)換到下一個(gè)狀態(tài)中的某一種狀態(tài)的概率,稱為轉(zhuǎn)換概率。但是轉(zhuǎn)換概率,只依賴于當(dāng)前狀態(tài) s_{t},而與先前的狀態(tài),s_{t-1}, s_{t-2} ... 無(wú)關(guān)。
解決馬爾科夫決策過(guò)程問(wèn)題的常用的算法,是動(dòng)態(tài)規(guī)劃(Dynamic Programming)。
對(duì)馬爾科夫決策過(guò)程的各項(xiàng)限制,不斷放松,研究相應(yīng)的算法,是強(qiáng)化學(xué)習(xí)的目標(biāo)。
例如對(duì)狀態(tài) s_{t}放松限制,
1. 假如狀態(tài) s_{t} 的數(shù)量t = 1... T,T雖然有限,但是數(shù)量巨大,或者有數(shù)量無(wú)限,如何改進(jìn)算法?
2.假如狀態(tài) s_{t} 不能完全確定,只能被部分觀察到,剩余部分被遮擋或缺失,如何改進(jìn)算法?
3. 假如轉(zhuǎn)換概率,不僅依賴于當(dāng)前狀態(tài),而且依賴于先前的運(yùn)動(dòng)軌跡,如何改進(jìn)算法?
4. 假如遇到先前沒(méi)有遇見(jiàn)過(guò)的新?tīng)顟B(tài)s_{t},有沒(méi)有可能在以往遇見(jiàn)過(guò)的狀態(tài)中,找到相似狀態(tài),從而估算轉(zhuǎn)換概率,估算收益?
Extended Data Fig 5. 用GridLSTM 來(lái)總結(jié)以往的運(yùn)動(dòng)軌跡,并加上神經(jīng)網(wǎng)絡(luò) g 來(lái)判別當(dāng)前的空間定位和運(yùn)動(dòng)方向。然后基于對(duì)當(dāng)前的空間定位和導(dǎo)航的判斷,用另一個(gè) LSTM 來(lái)估算狀態(tài)轉(zhuǎn)換概率,從而決定導(dǎo)航策略。
這篇論文用深度學(xué)習(xí)模型,來(lái)仿真位置和網(wǎng)格細(xì)胞。具體來(lái)說(shuō),
1.用 CNN 來(lái)處理圖像,找到周邊環(huán)境中的標(biāo)志物,用于識(shí)別當(dāng)前的空間位置。
2. 把圖像處理的結(jié)果,與以往的運(yùn)動(dòng)軌跡相結(jié)合,用GridLSTM 來(lái)估算當(dāng)前的狀態(tài)。
3. 把GridLSTM 估算出的當(dāng)前狀態(tài),經(jīng)過(guò)一個(gè)神經(jīng)網(wǎng)絡(luò) g 的再加工,得到類似于位置細(xì)胞和網(wǎng)格細(xì)胞的隱節(jié)點(diǎn)。
4. 把當(dāng)前的位置和運(yùn)動(dòng)方向,以及目標(biāo)的位置,作為第二個(gè) LSTM 模型的輸入,確定導(dǎo)航?jīng)Q策。
上述所有模塊,都是現(xiàn)成技術(shù)的集成,并無(wú)顯著創(chuàng)新。
-
導(dǎo)航
+關(guān)注
關(guān)注
7文章
515瀏覽量
42297 -
人工智能
+關(guān)注
關(guān)注
1789文章
46368瀏覽量
236554 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5439瀏覽量
120797
原文標(biāo)題:專家解讀DeepMind最新論文:深度學(xué)習(xí)模型復(fù)現(xiàn)大腦網(wǎng)格細(xì)胞
文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論