0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

空間簡史-人類認(rèn)識空間的旅程與其對強(qiáng)化學(xué)習(xí)的啟示

mK5P_AItists ? 來源:lp ? 2019-04-05 17:38 ? 次閱讀

摘要:本文是對okeefe 1978(柵格細(xì)胞發(fā)現(xiàn)者, 2014諾貝爾獎得主)的論文 cognitive map 的總結(jié)和延申。

一 空間的先驗(yàn)與后驗(yàn)之爭

對于我們在其中生存和繁衍的空間, 是如何在我們的心理世界表達(dá)的, 這是一個爭論了幾百年, 也依然沒有完全清楚的問題。 如果你不去仔細(xì)思考, 你可能覺得這是一個很簡單的問題。 而一旦較真, 你就會發(fā)現(xiàn)幾乎所有的哲學(xué)家, 物理學(xué)家, 心理學(xué)家所糾結(jié)過的那些問題。

首先, 什么是空間? 最早探討它的是物理學(xué), 從亞里士多德到牛頓。 牛頓的物理學(xué)在絕對空間基礎(chǔ)上存在,所謂絕對空間, 可以簡化為一個歐式直角坐標(biāo)系, 世間的所有有行實(shí)體都可以在這個坐標(biāo)系里尋找到一個坐標(biāo)。有了空間和時間, 我們就可以相當(dāng)準(zhǔn)確的描述和預(yù)測發(fā)生在時空里的運(yùn)動,并且進(jìn)行大距離的遷徙(比如大航海)。 想象一下沒有地圖和坐標(biāo), 哥倫布即使偶然到達(dá)美洲也不可能回去了。

在古代, 星空是人類航海重要的坐標(biāo), 我們通過判斷星辰間的指向, 知道茫茫大海自己的去向, “陪你一起看看星星” 絕非為了浪漫, 而是關(guān)乎生存。

雖然物理學(xué)家從不懷疑真實(shí)空間的存在, 然而有一個問題確沒法解決。 我們的感知是含糊的,柔軟的,既缺乏像尺規(guī)一樣的絕對空間度量, 也沒有絕對的方向度量。 我們對距離的描述經(jīng)常是或近或遠(yuǎn)這樣的模糊語言,也不擅長想象一個超大空間的地圖(受到訓(xùn)練之前)。 那么, 那個物理學(xué)家關(guān)心的剛性的歐式度量的空間是從哪里來的呢? 我們?yōu)槭裁茨軌虍a(chǎn)生這樣的概念? 是什么使我們能夠產(chǎn)生這樣的概念?

換句話說, 空間如果存在, 它到底在哪里? 它是怎么在我們腦海里形成的? 它是通過某種先天的“結(jié)構(gòu)” 得來 , 還是通過感知基礎(chǔ), 在后天的學(xué)習(xí)和思考基礎(chǔ)上形成的?

應(yīng)該說對這些問題的回答絕非容易, 我們一開始解決這些問題的方法是哲學(xué), 而后面才從生物學(xué)的認(rèn)知基礎(chǔ)上討論。

最早對這個問題進(jìn)行闡述的人包括貝克萊和康德, 它們分別代表了兩種截然不同的觀點(diǎn)。貝克萊和我們熟悉的休謨和洛克一樣是英國經(jīng)驗(yàn)主義哲學(xué)的代表人物, 強(qiáng)調(diào)一切認(rèn)知的基礎(chǔ), 無非是大量經(jīng)驗(yàn)的總結(jié), 它否定物理上的絕對空間,認(rèn)為這是人的認(rèn)知造成的一種幻覺。首先在空間認(rèn)知的事情上,他認(rèn)為存在等同于被感知, 而所謂的空間, 無非是我們被感知到的大量的觸覺,視覺, 和肌肉運(yùn)動之間的某種關(guān)聯(lián)。 因而絕對空間這個東西, 根本就是子虛烏有。 大家想下大衛(wèi)休謨的那句話:只要閉上眼睛就沒有懸崖, 就會理解他的觀點(diǎn)的深刻含義。 感知所構(gòu)成的大量經(jīng)驗(yàn)集合是第一性的, 絕對的物理空間是第二性的, 是一種方便性的考量。

具有經(jīng)驗(yàn)主義傳統(tǒng)的英國, 出產(chǎn)了貝克萊和休謨這樣的哲學(xué)家。

這樣的對空間的認(rèn)知, 與牛頓的物理學(xué)存在本質(zhì)的沖突, 而另一個派別, 是結(jié)合了理性主義和經(jīng)驗(yàn)主義的康德提出的理論, 他認(rèn)為絕對空間存在,而它依賴的恰不是外部的物理世界, 而是人類先天的認(rèn)知基礎(chǔ),一種與這種絕對空間相對應(yīng)的腦組織,它是我們認(rèn)知外部世界的基石。

康德的時空觀是起純粹理性批判的基礎(chǔ)??档碌挠^點(diǎn)既不同于貝克萊也不同于牛頓。 首先他認(rèn)同絕對歐式空間的存在, 其次他認(rèn)為這個空間不存在于物理世界恰恰在我們的心理, 第三這個先驗(yàn)的結(jié)構(gòu)是我們其它感知的基礎(chǔ)。我們的對物體的感知, 都要放到這個空間結(jié)構(gòu)里得到認(rèn)識。應(yīng)該說這里的第一性和第二性的順序與經(jīng)驗(yàn)主義恰好相反。 康德的理念里, 沒有了時空這樣的先驗(yàn), 經(jīng)驗(yàn)毫無意義(聯(lián)想以下當(dāng)下 數(shù)據(jù)-經(jīng)驗(yàn) 驅(qū)動的AI所遇到的缺乏邏輯推理能力的瓶頸, 我們無疑在某種程度回歸康德的問題)。

康德認(rèn)為經(jīng)驗(yàn)的認(rèn)知需要在先驗(yàn)存在的時間和空間之上, 這也是康德思想體系的基礎(chǔ)之一。

在康德之后, 這兩個派別分別發(fā)展出Empiricist(經(jīng)驗(yàn)主義), 和Natist (先天認(rèn)知)兩個基礎(chǔ)流派,經(jīng)驗(yàn)主義者強(qiáng)調(diào)所有有關(guān)絕對空間的認(rèn)知都是后天學(xué)習(xí)得到的大量感知之間的聯(lián)系。 而先天主義者則認(rèn)為需要有一個先驗(yàn)而非習(xí)得的空間結(jié)構(gòu),這個結(jié)構(gòu)是后來學(xué)習(xí)的基礎(chǔ)。

在后面的整個世紀(jì)里,兩邊各站著一批各自的哲學(xué)家,分別尋找證據(jù)闡述各自的理由。 一個比較標(biāo)示性的任務(wù)是20世紀(jì)初的龐家萊。 這個時期的物理學(xué)發(fā)生了天翻地覆的變換。 愛因斯坦的相對時空開始取代牛頓的絕對時空。 而黎曼幾何的出現(xiàn)代表我們之前深信不疑的歐式空間無非是受到了我們經(jīng)驗(yàn)的局限。黎曼幾何成為廣義相對論的基礎(chǔ)。

而從電動力學(xué)和量子力學(xué)衍生的場論更是刷新了人們的三觀 。龐家萊在這個基礎(chǔ)回到了貝克萊的經(jīng)驗(yàn)主義,就沒有特別奇怪。龐家萊首先認(rèn)為空間無非是無數(shù)經(jīng)驗(yàn)的集合, 這些經(jīng)驗(yàn)主要是由人在移動時候視覺的變換構(gòu)成的。 我們對不同物體的距離的感知, 也無非是讓一個虛擬的自己經(jīng)歷一個從A物體到B物體的過程而認(rèn)識到的。大量 經(jīng)驗(yàn)上學(xué)到的位移與視野變換的對應(yīng)關(guān)系可以用平移算子和群表示。

而這樣的群最大的特質(zhì)是存在一個逆運(yùn)算可以讓當(dāng)下的狀態(tài)和先前的狀態(tài)完全一致(聯(lián)想一下時間就沒有這樣的對稱性, 不存在一個時間平移逆運(yùn)算讓你回到時間的原點(diǎn))。 位置的概念隱含在這種平移算子的對稱性里 。龐家萊的理論不難找到同時代的相對論和場論的影子, 而他的思想標(biāo)志了經(jīng)驗(yàn)主義的新高度。我們在不停的變化的經(jīng)驗(yàn)積累中得到了變化中的不變性(數(shù)學(xué)規(guī)則), 而這些數(shù)學(xué)規(guī)則就是空間的本質(zhì)。

黎曼幾何, 打破了歐式直角坐標(biāo)系,同樣的也是對于日常經(jīng)驗(yàn)的一個突破。 因?yàn)槲覀兂R娭本€, 不說明它是真實(shí)的。事實(shí)上愛因斯坦的廣義相對論指出光線被引力彎曲沿曲線傳播。 黎曼幾何成為廣義相對論的數(shù)學(xué)基礎(chǔ)。

注: 愛因斯坦的狹義相對論的建立過程體現(xiàn)了對牛頓絕對時空的突破。事實(shí)上正是愛因斯坦看到了牛頓的絕對時空是受到了我們經(jīng)驗(yàn)的局限才能夠打破它。

狹義相對論認(rèn)為,我們的絕對時間的觀點(diǎn), 正是受制于我們自身的經(jīng)驗(yàn),因?yàn)槲覀儚膩聿灰越咏馑龠\(yùn)行。 而得到真實(shí)的物理規(guī)律, 事實(shí)上需要突破這種經(jīng)驗(yàn)。 狹義相對論以光速(電磁學(xué)規(guī)律)為絕對不變, 而放棄時間的絕對流逝, 當(dāng)物體的運(yùn)動速度變換,其時鐘也相對靜止坐標(biāo)系進(jìn)行調(diào)整。

而繼續(xù)把場論的思維進(jìn)行深化的,是Kohler等人提出的Gestalt(格式塔)理論。 Gestalt理論比龐家萊進(jìn)一步的指向了空間感知的神經(jīng)基礎(chǔ), 他把大量神經(jīng)元的同時放電看做是一種場的形成, 不同的神經(jīng)元組(網(wǎng)絡(luò))代表不同的場, 兩種最基本的和空間導(dǎo)航有關(guān)的場一種叫做 地理場(geography field), 一種叫做 行為場(behavior field)。

地理場主要用來表征外部的物理世界-空間關(guān)系, 而行為場用于賦予各種外部刺激(感知)以意義,估值,和反射行為(這就是強(qiáng)化學(xué)習(xí)理論的預(yù)演,行為場可以看做強(qiáng)化學(xué)習(xí)的值函數(shù)),這兩個場互相配合產(chǎn)生空間有關(guān)的概念和行為。 從外部的刺激通過神經(jīng)組織合成出各種合適的“場”來表征外部特征的思想已經(jīng)像極了今天的深度學(xué)習(xí), 不難看出我們今天的科技和前人的思想的聯(lián)系。

在此基礎(chǔ)上, 1936年Lewin提出了空間拓?fù)浣Y(jié)構(gòu)和所謂行為場的關(guān)系, 使得Gestalt的理論變得更為堅實(shí), 之前的行為場的一個問題是不知道它如何組織和形成, 而Lewin則提出了它的基礎(chǔ)是各種各樣的和行為有關(guān)的空間拓?fù)浣Y(jié)構(gòu), 比如邊界,連接, 等等。 也就是說你先建立一個空間的拓?fù)鋱觯?后面可以就容易建立一個行為場。

二 來自動物行為的證據(jù)

好了,再fancy的問題 ,最終還要回到空間認(rèn)知的本質(zhì)是個生物問題 ,它需要特定的生物載體 。 那么研究動物對空間的認(rèn)知就是一個幾乎不可避開的問題。 動物是不會說話的,本質(zhì)上了解動物的空間認(rèn)知必須要從行為入手,與空間有關(guān)的行為就是導(dǎo)航。 像鳥類,小鼠, 蝙蝠都具有極為發(fā)達(dá)的空間導(dǎo)航能力(甚至比人還厲害),那么它們是怎么在復(fù)雜的空間里穿行,或者經(jīng)過幾千公里回到自己的家的呢? 從觀察這些行為入手, 我們也可以得到空間認(rèn)知的本質(zhì)。 我們說, 如果一個概念對行為和動物的生存并無意義 ,那也就是失去了任何行為的基礎(chǔ)。

經(jīng)典的小鼠走迷宮任務(wù)。

關(guān)于小鼠的導(dǎo)航問題的實(shí)驗(yàn)的問題,我們看到小鼠很容易在非常復(fù)雜的迷宮里找到食物,關(guān)于這個現(xiàn)象基本的假設(shè)解釋, 一種是小鼠沒有空間的概念,但是它可以記住一系列的動作 。這就好比一個很長的條件反射,比如左左右右左左右。 這就好比在現(xiàn)實(shí)生活中, 當(dāng)你完成一個動作系列到達(dá)了星巴克, 你再執(zhí)行另一個動作序列到達(dá)肯德基。

而另一個假設(shè)是小鼠有關(guān)于空間的概念 ,根據(jù)在大腦里生成的地圖來決定每個時候的走向找到目標(biāo)。 所謂地圖,是指你和周圍的物體(地標(biāo))以及周圍的物體(地標(biāo))之間相對位置的幾何。 在一個地圖上, 所有的地標(biāo)都獲得了一個絕對的坐標(biāo), 即使你沒有去過那個地方, 這個坐標(biāo)依然告訴你它在什么位置。

為了研究相應(yīng)的問題,我們可以把真實(shí)的空間去掉, 讓小鼠在一個“時間迷宮”里(這個任務(wù)里缺乏固定的空間結(jié)構(gòu)),單純記住“左左右右左左右” 這樣的動作序列來解決這個問題。 事實(shí)上小鼠這個時候已經(jīng)很難完成這個任務(wù)。 這一系列的實(shí)驗(yàn)結(jié)果支持地圖學(xué)說, 導(dǎo)致Tolman在1948年提出了Cognitive map的概念。 那就是 空間 或者 地圖的概念在小鼠的大腦里是存在的, 成為其導(dǎo)航學(xué)習(xí)的基礎(chǔ)。

對于同樣的實(shí)驗(yàn)現(xiàn)象, Hull為代表的人提出了一套截然不同的解釋,可以看作剛剛說的動作序列的高級版本,解決剛剛的矛盾 。 那就是看似復(fù)雜的空間導(dǎo)航,無非是一個多級的,組合式的條件反射。這就和我們?nèi)粘4蠖鄶?shù)習(xí)慣的獲得沒有區(qū)別。 只是,在空間導(dǎo)航的學(xué)習(xí)里, 你學(xué)到的不是一個從起點(diǎn)到終點(diǎn)的方法, 而是一個系列的能夠從起點(diǎn)到終點(diǎn)的動作系列(對應(yīng)同一效果的不同的軌跡),這樣也就不會受困于某個特定的行為序列。這個理論與龐家萊的群論的含義是一致的。 也就是我們學(xué)到的不是一個軌跡, 而是一個行為的集合, 具有同樣的最終效果(一個群), 這其實(shí)說的就是當(dāng)今機(jī)器學(xué)習(xí)的泛化能力。

多級條件反射和認(rèn)知地圖均能夠解釋現(xiàn)象, 但是背后的眼里卻非常不同, 這也成為后面一系列的工作的起點(diǎn)。多級條件反射, 與心理學(xué)的一個重要的流派-行為主義流派不謀而合。它的主要代表人斯金納用非常復(fù)雜的條件反射來解釋語言和思考在內(nèi)的所有認(rèn)知現(xiàn)象(把語言符號也看作一種刺激),因此在那個年代也很占優(yōu)勢。

斯金納箱, 操作性條件反射的實(shí)驗(yàn)裝置。 小鼠做出正確的動作后可以得到食物。 操作性條件反射在斯金納的時代被認(rèn)為是智能的基礎(chǔ)。 也是強(qiáng)化學(xué)習(xí)理論的基礎(chǔ)。通過多級條件反射, 小鼠不僅可以把當(dāng)下的刺激和獎勵聯(lián)系起來, 還可以把之前的行為和刺激和當(dāng)下的刺激聯(lián)系起來

注: 稍微用心的研究者不難發(fā)現(xiàn)組合條件反射與深度強(qiáng)化學(xué)習(xí)的關(guān)系 ,我們一次又一次回歸前人思想的軌跡。

而認(rèn)知地圖的支持者后來者居上, 一個重要的根據(jù)在動物導(dǎo)航行為的研究。 研究者發(fā)現(xiàn)在諸如鳥類這樣的動物里 ,當(dāng)你把鳥從一個地方移動到它所從未見過的地方, 它依然有能力找到到回家的路。 按照多級條件反射的說法, 鳥需要根據(jù)自己熟悉的地標(biāo), 記住一系列動作, 或者一個方向, 然后才能達(dá)到目的地。 而如果一個地方是完全陌生的, 那么鳥根本不可能能夠根據(jù)習(xí)得的一套方案回巢(事實(shí)上這個邏輯并不嚴(yán)密)。

鳥類天然擅長長途遷徙

另一個重要的支持在于尋找捷徑, 比如你回家的路上發(fā)現(xiàn)平時需要繞過的公園多了一條小路 你可能沒有走過, 但是你依然可能會直接穿越回去到家。 尋找捷徑的能力類似于強(qiáng)化學(xué)習(xí)里的有模型學(xué)習(xí), 你需要建立一個最小的世界模型, 才能知道當(dāng)下某個從沒有見過的地標(biāo)和你熟悉的地標(biāo)(家)之間的聯(lián)系。認(rèn)知地圖的支持者認(rèn)為這個模型正是由認(rèn)知地圖提供的。

這些都成為認(rèn)知地圖作為一個先驗(yàn)結(jié)構(gòu)早已存在于腦海中的實(shí)驗(yàn)支持, 不僅如此, 這個地圖需要的樣子是一個絕對的歐幾里得坐標(biāo)系,而不是你根據(jù)自己的位置為中心,設(shè)立的一張相對你而言周圍物體分布的地圖。 正是因?yàn)橛羞@樣一個絕對的歐式坐標(biāo)系,你才知道周圍物體相對周圍物體, 門子相對窗子, 馬路相對公園的位置, 你才能根據(jù)你的空間想象做出決策 ,不是走A路而是走B路,即使你從來沒有見過A路,或者到了一個完全陌生的城市。

如何構(gòu)建這樣一個地圖? 你的大腦里的某個部位需要能夠精確的進(jìn)行路徑積分, 并把每個看到的地標(biāo)放置到這個精確積分的大腦平面圖里。如果整個周圍環(huán)境是固定的, 一旦出現(xiàn)一個新的物體, 你就很快可以想象出它和之前所有出現(xiàn)過的物體的相對位置, 在這個世界里, 每個物體的表示都是一個位置向量。 如果你想做一個能夠行走的機(jī)器人, 不難想象也會構(gòu)建一個類似的概念。這樣的觀點(diǎn)構(gòu)成認(rèn)知地圖的基礎(chǔ), 我們通過大腦里的一個先驗(yàn)的絕對空間的概念載體, 而使得復(fù)雜的空間計劃和導(dǎo)航學(xué)習(xí)成為可能。

三 Place Cell 和 Grid Cell的發(fā)現(xiàn)

這樣的想法非常合理, 唯一的問題是我們的大腦里真有這樣的結(jié)構(gòu)嗎? 這個觀點(diǎn)在一組大名鼎鼎的細(xì)胞, grid cell和place cell之后可謂是登峰造極, 成為了科學(xué)的主流。 而它的發(fā)現(xiàn)者O'Keefe 和 Moser也獲得了2014年的諾貝爾獎。

這組細(xì)胞, 仿佛就是cognitive map的生物載體。所謂place cell的含義非常簡單, 就是當(dāng)你不停的經(jīng)過某個同樣的地點(diǎn),同一個細(xì)胞會放電。 而所謂Grid cell, 其特征是其感受野對空間進(jìn)行周期性的放電,它可以把一個二維平面表現(xiàn)成一個密集堆積的六邊形結(jié)構(gòu), 不同的grid-cell具有不同的空間周期。 認(rèn)知地圖的支持者認(rèn)為,這個Grid cell正是那個先驗(yàn)的大腦里的歐式坐標(biāo)系的載體。如果你對空間里的一個狄拉克函數(shù)(一個空間質(zhì)點(diǎn)的表示)做傅里葉變換你會得到一系列不同周期頻率的波函數(shù), 反過來, 這群函數(shù)或許可以作為一組表達(dá)不同物體位置的基函數(shù)。 而Grid cell如果是對應(yīng)了這群函數(shù), 那么它將可以非常靈活的表達(dá)生物體在一個絕對坐標(biāo)系里的位置,即使生物體運(yùn)動到了一個完全陌生的環(huán)境。

不僅在小鼠, 蝙蝠的大腦里也存在Grid Cell, 與三維空間相對應(yīng), 參見 Grid cells without theta oscillations in the entorhinal cortex of bats Nature

在Grid cell和Place cell發(fā)現(xiàn)之后,認(rèn)知地圖的理論奠定了統(tǒng)治地位,空間學(xué)習(xí)需要一個先驗(yàn)的神經(jīng)空間坐標(biāo)系成為了共識。

人工智能時代的續(xù)篇

在人工智能時代,我們越來越發(fā)現(xiàn)這些早期認(rèn)知科學(xué)爭論過的核心主題, 事實(shí)上對發(fā)展從狹義到通用的人工智能都非常重要。你要先理解智能,才能做出人工智能, 否則做出的東西只有“人工”沒有“智能” 。

在DeepMind去年發(fā)表的一篇和空間導(dǎo)航有關(guān)的論文里, 它們也確實(shí)把這種和空間有關(guān)的結(jié)構(gòu)- Grid Cell 引入到了它們的網(wǎng)絡(luò)架構(gòu)里,而非常有趣的是, 如同當(dāng)年的認(rèn)知科學(xué)家所闡述的, 這個空間坐標(biāo)結(jié)構(gòu)的引入, 使得導(dǎo)航出現(xiàn)了類似于直接利用捷徑這樣的行為。

而與空間結(jié)構(gòu)的先驗(yàn)學(xué)派不同的是,DeepMind的這個Grid Cell 結(jié)構(gòu), 事實(shí)上是從利用監(jiān)督學(xué)習(xí)進(jìn)行引導(dǎo)的。 DeepMind 讓人工“小鼠” 在方格空間里亂跑并預(yù)測其位置,在這個過程里, 如果適當(dāng)?shù)囊雂ropout這樣的條件,它們表明就可以出現(xiàn)類似于Grid的細(xì)胞結(jié)構(gòu)。 而這個結(jié)構(gòu)正是剛剛說的尋找捷徑行為的基礎(chǔ)。論證的方法也和生物實(shí)驗(yàn)相同, 就是去掉這些細(xì)胞觀測, 尋找捷徑的行為消失了。

Vector-based navigation using grid-like representations in artificial agents Nature

這篇文章在專業(yè)圈子引起了很多批判,很多學(xué)者不認(rèn)可這樣形成的Grid Cell就是生物學(xué)的Grid Cell。另外一種可能是Grid Cell只是許多對空間探索有利的結(jié)構(gòu)的一種,而這種結(jié)構(gòu)恰恰是無論是自然訓(xùn)練還是人工訓(xùn)練都非常容易找到的一種, 可能對應(yīng)某個自然界的最小作用原理(事實(shí)上六邊形是周期性的布滿一個二維空間的最經(jīng)濟(jì)方法)。因此DeepMind的這個作品也就沒有那么神奇了。

在思考這個問題的時候, 我個人依然覺得到龐加萊等人的經(jīng)驗(yàn)主義思想具有極高的借鑒價值。 雖然用認(rèn)知地圖方便好用, 但是它是否是最基本的東西? 我們大腦里的那個空間概念最根本的東西究竟是什么? 或許背后更本質(zhì)的東西依然是幾條抽象的數(shù)學(xué)規(guī)則,而我們大腦的神奇在于利用這個規(guī)則得到地圖這類方便的概念。Deepmind按照人們已經(jīng)預(yù)期設(shè)定的理論找到了同樣的結(jié)果, 雖然促進(jìn)了AI的進(jìn)步, 但是對于我們理解這個問題卻是有限的。

五 關(guān)于空間任務(wù)之外的啟示

不管認(rèn)知地圖是否最終成立,生物學(xué)的研究,還是人工智能的研究,都在指向的一個共同點(diǎn),就是我們學(xué)習(xí)需要預(yù)先存在的特定“結(jié)構(gòu)”,而不是簡單的多級條件反射可以得到, 雖然在深度強(qiáng)化學(xué)習(xí)時代,多級條件反射給我們展示的可能性比我們想的多很多。 而AI的研究在告訴我們, 這樣的先驗(yàn)結(jié)構(gòu), 是可以通過大量的預(yù)訓(xùn)練得到的。

如何預(yù)訓(xùn)練, 怎么設(shè)計預(yù)訓(xùn)練流程, 可能是未來的一個極為重要的方向。Karl Friston所說的預(yù)測誤差最小,最新的大量關(guān)于好奇心的研究,甚至最近的語言模型Bert,可能都在提示我們怎樣設(shè)計這樣的流程。 同時,這樣的研究或許也在啟發(fā)我們?nèi)绾胃玫脑O(shè)計嬰兒的早期教育 ,使得后期的學(xué)習(xí)效果更好。

對于空間的思考本身, 對于非空間的很多任務(wù)也極有啟發(fā)。 比如我們常說的語言。 我們知道,語言代表了我們使用和控制符號的能力, 而“符號” 和空間“位置”的關(guān)系是什么? 是否存在一種隱喻, 正是由于我們發(fā)展出了對抽象的“空間” 和 “位置”的認(rèn)知能力, 才引領(lǐng)我們走向了更廣義的形成和使用“符號”的能力? 在一個抽象的“符號” 地圖里, 運(yùn)動不再是歐式空間里從一點(diǎn)到另一點(diǎn)的軌跡, 而可能是一種邏輯思維的流動? 這些都將是未來人工智能極為需要回答的問題。

Organizing Conceptual Knowledge in Humans with a Grid-like Code Science 一個驚人的實(shí)驗(yàn), 在人類進(jìn)行對不同形狀的關(guān)聯(lián)(把一種形狀的鳥對應(yīng)到另一個形狀上)的時候, 類似的Grid的神經(jīng)表示出現(xiàn)

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標(biāo)題:空間簡史-人類認(rèn)識空間的旅程與其對強(qiáng)化學(xué)習(xí)的啟示

文章出處:【微信號:AItists,微信公眾號:人工智能學(xué)家】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    什么是深度強(qiáng)化學(xué)習(xí)?深度強(qiáng)化學(xué)習(xí)算法應(yīng)用分析

    什么是深度強(qiáng)化學(xué)習(xí)? 眾所周知,人類擅長解決各種挑戰(zhàn)性的問題,從低級的運(yùn)動控制(如:步行、跑步、打網(wǎng)球)到高級的認(rèn)知任務(wù)。
    發(fā)表于 07-01 10:29 ?1373次閱讀
    什么是深度<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>?深度<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>算法應(yīng)用分析

    反向強(qiáng)化學(xué)習(xí)的思路

    強(qiáng)化學(xué)習(xí)的另一種策略(二)
    發(fā)表于 04-03 12:10

    深度強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn)

    一:深度學(xué)習(xí)DeepLearning實(shí)戰(zhàn)時間地點(diǎn):1 月 15日— 1 月18 日二:深度強(qiáng)化學(xué)習(xí)核心技術(shù)實(shí)戰(zhàn)時間地點(diǎn): 1 月 27 日— 1 月30 日(第一天報到 授課三天;提前環(huán)境部署 電腦
    發(fā)表于 01-10 13:42

    將深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)相結(jié)合的深度強(qiáng)化學(xué)習(xí)DRL

    深度強(qiáng)化學(xué)習(xí)DRL自提出以來, 已在理論和應(yīng)用方面均取得了顯著的成果。尤其是谷歌DeepMind團(tuán)隊基于深度強(qiáng)化學(xué)習(xí)DRL研發(fā)的AlphaGo,將深度強(qiáng)化學(xué)習(xí)DRL成推上新的熱點(diǎn)和高度,成為人工智能歷史上一個新的里程碑。因此,深
    發(fā)表于 06-29 18:36 ?2.8w次閱讀

    薩頓科普了強(qiáng)化學(xué)習(xí)、深度強(qiáng)化學(xué)習(xí),并談到了這項技術(shù)的潛力和發(fā)展方向

    薩頓在專訪中(再次)科普了強(qiáng)化學(xué)習(xí)、深度強(qiáng)化學(xué)習(xí),并談到了這項技術(shù)的潛力,以及接下來的發(fā)展方向:預(yù)測學(xué)習(xí)
    的頭像 發(fā)表于 12-27 09:07 ?1.1w次閱讀

    人工智能機(jī)器學(xué)習(xí)強(qiáng)化學(xué)習(xí)

    強(qiáng)化學(xué)習(xí)是智能系統(tǒng)從環(huán)境到行為映射的學(xué)習(xí),以使獎勵信號(強(qiáng)化信號)函數(shù)值最大,強(qiáng)化學(xué)習(xí)不同于連接主義學(xué)習(xí)中的監(jiān)督
    發(fā)表于 05-30 06:53 ?1383次閱讀

    什么是強(qiáng)化學(xué)習(xí)?純強(qiáng)化學(xué)習(xí)有意義嗎?強(qiáng)化學(xué)習(xí)有什么的致命缺陷?

    強(qiáng)化學(xué)習(xí)是人工智能基本的子領(lǐng)域之一,在強(qiáng)化學(xué)習(xí)的框架中,智能體通過與環(huán)境互動,來學(xué)習(xí)采取何種動作能使其在給定環(huán)境中的長期獎勵最大化,就像在上述的棋盤游戲寓言中,你通過與棋盤的互動來學(xué)習(xí)
    的頭像 發(fā)表于 07-15 10:56 ?1.7w次閱讀
    什么是<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>?純<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>有意義嗎?<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>有什么的致命缺陷?

    谷歌推出新的基于Tensorflow的強(qiáng)化學(xué)習(xí)框架,稱為Dopamine

    強(qiáng)化學(xué)習(xí)(RL)研究在過去幾年取得了許多重大進(jìn)展。強(qiáng)化學(xué)習(xí)的進(jìn)步使得 AI 智能體能夠在一些游戲上超過人類,值得關(guān)注的例子包括 DeepMind 攻破 Atari 游戲的 DQN,在圍棋中獲得矚目的 AlphaGo 和 Alph
    的頭像 發(fā)表于 08-31 09:20 ?3643次閱讀

    基于強(qiáng)化學(xué)習(xí)的MADDPG算法原理及實(shí)現(xiàn)

    之前接觸的強(qiáng)化學(xué)習(xí)算法都是單個智能體的強(qiáng)化學(xué)習(xí)算法,但是也有很多重要的應(yīng)用場景牽涉到多個智能體之間的交互。
    的頭像 發(fā)表于 11-02 16:18 ?2.2w次閱讀

    DeepMind發(fā)布強(qiáng)化學(xué)習(xí)庫RLax

    RLax(發(fā)音為“ relax”)是建立在JAX之上的庫,它公開了用于實(shí)施強(qiáng)化學(xué)習(xí)智能體的有用構(gòu)建塊。。報道:深度強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)室作者:DeepRL ...
    的頭像 發(fā)表于 12-10 18:43 ?682次閱讀

    模型化深度強(qiáng)化學(xué)習(xí)應(yīng)用研究綜述

    深度強(qiáng)化學(xué)習(xí)(DRL)作為機(jī)器學(xué)習(xí)的重要分攴,在 Alphago擊敗人類后受到了廣泛關(guān)注。DRL以種試錯機(jī)制與環(huán)境進(jìn)行交互,并通過最大化累積獎賞最終得到最優(yōu)策略。強(qiáng)化學(xué)習(xí)可分為無模型
    發(fā)表于 04-12 11:01 ?9次下載
    模型化深度<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>應(yīng)用研究綜述

    基于深度強(qiáng)化學(xué)習(xí)仿真集成的壓邊力控制模型

    壓邊力控制策略的學(xué)習(xí)優(yōu)化?;谏疃?b class='flag-5'>強(qiáng)化學(xué)習(xí)的壓邊力優(yōu)化算法,利用深度神經(jīng)網(wǎng)絡(luò)處理巨大的狀態(tài)空間,避免了系統(tǒng)動力學(xué)的擬合,并且使用一種新的網(wǎng)絡(luò)結(jié)構(gòu)來構(gòu)建策略網(wǎng)絡(luò),將壓邊力策略劃分為全局與局部兩部分,提高了壓邊
    發(fā)表于 05-27 10:32 ?0次下載

    徹底改變算法交易:強(qiáng)化學(xué)習(xí)的力量

    強(qiáng)化學(xué)習(xí)(RL)是人工智能的一個子領(lǐng)域,專注于決策過程。與其他形式的機(jī)器學(xué)習(xí)相比,強(qiáng)化學(xué)習(xí)模型通過與環(huán)境交互并以獎勵或懲罰的形式接收反饋來學(xué)習(xí)
    發(fā)表于 06-09 09:23 ?489次閱讀

    模擬矩陣在深度強(qiáng)化學(xué)習(xí)智能控制系統(tǒng)中的應(yīng)用

    訊維模擬矩陣在深度強(qiáng)化學(xué)習(xí)智能控制系統(tǒng)中的應(yīng)用主要是通過構(gòu)建一個包含多種環(huán)境信息和動作空間的模擬矩陣,來模擬和預(yù)測深度強(qiáng)化學(xué)習(xí)智能控制系統(tǒng)在不同環(huán)境下的表現(xiàn)和效果,從而優(yōu)化控制策略和提高系統(tǒng)的性能
    的頭像 發(fā)表于 09-04 14:26 ?521次閱讀
    模擬矩陣在深度<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>智能控制系統(tǒng)中的應(yīng)用

    什么是強(qiáng)化學(xué)習(xí)

    強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的方式之一,它與監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)并列,是三種機(jī)器學(xué)習(xí)訓(xùn)練方法之一。 在圍棋上擊敗世界第一李世石的 AlphaGo、在《
    的頭像 發(fā)表于 10-30 11:36 ?3744次閱讀
    什么是<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>