狗狗眼里的世界是什么樣？從狗的大腦中解碼視覺圖像

解碼狗狗的視覺認(rèn)知：眼里看到誰并不在乎，它們更關(guān)心看到的動(dòng)作。

過去 15000 年，狗與人類共同進(jìn)化?，F(xiàn)在，狗狗常作為寵物棲息在人類生活環(huán)境中。有時(shí)狗狗像人一樣在家中觀看視頻，仿佛是看懂了。 ? 那么，狗狗眼里的世界是什么樣子的？ ? 近日，來自埃默里大學(xué)的一項(xiàng)研究從狗的大腦中解碼了視覺圖像，首次揭示了狗的大腦如何重建它所看到的東西。這項(xiàng)研究發(fā)表在《可視化實(shí)驗(yàn)期刊》上。 ?

論文地址：https://www.jove.com/t/64442/through-dog-s-eyes-fmri-decoding-naturalistic-videos-from-dog ?
研究人員記錄了兩只清醒的、不受約束的狗狗的 fMRI 神經(jīng)數(shù)據(jù)，期間讓它們分三次觀看 30 分鐘的視頻，時(shí)長總共 90 分鐘。然后他們使用機(jī)器學(xué)習(xí)算法來分析神經(jīng)數(shù)據(jù)中的模式。 ? 埃默里大學(xué)心理學(xué)教授、論文作者之一 Gregory Berns 表示：「我們可以在狗觀看視頻時(shí)監(jiān)控它的大腦活動(dòng)，并在一定程度上重建它正在看的東西。我們能夠做到這一點(diǎn)是非常了不起的。」 ? Berns 及其同事開創(chuàng)性地將 fMRI 掃描技術(shù)用于犬類，并訓(xùn)練狗狗在測(cè)量神經(jīng)活動(dòng)時(shí)完全靜止且不受約束。十年前，該團(tuán)隊(duì)發(fā)布了第一張完全清醒、不受約束的狗的 fMRI 大腦圖像，為 Berns 所說的「The Dog Project」實(shí)驗(yàn)計(jì)劃打開了大門。 ?

Berns 和第一只在完全清醒且不受約束的情況下被掃描大腦活動(dòng)的狗狗 Callie。 ? 多年來，Berns 的實(shí)驗(yàn)室發(fā)表了多項(xiàng)關(guān)于犬類大腦如何處理視覺、語言、氣味和獎(jiǎng)勵(lì)（例如接受表揚(yáng)或食物）的研究。

? 與此同時(shí)，機(jī)器學(xué)習(xí)技術(shù)不斷進(jìn)步，使得科學(xué)家能夠解碼一些人類大腦的活動(dòng)模式。然后 Berns 開始思考類似的技術(shù)能否應(yīng)用到狗狗的大腦上。 ? 此次新研究就是基于機(jī)器學(xué)習(xí)和 fMRI 技術(shù)完成的。fMRI 是一種神經(jīng)影像學(xué)技術(shù)，其原理是利用磁振造影來測(cè)量神經(jīng)元活動(dòng)引發(fā)的血液動(dòng)力的改變。這種技術(shù)是非侵入性的，在腦部功能定位領(lǐng)域具有重要作用。除了人類，該技術(shù)只應(yīng)用于少數(shù)其他物種，包括一些靈長類動(dòng)物。 ? 研究介紹 ? 實(shí)驗(yàn)中用到兩只狗，它證明機(jī)器學(xué)習(xí)、fMRI 等技術(shù)可普遍用于犬科動(dòng)物分析，研究人員也希望這項(xiàng)研究對(duì)其他人有所幫助，以便更深入地了解不同動(dòng)物的思維方式。

? 實(shí)驗(yàn)過程大致如下： ? 實(shí)驗(yàn)參與者：Bhubo，4 歲；Daisy，11 歲。兩只狗之前都參加過幾項(xiàng) fMRI 訓(xùn)練（Bhubo：8 項(xiàng)，Daisy：11 項(xiàng)），其中一些涉及觀看投射到屏幕上的視覺刺激。這兩只狗之所以被選中，是因?yàn)樗鼈兡軌蜷L時(shí)間呆在掃描儀內(nèi)，而不會(huì)在主人看不見的情況下隨便移動(dòng)。 ? 視頻拍攝：以狗的視角拍攝視頻，以捕捉狗生活中的日常場景。這些場景包括散步、喂食、玩耍、與人類互動(dòng)、狗與狗的互動(dòng)等。將視頻編輯成 256 個(gè)獨(dú)特的場景，每個(gè)場景都描繪了一個(gè)事件，例如狗與人類擁抱、狗奔跑或散步。根據(jù)其內(nèi)容為每個(gè)場景分配一個(gè)唯一的編號(hào)和標(biāo)簽。然后將這些場景編輯成五個(gè)更大的匯編視頻，每個(gè)視頻大約 6 分鐘。 ?

實(shí)驗(yàn)設(shè)計(jì)：首先使用 3T MRI 掃描參與者，同時(shí)讓參與者觀看投射到 MRI 孔后部屏幕上的匯編視頻。對(duì)于狗來說，通過事先訓(xùn)練，將它們的頭放在定制的下巴托中，以達(dá)到頭部穩(wěn)定的位置，就像下圖這樣 ?

實(shí)驗(yàn)分三次觀看，每次觀看 30 分鐘的視頻，時(shí)長總共 90 分鐘。 ? 實(shí)驗(yàn)過程中，同時(shí)使用 fMRI 對(duì)狗進(jìn)行掃描，然后對(duì)數(shù)據(jù)進(jìn)行分析，實(shí)驗(yàn)用到了 Ivis 機(jī)器學(xué)習(xí)算法，這是一種基于孿生神經(jīng)網(wǎng)絡(luò) (SNN) 的非線性方法，已在分析高維生物數(shù)據(jù)上取得成功。此外，實(shí)驗(yàn)中還用到了 scikit-learn、RFC 等機(jī)器學(xué)習(xí)算法。 ?

正在被掃描的 Daisy，耳朵被貼上膠帶，用來固定耳塞，以消除噪音。

該研究比較了人類和狗的大腦工作方式。兩個(gè)人類受試者的結(jié)果表明，使用神經(jīng)網(wǎng)絡(luò)開發(fā)的模型將大腦數(shù)據(jù)映射到基于對(duì)象和基于動(dòng)作的分類器上的準(zhǔn)確率達(dá)到了 99%；在解碼狗的大腦模式時(shí)，同樣的模型就不適用于對(duì)象分類器，而解碼狗的動(dòng)作分類時(shí)，準(zhǔn)確率達(dá)到了 75% - 88%。這說明人類和狗的大腦工作方式存在重大差異，如下圖人 ( A ) 和*** ) 的實(shí)驗(yàn)結(jié)果所示。對(duì)此，Berns 總結(jié)道：「我們?nèi)祟惙浅ｊP(guān)心看到的對(duì)象，而狗狗似乎不太關(guān)心他們看到的是誰或者看到了什么，而更關(guān)心動(dòng)作行為?！?/p>

編輯：黃飛