科學家們把猴子的大腦與神經網絡連接起來，試圖刺激猴子大腦中負責識別面部的單個神經元

哈佛大學的科學家們把猴子的大腦與神經網絡連接起來，試圖刺激猴子大腦中負責識別面部的單個神經元。他們利用AI生成圖像，然后向猴子展示這些圖像，最終成功地激活特定的神經元，而不影響其他神經元。相關論文發(fā)表在最新的Cell期刊上。

新智元不久前報道，MIT 的三位科學家首次利用 AI 生成圖像來激活特定視覺神經元，實現(xiàn)了控制動物大腦的神經元活動。

該研究引起熱議，被認為是使用人工神經網絡來理解真實神經網絡的最強有力的驗證。

無獨有偶，在一項新實驗中，哈佛大學的科學家們把猴子的大腦與神經網絡連接起來，試圖刺激猴子大腦中負責識別面部的單個神經元。他們利用 AI 生成圖像，然后向猴子展示這些圖像，試圖盡可能地激活這些特定的神經元。

最終，AI 系統(tǒng)學會了生成能夠激活單個腦細胞、而不會同時激活它的相鄰細胞的圖像。這些圖像像是超現(xiàn)實的噩夢中的景象一般，模模糊糊的又與臉孔或其他熟悉的形狀相似 —— 這是傳感器和人工智能開始窺視生物大腦的又一個令人興奮的例子。

一張由神經網絡進化而來、刺激獼猴神經元的圖像

相關研究發(fā)表在最新的 Cell 期刊上。

研究者提出的算法名為XDREAM，可以根據(jù)特定神經元對圖像的反應強度的實時反饋來生成新圖像。

論文的第一作者、哈佛大學和華盛頓大學神經科學家 Carlos Ponce 說：“如果細胞會做夢，那么 (這些圖像) 就是細胞夢見的景象?！?/p>

該研究的幾個要點：

在神經元放電的引導下，深度神經網絡和遺傳算法進化生成圖像

演進的圖像使獼猴視覺皮層的神經元放電最大化

演進的圖像比大量的自然圖像更能激活神經元

與演進圖像的相似性可以預測神經元對新圖像的反應

研究概覽

具體來說，研究人員利用 AI 生成圖像并展示給猴子，然后研究猴子的神經元對圖像的反應。然后，AI 算法可以根據(jù)大腦反應的信息來調整圖像，生成可能與猴子的視覺處理系統(tǒng)產生更多共鳴的新圖像。

Ponce 說：“當我們第一次看到這種情況時，感覺就好像我們是在用一種神經元自己的語言與它進行交流，就好像我們賦予了細胞一種交流的能力?！?/p>

實驗過程：GAN+遺傳算法，窺探猴子的夢境

為什么我們的眼睛更容易被某些形狀、顏色和輪廓所吸引呢？

半個多世紀以來，科學家們已經了解到，大腦視覺系統(tǒng)中的神經元對某些圖像的反應會比對其他圖像的反應更強烈 —— 這一特征對于我們識別、理解和解釋周圍大量視覺信息的能力至關重要。

例如，當人類或其他靈長類動物 —— 具有高度協(xié)調性和視覺系統(tǒng)的動物 —— 在看到面孔、地點、物體或文字時，大腦中被稱為下顳葉皮層的特定視覺神經元群會更活躍。但這些神經元究竟是對什么做出了反應，至今仍不清楚。

迄今為止，絕大多數(shù)試圖測試神經元偏好的實驗都使用了真實的圖像。但真實的圖像帶有固有的偏見：僅限于現(xiàn)實世界中可用的刺激以及研究人員選擇測試的圖像?；?AI 的程序可以根據(jù)每個神經元的偏好來創(chuàng)建合成圖像，從而克服了這個障礙。

在這個研究中，來自哈佛大學醫(yī)學院的幾位研究人員，使用預訓練的深度生成神經網絡(Dosovitskiy and Brox, 2016) 和遺傳算法，實現(xiàn)了讓神經元反應來知道合成圖像的進化。

深度生成對抗網絡通過遺傳算法表達和搜索

為了記錄視覺神經元的活動，研究團隊將微電極陣列植入六只猴子的下顳葉皮質(耳朵上方稍微靠后的區(qū)域)。然后，研究人員通過電腦屏幕向猴子展示圖像，并測量猴子在觀看圖像時大腦中單個視覺神經元的放電率。

如下圖所示，網絡以 4096 維的向量 (圖像代碼) 作為輸入，然后將其轉換為 256×256 的 RGB 圖像。

圖 1：通過神經元引導的進化合成首選的刺激特定神經元的圖像

（A）生成對抗網絡。

（B）初始的合成圖像，這里顯示了 30 個示例。

（C）行為任務。

（D）實驗流程。圖像代碼通過深度生成對抗網絡傳遞，以合成呈現(xiàn)給猴子看的圖像。使用神經元反應對圖像代碼進行排序，然后對其進行選擇，重組和變異，以生成新的圖像代碼。

具體來說，遺傳算法使用從獼猴大腦中記錄到的神經元響應來優(yōu)化輸入到神經網絡的圖像代碼。每個實驗從 GAN 隨機產生的 40 個圖像（圖 1B）開始。

然后記錄猴子在被動執(zhí)行固定任務時 IT 神經元的反應。圖 1C 顯示了一個單元的感受野。

然后根據(jù)神經元對每個合成圖像的反應對圖像編碼進行評分，確定 10 張在給定神經元或神經元群中最活躍的圖像。研究人員將這些圖像通過一種遺傳算法 —— 本質上是重新組合這些像素 —— 生成 30 張類似的圖像，然后將這些圖像連同最初的前 10 張圖像一起展示給猴子（圖 1D） 。

研究人員將整個方法稱為XDREAM (EXtending DeepDream with Real-time Evolution for Activity Maximization in real neurons)。

這個過程在 1-3 小時內重復多達 250 代。

作為對照，研究人員還向猴子展示了包含人物、地點等的自然圖像和簡單的線條圖。

進化的圖像(左)和自然圖像(右)

在幾個小時的過程中，研究人員將每張 AI 生成的圖像向猴子展示 100 毫秒。

這些圖像從灰度隨機紋理圖案開始，根據(jù)實驗中猴子神經元的激活程度，程序逐漸引入形狀和顏色，直到形成最終的充分體現(xiàn)神經元偏好的圖像。

“每次實驗結束時，” 參與該研究的哈佛醫(yī)學院研究生 Will Xiao 說：“程序會生成對這些細胞產生超級刺激的圖像?！?/p>

神經元選擇的怪異圖像，有助于理解認知問題

CaffeNet 中單元首選刺激的演變

研究人員首先在人工神經網絡中的單元上驗證 XDREAM，作為生物神經元的模型。他們的方法為 CaffeNet 的各層單元產生了超級刺激（圖 2）。

圖 2：XDREAM 算法為 CaffeNet 中的單元生成超級刺激

一種生物神經元的偏好刺激的演變

隨著遺傳算法根據(jù)神經元的響應優(yōu)化圖像，合成圖像會隨著每一代的進化而改變。下圖是進化實驗的一個例子。

圖 3：一個猴子選擇的合成圖像演化

每個圖像都是每代的前 5 個合成圖像的平均值（從左到右，從上到下排序），幾代之后，合成圖像進化成更有效的刺激 (圖 4)。

圖 4：通過最大化單個神經元的響應來合成圖像的演變

視頻：猴子神經元的選擇導致合成圖像演化的兩個示例，每個演化實時都需要幾個小時

其他神經元中優(yōu)選刺激的演變

圖 5：其他 IT細胞的演化

圖 6：其他 IT 神經元中合成圖像的演化

其中一些圖片符合研究人員的預期。例如，他們懷疑神經元可能會對面孔做出反應，一個神經元進化生成圓形的粉紅色圖像，上面有兩個類似眼睛的大黑點。

其他的則更令人驚訝。例如，其中一只猴子的神經元不斷地生成看起來像猴子身體的圖像，但在它的脖子附近有一個紅色斑點。研究人員最終發(fā)現(xiàn)，這只猴子被關在另一只總是戴著紅項圈的猴子旁邊。

Ponce 說：“從霧中看到一個像臉一樣的東西在盯著你看，而你知道這張照片是來自猴子的大腦時，這可能是我的科學生涯里的最神奇的經歷之一。”

研究人員說：“我們認為這個神經元不僅對猴子的身體有優(yōu)先反應，而且對特定的猴子也有優(yōu)先反應?！?/p>

但并不是每一張最終的突破看起來都可以辨認。一只猴子的神經元進化產生一個黑色的小方塊。另一只則產生無確定形狀的黑色和橙色的混合體。

這些研究表明，這些神經元的反應并不是天生的，而是通過長期持續(xù)地接觸視覺刺激來學習的。但目前還不知道這種識別特定圖像的能力是如何出現(xiàn)的。研究團隊計劃在未來的研究中調查這個問題。

了解視覺系統(tǒng)如何對圖像產生反應可能是更好地理解驅動認知問題的基本機制的關鍵，這些認知問題涉及學習障礙、自閉癥譜系障礙等，通常以兒童處理面部線索和識別面孔的能力受損為特征。

研究人員表示，大腦視覺處理系統(tǒng)的故障會干擾人們連接、溝通和理解基本線索的能力，通過研究那些對面孔做出優(yōu)先反應的細胞，我們可以發(fā)現(xiàn)社會發(fā)展如何發(fā)生的線索，以及有可能出現(xiàn)的問題。