如何更好的理解視覺(jué)信息處理

神經(jīng)科學(xué)家和計(jì)算機(jī)視覺(jué)科學(xué)家表示，一個(gè)空前龐大的新數(shù)據(jù)集將幫助研究人員更好地理解大腦是如何處理圖像的。

卡內(nèi)基梅隆大學(xué)和福德姆大學(xué)的研究人員今天在《科學(xué)數(shù)據(jù)》雜志上發(fā)表報(bào)告說(shuō)，在這種規(guī)模下獲得功能性磁共振成像(fMRI)掃描呈現(xiàn)出獨(dú)特的挑戰(zhàn)。

每位志愿者都參與了20個(gè)小時(shí)或更長(zhǎng)時(shí)間的核磁共振掃描，這對(duì)他們的毅力和實(shí)驗(yàn)者協(xié)調(diào)掃描過(guò)程的能力都構(gòu)成了挑戰(zhàn)。為了解開(kāi)與單個(gè)圖像相關(guān)的神經(jīng)反應(yīng)，有必要做出一個(gè)極端的設(shè)計(jì)決策，即讓相同的個(gè)體運(yùn)行如此多的會(huì)話。

由此產(chǎn)生的數(shù)據(jù)集被稱為BOLD5000，它使認(rèn)知神經(jīng)科學(xué)家能夠更好地利用深度學(xué)習(xí)模型，這些模型極大地改善了人工視覺(jué)系統(tǒng)。深度學(xué)習(xí)最初受到人類視覺(jué)系統(tǒng)架構(gòu)的啟發(fā)，通過(guò)對(duì)人類視覺(jué)如何工作的新見(jiàn)解的追求，以及對(duì)人類視覺(jué)的研究更好地反映現(xiàn)代計(jì)算機(jī)視覺(jué)方法，可以進(jìn)一步改進(jìn)。為此，BOLD5000測(cè)量了從兩個(gè)流行的計(jì)算機(jī)視覺(jué)數(shù)據(jù)集ImageNet和COCO中獲取的圖像所產(chǎn)生的神經(jīng)活動(dòng)。

“大腦科學(xué)和計(jì)算機(jī)科學(xué)的纏繞意味著科學(xué)發(fā)現(xiàn)可以在兩個(gè)方向流動(dòng),共同作者M(jìn)ichael J. Tarr（Moura認(rèn)知和腦科學(xué)教授，CMU心理系主任 ） 說(shuō) ：“未來(lái)的視覺(jué)研究將使用BOLD5000數(shù)據(jù)集，這將有助于神經(jīng)科學(xué)家更好地理解人類大腦中的知識(shí)組織。隨著我們對(duì)視覺(jué)識(shí)別的神經(jīng)基礎(chǔ)了解得越來(lái)越多，我們也將更好地為人工視覺(jué)的進(jìn)步做出貢獻(xiàn)?！?/p>

該研究的主要作者、加州大學(xué)機(jī)器人研究所(CMU’s Robotics Institute)專攻計(jì)算機(jī)視覺(jué)的博士生Nadine Chang表示，計(jì)算機(jī)視覺(jué)科學(xué)家正將目光投向神經(jīng)科學(xué)，以幫助在快速發(fā)展的人工視覺(jué)領(lǐng)域進(jìn)行創(chuàng)新——這加強(qiáng)了這項(xiàng)研究的雙向性。

“ Chang說(shuō)：“計(jì)算機(jī)視覺(jué)科學(xué)家和視覺(jué)神經(jīng)科學(xué)家本質(zhì)上有著相同的最終目標(biāo):理解如何處理和解釋視覺(jué)信息”。

從一開(kāi)始，改善計(jì)算機(jī)視覺(jué)就是BOLD5000項(xiàng)目的重要組成部分。資深作者Elissa Aminoff，當(dāng)時(shí)是CMU心理學(xué)系的博士后，現(xiàn)在是福特漢姆大學(xué)的心理學(xué)助理教授，與機(jī)器人研究所副教授Abhinav Gupta共同發(fā)起了這一研究方向。

將生物視覺(jué)和計(jì)算機(jī)視覺(jué)聯(lián)系起來(lái)所面臨的挑戰(zhàn)之一是，大多數(shù)人類神經(jīng)成像研究只包含很少的刺激圖像——通常是100幅或更少——這些圖像通常被簡(jiǎn)化為在中性背景下只描繪單個(gè)物體。相比之下，BOLD5000包含超過(guò)5000個(gè)真實(shí)世界的復(fù)雜場(chǎng)景圖像、單個(gè)對(duì)象和交互對(duì)象。

該小組認(rèn)為BOLD5000只是利用現(xiàn)代計(jì)算機(jī)視覺(jué)模型研究生物視覺(jué)的第一步。

“坦率地說(shuō),BOLD5000數(shù)據(jù)集仍然太小,”塔爾說(shuō),這表明一個(gè)合理的功能磁共振成像數(shù)據(jù)集需要至少50000刺激圖像和更多的志愿者來(lái)取得進(jìn)展的事實(shí)的深層神經(jīng)網(wǎng)絡(luò)用于分析視覺(jué)表象訓(xùn)練在數(shù)以百萬(wàn)計(jì)的圖像。為此，研究小組希望他們能夠生成5000個(gè)大腦掃描數(shù)據(jù)集，這將為人類視覺(jué)和計(jì)算機(jī)視覺(jué)科學(xué)家之間更大規(guī)模的合作鋪平道路。

到目前為止，該領(lǐng)域的反應(yīng)是積極的。公開(kāi)可用的BOLD5000數(shù)據(jù)集已經(jīng)被下載超過(guò)2500次。

除了Chang，Tarr，Gupta和Aminoff之外，研究團(tuán)隊(duì)還包括CMU-Pitt BRIDGE中心的高級(jí)研究科學(xué)家和科學(xué)運(yùn)營(yíng)總監(jiān)John A. Pyles以及Tarr實(shí)驗(yàn)室的研究助理Austin Marcus。美國(guó)國(guó)家科學(xué)基金會(huì)，美國(guó)海軍研究辦公室，阿爾弗雷德·斯隆基金會(huì)和大川信息和電信基金會(huì)贊助了這項(xiàng)研究。