人工智能從大腦“讀出”語(yǔ)言

對(duì)于許多癱瘓且無(wú)法說(shuō)話的人來(lái)說(shuō)，他們想要表達(dá)的語(yǔ)音信號(hào)隱藏在大腦中。但沒(méi)有人能夠直接破譯這些信號(hào)。

不過(guò)，最近有3個(gè)研究小組在將植入大腦的電極數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)生成的語(yǔ)音方面取得了進(jìn)展，他們通過(guò)被稱(chēng)為神經(jīng)網(wǎng)絡(luò)的計(jì)算模型，重建了可以被人類(lèi)聽(tīng)眾理解的單詞和句子。

最近幾個(gè)月以來(lái)，正如在bioRxiv上發(fā)布的多篇論文描述的那樣，研究人員仍無(wú)法完全重建僅僅存在于人們大腦里的語(yǔ)音信息。但另一方面，研究人員在人們大聲朗讀、輕聲細(xì)語(yǔ)，或者聽(tīng)錄音的時(shí)候，監(jiān)視了大腦的部分活動(dòng)。

未參與該研究的瑞士日內(nèi)瓦大學(xué)神經(jīng)工程師Stephanie Martin表示，重新演繹人們腦海中的語(yǔ)音信息這一做法“令人興奮不已”。

中風(fēng)或疾病后失去說(shuō)話能力的人可以用眼睛或其他小動(dòng)作控制光標(biāo)或選擇屏幕上的字母。但如果大腦—計(jì)算機(jī)界面能夠直接重建語(yǔ)言，他們可能會(huì)重新獲得更多，例如，控制語(yǔ)調(diào)或者在節(jié)奏較快的對(duì)話中插話。

但將這一想法付諸實(shí)踐卻困難重重。“我們?cè)噲D找出在不同時(shí)間點(diǎn)打開(kāi)和關(guān)閉的神經(jīng)元模式，以此推斷語(yǔ)言信息。”美國(guó)哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)家Nima Mesgarani說(shuō)，“從一個(gè)映射到另一個(gè)映射的過(guò)程非常復(fù)雜。”

這些信號(hào)轉(zhuǎn)換為語(yǔ)音的情況因人而異，因此必須對(duì)計(jì)算機(jī)模型“因材施教”。這些模型需要非常精確的數(shù)據(jù)支持，而這需要打開(kāi)頭骨。

研究人員只能在極少數(shù)情況下進(jìn)行此類(lèi)侵入性研究。一種是在切除腦瘤的過(guò)程中，暴露在外的大腦發(fā)出的電信號(hào)幫助外科醫(yī)生定位并避開(kāi)關(guān)鍵的語(yǔ)言和運(yùn)動(dòng)區(qū)域。另一種則是當(dāng)癲癇患者植入電極以確定手術(shù)前癲癇發(fā)作的起因時(shí)。Mesgarani表示，在收集數(shù)據(jù)的過(guò)程中，“我們的操作時(shí)間最多只有20至30分鐘，時(shí)間非常寶貴”。

研究人員通過(guò)將信息提供給神經(jīng)網(wǎng)絡(luò)獲取了大部分寶貴數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)通過(guò)將信息傳遞到計(jì)算“節(jié)點(diǎn)”層處理復(fù)雜模式。神經(jīng)網(wǎng)絡(luò)也能通過(guò)調(diào)整節(jié)點(diǎn)之間的連接來(lái)學(xué)習(xí)。在實(shí)驗(yàn)中，神經(jīng)網(wǎng)絡(luò)接觸了一個(gè)人發(fā)出或聽(tīng)到的語(yǔ)音記錄以及同步的大腦活動(dòng)的數(shù)據(jù)。

Mesgarani團(tuán)隊(duì)使用了5名癲癇患者的數(shù)據(jù)。該網(wǎng)絡(luò)分析了聽(tīng)覺(jué)皮層（在語(yǔ)音和聽(tīng)力過(guò)程中都很活躍）在他們聽(tīng)到故事錄音和人們從0讀到9的錄音后的記錄活動(dòng)。然后，計(jì)算機(jī)僅利用神經(jīng)數(shù)據(jù)重建了錄音中的數(shù)字。計(jì)算機(jī)“讀出”人們腦海中數(shù)字的準(zhǔn)確度高達(dá)75％。

德國(guó)不來(lái)梅大學(xué)神經(jīng)科學(xué)家Miguel Angrick和荷蘭馬斯特里赫特大學(xué)神經(jīng)科學(xué)家Christian Herff領(lǐng)導(dǎo)的另一個(gè)團(tuán)隊(duì)，則采用了6名接受腦腫瘤手術(shù)志愿者的數(shù)據(jù)。他們捕捉到這些患者朗讀單音節(jié)詞的聲音，同時(shí)電極還記錄下大腦的語(yǔ)音規(guī)劃區(qū)域和運(yùn)動(dòng)區(qū)域活動(dòng)。神經(jīng)網(wǎng)絡(luò)將電極讀數(shù)映射到音頻記錄，然后根據(jù)先前的腦數(shù)據(jù)重建單詞。根據(jù)計(jì)算機(jī)化的評(píng)分系統(tǒng)，大約40％的生成單詞能夠被理解。

最后，加州大學(xué)舊金山分校神經(jīng)外科醫(yī)生Edward Chang和他的團(tuán)隊(duì)重建了3名癲癇患者大聲朗讀時(shí)，在他們的語(yǔ)言和運(yùn)動(dòng)區(qū)域捕獲的完整句子。在測(cè)試中，166人需要從10個(gè)書(shū)面語(yǔ)句中選擇出一句他們聽(tīng)過(guò)的句子，識(shí)別句子的正確率達(dá)到了80%。

研究人員還進(jìn)一步改善了模型：通過(guò)人們默讀時(shí)記錄的數(shù)據(jù)重建句子。Herff表示，這是一個(gè)重要的研究成果，“使得識(shí)別語(yǔ)音技術(shù)又進(jìn)一步”。

然而，加州圣地亞哥州立大學(xué)研究語(yǔ)言生成的神經(jīng)科學(xué)家StephanieRiès表示，“我們真正需要解決的問(wèn)題是當(dāng)患者不能說(shuō)話時(shí)，以上這些方法的表現(xiàn)如何?！碑?dāng)一個(gè)人安靜地“說(shuō)話”或“聽(tīng)到”自己的聲音時(shí)，大腦發(fā)出的信號(hào)與說(shuō)話或聽(tīng)到的信號(hào)并不相同。如果沒(méi)有與大腦活動(dòng)相匹配的外部聲音，計(jì)算機(jī)甚至可能很難分辨出內(nèi)部語(yǔ)言的開(kāi)始和結(jié)束。

紐約州衛(wèi)生局國(guó)家適應(yīng)神經(jīng)技術(shù)中心神經(jīng)工程師Gerwin Schalk表示，解碼想象中的語(yǔ)音需要“一個(gè)巨大的飛躍，我們真的不清楚該怎么做”。