Google 的研究人員創(chuàng)建了一個(gè)視聽(tīng)模型,可以通過(guò)算法將視頻中的多個(gè)聲音分離,得到一個(gè)清晰的單個(gè)語(yǔ)音。
一位二次元朋友說(shuō)他有一種能力,就是在 B 站開(kāi)彈幕看視頻時(shí),想看視頻就看視頻,想看彈幕就看彈幕,兩者可以自動(dòng)分離,不會(huì)互相干擾。類似的,人類在聽(tīng)覺(jué)上也有一種選擇能力,就是人在集中注意力聽(tīng)某個(gè)聲音時(shí),可以自動(dòng)忽略其他聲音或噪音,感覺(jué)像是把要聽(tīng)的聲音放大了一樣,這種現(xiàn)象叫做雞尾酒會(huì)效應(yīng)。
這種能力對(duì)我們來(lái)說(shuō)好像很自然,但對(duì)于計(jì)算機(jī)可是個(gè)不小的挑戰(zhàn)。最近,Google 的研究人員創(chuàng)建了一個(gè)視聽(tīng)模型,可以通過(guò)算法將視頻中的多個(gè)聲音分離,得到一個(gè)清晰的單個(gè)語(yǔ)音。簡(jiǎn)單來(lái)說(shuō),你可以選擇只聽(tīng)視頻中某個(gè)人講話的聲音,而不用擔(dān)心被干擾。
結(jié)合視覺(jué)聽(tīng)覺(jué)信號(hào),識(shí)別并分離音軌
利用這種技術(shù)制作的視頻可以將特定人物的聲音增強(qiáng),把其他無(wú)關(guān)的聲音去掉。在普通的單音軌視頻中,用戶可以點(diǎn)擊自己想關(guān)注的人物,或者算法會(huì)結(jié)合上下段內(nèi)容來(lái)自動(dòng)選擇突出誰(shuí)的聲音。這項(xiàng)技術(shù)可以用于增強(qiáng)視頻中的語(yǔ)音,提高視聽(tīng)效果。
這項(xiàng)技術(shù)的原理是結(jié)合視頻中的聽(tīng)覺(jué)和視覺(jué)信號(hào),以此來(lái)識(shí)別并分離語(yǔ)音。就像識(shí)別唇語(yǔ)的原理一樣,一個(gè)人說(shuō)話時(shí)發(fā)出的聲音和他嘴部的運(yùn)動(dòng)存在某種關(guān)聯(lián),所以可以利用這一點(diǎn),來(lái)辨別某段聲音是誰(shuí)發(fā)出的。在視覺(jué)信號(hào)的幫助下,即使是在多種聲音混雜的環(huán)境中,單個(gè)聲音的特征也變得更明顯,更重要的是,你還可以在聽(tīng)到清晰聲音的同時(shí)看到人嘴部的運(yùn)動(dòng),更容易接收并理解信息。
研究人員用 10 萬(wàn)個(gè)高質(zhì)量的 YouTube 視頻為樣本,從視頻中提取清晰的演講片段,沒(méi)有背景音樂(lè)、沒(méi)有觀眾鼓掌、沒(méi)有噪音,并且視頻中只有一個(gè)說(shuō)話的人。他們共提取出 2000 個(gè)小時(shí)的訓(xùn)練數(shù)據(jù),用這些干凈的視頻來(lái)合成“雞尾酒會(huì)”的效果。這樣就可以訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型,將合成的視頻分離出多個(gè)單獨(dú)的音軌,也就是每個(gè)人單獨(dú)的聲音。將每一幀中嘴部運(yùn)動(dòng)的視覺(jué)信息提取出來(lái),然后找到聲譜圖中對(duì)應(yīng)的部分。這樣就可以訓(xùn)練神經(jīng)網(wǎng)絡(luò),從聲音混雜的視頻中,根據(jù)人的嘴部運(yùn)動(dòng)來(lái)提取對(duì)應(yīng)的聲音碎片,最后輸出成具有單獨(dú)聲音軌道的視頻,每一個(gè)人的聲音都可以進(jìn)行單獨(dú)播放。
可以提高語(yǔ)音識(shí)別能力
這個(gè)黑科技在語(yǔ)音識(shí)別中尤其有用,比如 YouTube 自己的自動(dòng)字幕,如果視頻中有多種聲音混合,字幕就很難準(zhǔn)確顯示,而如果這幾種聲音能夠單獨(dú)分離播放,對(duì)應(yīng)的字幕也就更準(zhǔn)確,用戶也更容易理解。再往遠(yuǎn)處想,這項(xiàng)技術(shù)可以運(yùn)用到 Google Glass 這樣的智能眼鏡中,即使是在紛雜世界,你也可以只關(guān)注想關(guān)注的人,只聽(tīng) Ta 的聲音。除此之外,帶視頻能力的智能音箱可能是未來(lái)的大趨勢(shì),有了語(yǔ)音分離能力,語(yǔ)音識(shí)別的能力也會(huì)更精準(zhǔn)、更強(qiáng)大。
這種強(qiáng)大的能力也可能帶來(lái)隱私問(wèn)題,比如間諜電影中經(jīng)常見(jiàn)到的天眼系統(tǒng),如果再搭配語(yǔ)音分離的能力,豈不是可以做到視聽(tīng)上的全能?不過(guò)想達(dá)到那樣的效果,識(shí)別能力就要很精準(zhǔn)了。在此之前它的應(yīng)用可能只是 Google 自己的產(chǎn)品,比如增強(qiáng)視頻智能音箱的語(yǔ)音識(shí)別能力,還有讓 YouTube 的自動(dòng)字幕更智能。
-
Google
+關(guān)注
關(guān)注
5文章
1752瀏覽量
57334 -
谷歌
+關(guān)注
關(guān)注
27文章
6106瀏覽量
104829
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論