Facebook最新麥克風(fēng)提供聲音分離可增強(qiáng)虛擬現(xiàn)實(shí)

Facebook人工智能團(tuán)隊(duì)日前介紹了一種由單個(gè)麥克風(fēng)同時(shí)分離多達(dá)五種聲音的方法。所述方法在多個(gè)語(yǔ)音源分離基準(zhǔn)（包括具有挑戰(zhàn)性的噪聲和混響的基準(zhǔn)測(cè)試）測(cè)試中優(yōu)于以往的方法。利用WSJ0-2mix和WSJ0-3mix數(shù)據(jù)集，以及通過(guò)四個(gè)和五個(gè)共時(shí)揚(yáng)聲器的變體，模型在尺度不變信噪比（分離質(zhì)量的常用度量）方面比當(dāng)前最先進(jìn)的模型提高了1.5 dB（分貝）以上。

為了建立所述的模型，團(tuán)隊(duì)使用了一種直接作用于原始音頻波形的全新遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。以前最好的模型主要是利用遮罩和解碼器來(lái)對(duì)每個(gè)說(shuō)話人的聲音進(jìn)行分類。當(dāng)揚(yáng)聲器數(shù)目較多或未知時(shí)，這類模型的性能會(huì)迅速下降。

與標(biāo)準(zhǔn)語(yǔ)音分離系統(tǒng)一樣，F(xiàn)acebook人工智能團(tuán)隊(duì)的模型要求事先知道說(shuō)話人的總數(shù)。但為了應(yīng)對(duì)未知說(shuō)話人數(shù)量所帶來(lái)的挑戰(zhàn)，研究人員構(gòu)建了一個(gè)新的系統(tǒng)來(lái)自動(dòng)檢測(cè)說(shuō)話人數(shù)量，并選擇最相關(guān)的模型。

1. 工作原理

語(yǔ)音分離模型的主要目標(biāo)是，當(dāng)給定一個(gè)輸入混合語(yǔ)音信號(hào)時(shí)，估計(jì)輸入源并為每個(gè)說(shuō)話人生成一個(gè)單獨(dú)信道輸出。

所述模型使用了一個(gè)將輸入信號(hào)映射到一個(gè)潛在表示的編碼器網(wǎng)絡(luò)。團(tuán)隊(duì)?wèi)?yīng)用一個(gè)由多個(gè)區(qū)塊組成的語(yǔ)音分離網(wǎng)絡(luò)，其中輸入為潛在表示，輸出為每個(gè)說(shuō)話人的估計(jì)信號(hào)。以前的方法通常在執(zhí)行分離時(shí)使用遮罩，但當(dāng)遮罩未定義，并且在處理過(guò)程中可能丟失一定的信號(hào)信息時(shí)，問(wèn)題就會(huì)出現(xiàn)。

研究人員通過(guò)置換不變訓(xùn)練來(lái)訓(xùn)練模型并利用多個(gè)損失函數(shù)直接優(yōu)化信噪比。團(tuán)隊(duì)在每個(gè)分離區(qū)塊后插入一個(gè)損失函數(shù)，從而進(jìn)一步改進(jìn)優(yōu)化過(guò)程。最后，為了確保每個(gè)說(shuō)話人一致地映射到特定的輸出信道，F(xiàn)acebook使用預(yù)先訓(xùn)練的說(shuō)話人識(shí)別模型來(lái)添加感知損失函數(shù)。

團(tuán)隊(duì)同時(shí)構(gòu)建了一個(gè)處理未知數(shù)量說(shuō)話人的分離的新系統(tǒng)。對(duì)于新系統(tǒng)，其主要是通過(guò)訓(xùn)練不同的模型來(lái)分離兩個(gè)、三個(gè)、四個(gè)和五個(gè)說(shuō)話人。研究人員將輸入混合輸入輸入到設(shè)計(jì)為最多可容納5個(gè)共時(shí)說(shuō)話人的模型中，以便它能夠檢測(cè)到當(dāng)前活動(dòng)（非靜止）信道的數(shù)量。然后，F(xiàn)acebook用一個(gè)訓(xùn)練模型重復(fù)同樣的過(guò)程，并檢查是否所有的輸出信道都為活動(dòng)。重復(fù)這個(gè)過(guò)程，直到所有信道都被激活，或者找到目標(biāo)說(shuō)話人數(shù)量最少的模型。

2. 意義

從多人對(duì)話中分離出單個(gè)語(yǔ)音的能力可以改善和增強(qiáng)我們通過(guò)各種應(yīng)用實(shí)現(xiàn)的日常交流，例語(yǔ)音消息、數(shù)字助手和視頻工具，以及AR/VR語(yǔ)音交互創(chuàng)新。它同時(shí)可以提高需要聽(tīng)力輔助的人群的體驗(yàn)，這樣他們?cè)趽頂D嘈雜的環(huán)境中都能更清晰地聽(tīng)到其他人地聲音，如聚會(huì)或餐廳等等。

除了分離不同的聲音之外，這個(gè)新系統(tǒng)同時(shí)可以應(yīng)用于從混合聲音（如背景噪聲）中分離其他類型的語(yǔ)音信號(hào)。另外，這項(xiàng)研究可以應(yīng)用到音樂(lè)錄音，改進(jìn)以前從單一音頻文件分離不同樂(lè)器的研究。Facebook表示，下一步將致力于改進(jìn)模型的生成屬性，直到它能夠在現(xiàn)實(shí)世界條件中實(shí)現(xiàn)高性能為止。