6月15日消息,谷歌最近正在將其語音匹配功能運(yùn)用在更多設(shè)備上。
谷歌幾周前增加了“使用語音匹配功能來確認(rèn)在Assistant中付款”的選項(xiàng),根據(jù)9to5Google的發(fā)現(xiàn),該語音匹配功能或許會(huì)有另一種實(shí)現(xiàn)方式——在Android TV上“搜索”應(yīng)用程序的最新更新的代碼中,有幾行代碼暗示該服務(wù)將來可能會(huì)出現(xiàn)“語音匹配”。
Android TV或?qū)⒛苁褂霉雀枵Z音匹配功能
語音匹配助手可以識(shí)別用戶的身份,它將會(huì)截取用戶的語音片段,以形成唯一的語音模型,該模型僅存儲(chǔ)在用戶的設(shè)備上。用戶的語音模型可能會(huì)臨時(shí)發(fā)送給谷歌,以更好地識(shí)別語音。如果用戶此后決定不使用“語音匹配”功能,只需將其從“助手設(shè)置”中刪除即可。該語音匹配功能在許多情況下可能會(huì)有所幫助,例如啟動(dòng)與特定語音相關(guān)聯(lián)的Netflix或Stadia賬戶。
不過,幾行代碼并不一定意味著谷歌的語音匹配功能將會(huì)在Android TV上出現(xiàn),但這仍然是一個(gè)有力的暗示。該公司顯然正在嘗試統(tǒng)一其平臺(tái)上的功能,并且向Android TV添加語音匹配支持只是此過程的一個(gè)步驟。
傳統(tǒng)的說話人分類系統(tǒng)依賴于人聲的聲學(xué)差異識(shí)別出對話中不同的說話人。根據(jù)男人和女人的音高,僅僅使用簡單的聲學(xué)模型,就可以在一步中相對容易地將他們區(qū)分開來。然而,想要區(qū)分處音高可能相近的說話者,說話者分類系統(tǒng)就需要使用多步方法了。首先,基于檢測到的人聲特征,使用一個(gè)變化檢測算法將對話切分成均勻的片段,我們希望每段僅僅包含一個(gè)說話人。接著,使用一個(gè)深度學(xué)習(xí)模型將上述說話人的聲音片段映射到一個(gè)嵌入向量上。最后,在聚類階段,會(huì)對上述嵌入聚類在不同的簇中,追蹤對話中的同一個(gè)說話人。
在真實(shí)場景下,說話人分類系統(tǒng)與聲學(xué)語音識(shí)別(ASR)系統(tǒng)會(huì)并行化運(yùn)行,這兩個(gè)系統(tǒng)的輸出將會(huì)被結(jié)合,從而為識(shí)別出的單詞分配標(biāo)簽。傳統(tǒng)的說話人分類系統(tǒng)在聲學(xué)域中進(jìn)行推斷,然后將說話人標(biāo)簽覆蓋在由獨(dú)立的 ASR 系統(tǒng)生成的單詞上。這種方法存在很多不足,阻礙了該領(lǐng)域的發(fā)展。
我們需要將對話切分成僅僅包含以為說話人的語音的片段。否則,根據(jù)這些片段生成的嵌入就不能準(zhǔn)確地表征說話人的聲學(xué)特征。然而,實(shí)際上,這里用到的變化檢測算法并不是十全十美的,會(huì)導(dǎo)致分割出的片段可能包含多位說話人的語音。聚類階段要求說話人的數(shù)量已知,并且這一階段對于輸入的準(zhǔn)確性十分敏感。
系統(tǒng)需要在用于估計(jì)人聲特征的片段大小和期望的模型準(zhǔn)確率之間做出艱難的權(quán)衡。片段越長,人聲特征的質(zhì)量就越高,因?yàn)榇藭r(shí)模型擁有更多關(guān)于說話人的信息。這然而,這就帶來了將較短的插入語分配給錯(cuò)誤的說話人的風(fēng)險(xiǎn)。這將產(chǎn)生非常嚴(yán)重的后果,例如,在處理臨床醫(yī)學(xué)或金融領(lǐng)域的對話的環(huán)境下,我們需要準(zhǔn)確地追蹤肯定和否定的陳述。
傳統(tǒng)的說話人分類系統(tǒng)并沒有一套方便的機(jī)制,從而利用在許多自然對話中非藏明顯的語言學(xué)線索。例如,“你多久服一次藥?”在臨床對話中最有可能是醫(yī)護(hù)人員說的,而不會(huì)是病人說的。類似地,“我們應(yīng)該什么時(shí)候上交作業(yè)?”則最有可能是學(xué)生說的,而不是老師說的。語言學(xué)的線索也標(biāo)志著說話人有很高的概率發(fā)生了改變(例如,在一個(gè)問句之后)。
然而,傳統(tǒng)的說話人分類系統(tǒng)也有一些性能較好的例子,在谷歌此前發(fā)布的一篇博文中就介紹了其中之一。在此工作中,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的隱藏狀態(tài)會(huì)追蹤說話人,克服了聚類階段的缺點(diǎn)。而本文提出的模型則采用了不容的方法,引入了語言學(xué)線索。
我們研發(fā)出了一種簡單的新型模型,該模型不僅完美地融合了聲學(xué)和語音線索,而且將說話人分類和語音識(shí)別任務(wù)融合在了同一個(gè)系統(tǒng)中。相較于相同環(huán)境下僅僅進(jìn)行語音識(shí)別的系統(tǒng)相比,這個(gè)集成模型并沒有顯著降低語音識(shí)別性能。
我們意識(shí)到,很關(guān)鍵的一點(diǎn)是:RNN-T 架構(gòu)非常適用于集成聲學(xué)和語言學(xué)線索。RNN-T 模型由三個(gè)不同的網(wǎng)絡(luò)組成:(1)轉(zhuǎn)錄網(wǎng)絡(luò)(或稱編碼器),將聲幀映射到一個(gè)潛在表征上。(2)預(yù)測網(wǎng)絡(luò),在給定先前的目標(biāo)標(biāo)簽的情況下,預(yù)測下一個(gè)目標(biāo)標(biāo)簽。(3)級(jí)聯(lián)網(wǎng)絡(luò),融合上述兩個(gè)網(wǎng)絡(luò)的輸出,并在該時(shí)間步生成這組輸出標(biāo)簽的概率分布。
在圖形處理單元(GPU)或張量處理單元(TPU)這樣的加速器上訓(xùn)練 RNN-T 并不是一件容易的事,這是因?yàn)閾p失函數(shù)的計(jì)算需要運(yùn)行“前向推導(dǎo)-反向傳播”算法,該過程涉及到所有可能的輸入和輸出序列的對齊。最近,該問題在一種對 TPU 友好的“前向-后向”算法中得到了解決,它將該問題重新定義為一個(gè)矩陣乘法的序列。我們還利用了TensorFlow 平臺(tái)中的一個(gè)高效的 RNN-T 損失的實(shí)現(xiàn),這使得模型開發(fā)可以迅速地進(jìn)行迭代,從而訓(xùn)練了一個(gè)非常深的網(wǎng)絡(luò)。
這個(gè)集成模型可以直接像一個(gè)語音識(shí)別模型一樣訓(xùn)練。訓(xùn)練使用的參考譯文包含說話人所說的單詞,以及緊隨其后的指定說話人角色的標(biāo)簽。例如,“作業(yè)的截止日期是什么時(shí)候?”《學(xué)生》,“我希望你們在明天上課之前上交作業(yè)”《老師》。當(dāng)模型根據(jù)音頻和相應(yīng)的參考譯文樣本訓(xùn)練好之后,用戶可以輸入對話記錄,然后得到形式相似的輸出結(jié)果。我們的分析說明,RNN-T 系統(tǒng)上的改進(jìn)會(huì)影響到所有類型的誤差率(包括較快的說話者轉(zhuǎn)換,單詞邊界的切分,在存在語音覆蓋的情況下錯(cuò)誤的說話者對齊,以及較差的音頻質(zhì)量)。此外,相較于傳統(tǒng)的系統(tǒng),RNN-T 系統(tǒng)展現(xiàn)出了一致的性能,以每段對話的平均誤差作為評價(jià)指標(biāo)時(shí),方差有明顯的降低。
傳統(tǒng)系統(tǒng)和 RNN-T 系統(tǒng)錯(cuò)誤率的對比,由人類標(biāo)注者進(jìn)行分類。此外,該集成模型還可以預(yù)測其它一些標(biāo)簽,這些標(biāo)簽對于生成對讀者更加友好的 ASR 譯文是必需的。例如,我們已經(jīng)可以使用匹配好的訓(xùn)練數(shù)據(jù),通過標(biāo)點(diǎn)符號(hào)和大小寫標(biāo)志,提升譯文質(zhì)量。相較于我們之前的模型(單獨(dú)訓(xùn)練,并作為一個(gè) ASR 的后處理步驟),我們的輸出在標(biāo)點(diǎn)符號(hào)和大小寫上的誤差更小。
責(zé)任編輯:gt
-
Android
+關(guān)注
關(guān)注
12文章
3908瀏覽量
126917 -
谷歌
+關(guān)注
關(guān)注
27文章
6105瀏覽量
104796
發(fā)布評論請先 登錄
相關(guān)推薦
評論