用于語音情緒識別的基于對抗學(xué)習(xí)的說話人無關(guān)的表示

1. 用于語音情緒識別的基于對抗學(xué)習(xí)的說話人無關(guān)的表示

嘗試解決的問題：

在語音情緒識別任務(wù)中，會面臨到要測試的說話人未出現(xiàn)在訓(xùn)練集中的這個問題，本文嘗試運(yùn)用TDNN+LSTM作為特征提取部分，再通過對抗學(xué)習(xí)的方法來做到讓模型可以對說話人身份不敏感，從模型上來說，該對抗訓(xùn)練的思想就是將特征提取器提取到的特征同時輸入到說話人身份分類器和情緒識別分類器，對抗訓(xùn)練的損失函數(shù)是讓說話人身份分類器的損失達(dá)到最大，讓情緒識別分類器的損失達(dá)到最小，這樣以后，無論是哪個說話人的語音，經(jīng)過特征提取那部分以后，就沒有身份這一區(qū)別了。

如果有讀者閱讀過論文《Domain adversarial training of neural networks》，那么對DAT這個名詞就不陌生了，即遷移學(xué)習(xí)中的跨域?qū)W習(xí)，比如我現(xiàn)在有A領(lǐng)域的數(shù)據(jù)，并且該數(shù)據(jù)已經(jīng)被標(biāo)記好類別，同時也有B領(lǐng)域數(shù)據(jù)，但是未進(jìn)行標(biāo)記，如果我希望充分利用B數(shù)據(jù)，目標(biāo)是進(jìn)行分類，該怎么利用呢？我們只需要三個模塊結(jié)合對抗學(xué)習(xí)即可完成，分別是特征提取器+域識別器+分類器，當(dāng)域識別器已經(jīng)無法正確判斷的時候，說明特征提取器已經(jīng)完成了身份融合的效果，這個時候訓(xùn)練分類器即可。

在本篇語音情緒識別中，作者所提出的模型如下圖所示，輸入音頻的MFCC特征經(jīng)過TDNN網(wǎng)絡(luò)（由卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)）和BiLSTM網(wǎng)絡(luò)得到新的特征分布，再將此特征分布同時輸送到情緒識別器得到情緒種類y和說話人身份識別器得到身份s。

作者嘗試運(yùn)用了兩種訓(xùn)練方法，一種是domain adversial training，即DAT；另一種是cross gradient training，即CGT。下面我將分別解釋這兩種訓(xùn)練算法。

DAT

如前所述，DAT是通過對抗學(xué)習(xí)來使得網(wǎng)絡(luò)具備跨域的能力，其損失函數(shù)如下，可以看到，對于身份識別器而言，它的損失函數(shù)前面乘了一個因子并且取了負(fù)號，這使得網(wǎng)絡(luò)可以具備身份融合的作用，從而專注于情緒分類。

CGT

CGT是另外一種解決跨域?qū)W習(xí)的數(shù)據(jù)增強(qiáng)技巧，它通過將梯度傳到輸入數(shù)據(jù)上，于是情緒識別網(wǎng)絡(luò)可以訓(xùn)練原數(shù)據(jù)和增強(qiáng)后的數(shù)據(jù)，這樣就可以使得模型具備學(xué)習(xí)跨域的變化特征進(jìn)而可以適應(yīng)未知的測試數(shù)據(jù)集。CGT的數(shù)據(jù)增強(qiáng)技巧和損失函數(shù)如下，其中前兩項是增強(qiáng)后的新數(shù)據(jù)，最后是參數(shù)更新公式。

作者基于本模型和兩種訓(xùn)練技巧分別在IEMOCAP數(shù)據(jù)集和SpeechOcean中文大數(shù)據(jù)集上做了測試，所用的具體模型結(jié)構(gòu)如下所示，實驗結(jié)果表明，在IEMOCAP小數(shù)據(jù)集上，相比于基線模型，DAT提高了5.6%，CGT提高了7.4%；但是在SpeechOcean 250說話人的中文大數(shù)據(jù)集上，DAT提高了9.8%，CGT的性能不及基線模型。

同時，作者畫出了通過DAT訓(xùn)練的經(jīng)過特征提取器得到的特征分布的t-SNE降維表示，如下圖所示，左邊是情緒類別，右邊是身份類別，可以看到身份標(biāo)簽已經(jīng)很好地被融合在一起。

2. 基于濾波和深度神經(jīng)網(wǎng)絡(luò)的聲源增強(qiáng)

參考文獻(xiàn):

data-driven design of perfect reconstruction filterbank for dnn-based sound source enhancement

鏈接：

https://arxiv.org/abs/1903.08876

單位：

早稻田大學(xué) & 日本電話電報公司

嘗試解決的問題：

傳統(tǒng)的聲源增強(qiáng)（Sound-source enhancement，SSE）的做法是首先將含噪音的信號進(jìn)行STFT變換得到時頻圖，再借助深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征變換，將得到的新的時頻圖與目標(biāo)時頻圖進(jìn)行求均方差，基于此均方差來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的參數(shù)。訓(xùn)練好網(wǎng)絡(luò)以后，將推理得到的時頻圖通過ISTFT變換到音頻，即可得到增強(qiáng)的音頻信號。這種做法的缺點(diǎn)按照文中的描述就是：

For example, MSE assumes that the error of all frequency bins has zero means and uniform variance, which cannot be met in usual situations, unfortunately.

按照筆者的理解就是訓(xùn)練均方差目標(biāo)函數(shù)得確保數(shù)據(jù)中每個頻率倉的均值和方差一樣，因為只有這樣訓(xùn)練才比較有效參數(shù)才可以穩(wěn)定地更新，但是實際上，我們在計算STFT的時候，并沒有考慮到所有音頻的個體差異，本文嘗試解決的就是這里的維度上的統(tǒng)計均勻的問題，DNN的框架是沒有變的，整體框架可以參見下圖的對比：

首先，傳統(tǒng)的STFT算法作用到一個信號x上可以用如下公式描述：

這里得到的X就是該信號的時頻信息，其中ω是頻率索引，k是幀索引。我們知道，X是由目標(biāo)信號和噪音信號共同組成的，根據(jù)傅里葉變換的可加性，可知：

為了得到目標(biāo)時頻，我們在X[ω,k]的基礎(chǔ)上作用一個T-F遮罩G[ω,k]，該T-F遮罩一般使用深度神經(jīng)網(wǎng)絡(luò)M來實現(xiàn)，于是整個模型的損失函數(shù)可以寫成如下形式：

但是基于MSE的訓(xùn)練算法有一個數(shù)據(jù)上的缺陷，因為MSE的前提假設(shè)是各個維度的數(shù)據(jù)分布要保持一致，但這在實際中是很難保證的，因無論是聲源還是噪聲都有著不均勻的頻譜分布，舉個例子，由于高頻區(qū)域音頻較少，功率譜較小，誤差變化比較小，因而高頻區(qū)域要比低頻區(qū)域更難訓(xùn)練。這個時候，對損失函數(shù)做一個加權(quán)是合理的想法，該權(quán)重應(yīng)該是自適應(yīng)頻率的，并且與頻率誤差的標(biāo)準(zhǔn)差成反比，也就是說誤差標(biāo)準(zhǔn)差越小的頻率，我們需要多重視一下它的損失函數(shù)。

其中，權(quán)重的計算公式如下：

但是這樣又帶來一個問題，因為功率譜較小的頻率區(qū)域權(quán)重比較大，故模型對那些區(qū)域的噪聲特別敏感，那么，算法的有效性就降低了。

本文作者提出的改進(jìn)的思路是保持損失函數(shù)不變，而對STFT部分進(jìn)行改進(jìn)，公式如下，作者將原公式中的ω定義成了φ(ω)的倒數(shù)的形式，這樣就可以自定義頻率的量級，這里的φ函數(shù)稱之為頻率扭曲函數(shù)。

那么如何設(shè)計這里的頻率扭曲函數(shù)φ呢？通過對誤差的功率譜密度進(jìn)行累計求和，依次從低頻到高頻，并加上一個規(guī)則化因子：

本文中所用的特征變換網(wǎng)絡(luò)的結(jié)構(gòu)如下表所示，分別是全連接神經(jīng)網(wǎng)絡(luò)+兩層雙向LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)+全連接分類網(wǎng)絡(luò)，以輸出目標(biāo)頻譜。

最后作者將此模型運(yùn)用到以WSJ-0作為目標(biāo)數(shù)據(jù)集，以CHiME-3作為噪聲來源所構(gòu)成的四套數(shù)據(jù)上，即通過構(gòu)建含噪音頻-清晰音頻配對來作為訓(xùn)練樣本，得到的實驗結(jié)果如下，圖中的數(shù)值代表信噪比，數(shù)值越大，表明信噪比越高，即增強(qiáng)效果越好。

總體而言，這篇文章是基于平行語料和深度神經(jīng)網(wǎng)絡(luò)，對語音增強(qiáng)中的輸入頻譜的預(yù)處理算法進(jìn)行改進(jìn)，以解決基于均方差訓(xùn)練中可能會出現(xiàn)的訓(xùn)練不穩(wěn)定的問題。以后的推送中將會看到，對于語音增強(qiáng)或語音分離，我們甚至可以采用非平行語料來做。

3. 用于語音韻律、頻譜可視化的在線網(wǎng)頁平臺

參考文獻(xiàn):

CRAFT: A Multifunction Online Platform for Speech Prosody Visualisation

鏈接：

https://arxiv.org/abs/1903.08718

單位：

比勒費(fèi)爾德大學(xué)

demo體驗網(wǎng)址：

http://wwwhomes.uni-bielefeld.de/gibbon/CRAFT/

嘗試解決的問題：

提供一個更加友好的基頻（各種不同的實現(xiàn)算法）、頻譜包絡(luò)可視化對比的在線平臺。

這里我們先回顧幾個聲學(xué)頻譜分析中的概念：

基頻：一般我們對一個音頻作短時傅里葉變化并畫出時頻圖的時候，時頻圖上會出現(xiàn)很多條橫條紋，而頻率范圍最小的那個橫條紋一般可以認(rèn)為就是基頻的值；

諧波：除了基頻那個橫條紋以外，其他橫條紋就是各次諧波；

共振峰：頻譜上包絡(luò)的峰值；

本文中介紹的demo如下圖所示，其中包含基頻估計的參數(shù)設(shè)計、振幅和頻率調(diào)制、頻率解調(diào)制、濾波等可視化窗口。