本文是平安科技發(fā)表在ACL2020上的一篇論文,思路比較新穎,它將ERC任務(wù)看做序列標(biāo)注任務(wù),并對(duì)情感一致性進(jìn)行建模。
之前解決ERC的思路是利用上下文的話語(yǔ)特征預(yù)測(cè)對(duì)話中單個(gè)話語(yǔ)的情感標(biāo)簽,但是這樣做忽略了情感標(biāo)簽之間的固有關(guān)系。本在本文中,作者提出了一種將情感分類看作序列標(biāo)注的模型。對(duì)于給定的會(huì)話,我們考慮附近的情感標(biāo)簽之間的關(guān)系,而不是獨(dú)立地預(yù)測(cè)話語(yǔ)的情感標(biāo)簽,并一次性為整個(gè)會(huì)話選擇全局最佳的標(biāo)簽序列。**情感一致性(emotional consistency)**就是指說話者下一句話的情感與這一句話的情感呈現(xiàn)出一致性。
本文的貢獻(xiàn)
第一次將ERC任務(wù)建模為序列標(biāo)記,并用CRF建模會(huì)話中的情感一致性。CRF層利用上文和下文的情感標(biāo)簽來聯(lián)合解碼整個(gè)對(duì)話的最佳標(biāo)簽序列。
應(yīng)用多層Transformer編碼器來增強(qiáng)基于LSTM的全局上下文編碼器,這是因?yàn)樵谶h(yuǎn)距離上下文特征抽取方面,Transformer的抽取能力遠(yuǎn)強(qiáng)于LSTM。
本文在三個(gè)對(duì)話數(shù)據(jù)集上做了實(shí)驗(yàn),實(shí)驗(yàn)表明對(duì)情感一致性和遠(yuǎn)程上下文依賴關(guān)系進(jìn)行建??梢蕴岣咔楦蟹诸惖男阅?。
模型
作者提出了Contextualized Emotion Sequence Tagging(CESTa)模型
話語(yǔ)特征提取(Utterances Features)
對(duì)于對(duì)話中的第t個(gè)話語(yǔ),其句子表示**ut**由單層CNN提取并饋入全局上下文編碼器和個(gè)人上下文編碼器。
全局上下文編碼器(Global Context Encoder)
說話者之間的依賴關(guān)系對(duì)于對(duì)話中的情感動(dòng)態(tài)至關(guān)重要,比如當(dāng)前說話者的情緒可以被對(duì)方的話語(yǔ)改變,因此必須考慮上下文信息。全局上下文編碼器對(duì)所有句子編碼,使用的是多層Transformer + BiLSTM,意在捕捉長(zhǎng)距離上下文信息。
個(gè)人上下文編碼器(Individual Context Encoder)
個(gè)人上下文編碼器會(huì)跟蹤每個(gè)說話者的自我依賴關(guān)系,從而反映出說話者在談話過程中對(duì)自己的情感影響。在情感慣性的影響下,說話者傾向于保持穩(wěn)定的情緒狀態(tài),直到對(duì)方導(dǎo)致變化。
本層采用的是LSTM作為個(gè)人上下文編碼器,在每個(gè)時(shí)間步輸出所有說話者的狀態(tài)。
CRF層
全局上下文編碼器的輸出gt和個(gè)人上下文編碼器的輸出st做一個(gè)拼接操作經(jīng)過全連接層送入CRF層產(chǎn)生最終的預(yù)測(cè),并選擇選擇最大分?jǐn)?shù)的序列作為輸出。
實(shí)驗(yàn)
作者在三個(gè)對(duì)話數(shù)據(jù)集上開展了實(shí)驗(yàn)
與baseline相比,本文的模型在三個(gè)數(shù)據(jù)集上均取得了SOTA結(jié)果
研究Transformer Enhancing在不同長(zhǎng)度對(duì)話上的表現(xiàn)
作者在IEMOCAP數(shù)據(jù)集上對(duì)比了CESTa模型與去掉Transformer的模型變體做了對(duì)比,從下圖可以看出,當(dāng)數(shù)據(jù)集中話語(yǔ)長(zhǎng)度超過54時(shí),兩者之間的差距變大,體現(xiàn)出了Transformer在捕捉長(zhǎng)距離上下文特征的能力。
情感一致性分析
作者在IEMOCAP數(shù)據(jù)集上檢驗(yàn)了情感一致性,比較了兩個(gè)模型,一個(gè)是帶有CRF層的CESTa模型,另一個(gè)是使用softmax層而不是CRF進(jìn)行分類的對(duì)比模型,從下圖可以看出CESTa模型較好地學(xué)習(xí)了情感一致性。
責(zé)任編輯:xj
原文標(biāo)題:【ACL2020】CESTa, 將對(duì)話中的情感分類任務(wù)建模為序列標(biāo)注任務(wù)
文章出處:【微信公眾號(hào):深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
情感識(shí)別
+關(guān)注
關(guān)注
1文章
10瀏覽量
7535 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5439瀏覽量
120794 -
nlp
+關(guān)注
關(guān)注
1文章
483瀏覽量
21974
原文標(biāo)題:【ACL2020】CESTa, 將對(duì)話中的情感分類任務(wù)建模為序列標(biāo)注任務(wù)
文章出處:【微信號(hào):zenRRan,微信公眾號(hào):深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論