分享一種情感分析的解決方案

情感分析是比較復(fù)雜和高階的AI應(yīng)用，在AI和人的交互過程中，能夠準(zhǔn)確地把握人的情感狀態(tài)，從而極大地提升AI產(chǎn)品體驗(yàn)，對質(zhì)檢、對話交互、風(fēng)控、輿論監(jiān)督等都有著重要意義。本次技術(shù)分享要點(diǎn)

1、情感分析基礎(chǔ)知識(shí)與應(yīng)用場景

2、情感分析落地應(yīng)用中三個(gè)挑戰(zhàn)，如何利用多模態(tài)信息提升效果、如何利用領(lǐng)域遷移技術(shù)減少標(biāo)注量以及如何利用細(xì)粒度情感分析為用戶提供更加實(shí)用的情感分析結(jié)果

3、追一科技情感分析解決方案

情感分析技術(shù)介紹

什么是情感分析

情感是人對客觀事物所持的態(tài)度。最簡單的情感可以分為積極（正向）、消極（負(fù)向）、中性，又稱為情緒。除了中性外，更多樣化的情感又可細(xì)分為：喜、怒、憂、悲、恐、驚等。這些情感不僅構(gòu)成了人與人之間溝通交流的多樣性，也包含了豐富的信息，幫助我們了解目標(biāo)對象在特定場景下的狀態(tài)以及對相關(guān)事務(wù)的態(tài)度。通過算法模型，結(jié)合具體場景和數(shù)據(jù)分析目標(biāo)對象的情感狀態(tài)，這就是情感分析。 在人工智能（AI）產(chǎn)品和人的交互過程中，能夠準(zhǔn)確地把握人的情感狀態(tài)可以極大地提升AI產(chǎn)品的體驗(yàn)。這在質(zhì)檢，對話交互，風(fēng)控，輿論監(jiān)督等方面都有著重要的意義。例如，在服務(wù)行業(yè)中，對客戶的服務(wù)滿意度分析可以幫助企業(yè)提高服務(wù)質(zhì)量；而對于電商領(lǐng)域，分析用戶對某商品及其競品的喜好有助于商家找到提升產(chǎn)品競爭力的門道；在人機(jī)交互中掌握會(huì)話方的情感狀態(tài)可以幫助機(jī)器人適時(shí)地采用恰當(dāng)話術(shù)表達(dá)安撫和諒解，提升交互體驗(yàn)。在現(xiàn)實(shí)應(yīng)用中有非常多的場景需要分析情感或者態(tài)度的信息，情感分析算法提供了提煉這些關(guān)鍵信息的途徑。 從不同的角度可以把情感分析方法做不同的歸納。按照對情感的劃分方式，可以分為：情感極性分析、情感類別分析和情感程度分析。按照對象粒度分，又有會(huì)話級情感分析、句子級情感分析，以及實(shí)體級情感分析等。具體分類因所處理的場景和問題而不同。

什么是多模態(tài)

我們平時(shí)接觸到的信息可以來源于文字、聲音、圖像、味覺、觸覺等。我們把每一個(gè)信息的來源域稱為一個(gè)模態(tài)。 之所以劃分出不同的模態(tài)，首先是因?yàn)椴煌瑘鼍跋驴梢越佑|到的信息不同，其次是不同模態(tài)提供的信息往往不同，而最重要的是對不同模態(tài)的信息需要采用的處理和建模方式也不同。簡單情況下，我們可以僅通過單一的模態(tài)就可以得到一個(gè)對情感態(tài)度的判斷，例如一段評價(jià)文字，一通對話錄音，一段評論視頻等。自然地，我們也可以結(jié)合多個(gè)模態(tài)的數(shù)據(jù)并將其統(tǒng)一建模，這就是多模態(tài)方法。 簡單來講，多模態(tài)方法的核心驅(qū)動(dòng)就是：更多的信息來源可以幫助我們做出更優(yōu)的決策。

多模態(tài)情感分析

對于情感分析來說，情感表達(dá)可以來源于文字、音頻、圖像，結(jié)合兩種及以上模態(tài)建模情感分析，就是多模態(tài)情感分析方法。由于不同模態(tài)的信息在數(shù)據(jù)形式和處理方式上有很大差別，在統(tǒng)一模型中多增加一種模態(tài)信息雖然可以帶來潛在的建模效果提升，但同時(shí)也增加了建模的復(fù)雜度和難度。例如，通過一句話的文字和對應(yīng)的錄音建模時(shí)，需要先將字符串和音頻分別用兩種截然不同的處理方式量化為模型可接受的表征。 多模態(tài)模型策略在情感分析任務(wù)中是十分必要的。首先，很多時(shí)候僅通過文本或者語音很難準(zhǔn)確判斷出情感狀態(tài)。一個(gè)極端例子是反諷。反諷往往結(jié)合中性或者積極的文本內(nèi)容和與內(nèi)容不匹配的音頻來完成消極（負(fù)向）的情感表達(dá)。而這僅靠單模態(tài)模型就很難判斷出真實(shí)的情感意圖。其次，單模態(tài)模型容易受噪聲影響而導(dǎo)致效果問題，例如上游語音識(shí)別（ASR）出現(xiàn)的識(shí)別錯(cuò)誤往往會(huì)對下游分類任務(wù)產(chǎn)生較大影響。因此，要想在實(shí)際應(yīng)用中有一個(gè)穩(wěn)定強(qiáng)大的模型，多模態(tài)的建模方法就是必行之道。

情感分析的方法

情感本身是一種復(fù)雜的信息體現(xiàn)，在情感建模中使用不同的模態(tài)信息有著不同的處理方法及對應(yīng)的挑戰(zhàn)，下面簡單介紹一下目前通用的一些建模方法及它們所存在的問題。

單模態(tài)方法簡介

單模態(tài)模型指的是通過單一信號(hào)進(jìn)行情感分析的模型，例如僅基于文本內(nèi)容或音頻信號(hào)來進(jìn)行情感分析。

文本模型

得益于豐富的文本數(shù)據(jù)來源，文本模型是最常用的情感分析處理方法，通常的任務(wù)是對一句話的文本進(jìn)行情感分類。從原理上大致可以分基于情感詞典的方法、以及基于深度學(xué)習(xí)的方法?；诟星樵~典的方法此方法是基于跟情感分類相關(guān)的關(guān)鍵詞，結(jié)合目標(biāo)場景預(yù)先建立一個(gè)情感關(guān)鍵詞的詞典，由關(guān)鍵詞的情感匯總判斷出句子的情感，是一種自下而上的方法。

實(shí)際應(yīng)用中，基于情感詞典的方法往往和規(guī)則結(jié)合使用，從而實(shí)現(xiàn)更準(zhǔn)確的判斷。但是維護(hù)情感詞典和規(guī)則本身是一項(xiàng)耗時(shí)耗力的工作，對詞典的調(diào)優(yōu)也有著很大的困難。 而基于深度學(xué)習(xí)的方法則是當(dāng)前較為流行的方法，它的好處在于它可以端到端地進(jìn)行情感分析任務(wù)，而不需要像基于情感關(guān)鍵詞典的方法那樣建立詞典并使用規(guī)則。隨著深度學(xué)習(xí)技術(shù)在NLP應(yīng)用中的不斷發(fā)展，許多不同的深度學(xué)習(xí)模型都能用來進(jìn)行情感分析，例如CNN/RNN模型等。同時(shí)隨著大型預(yù)訓(xùn)練模型的興起，預(yù)訓(xùn)練+遷移學(xué)習(xí)的方式也被用于情感分析。關(guān)于預(yù)訓(xùn)練模型，我們在系列文章的第一篇進(jìn)行了詳細(xì)的介紹，這里就不再展開。

音頻模型

相對于離散的文本，音頻信號(hào)輸入為近似連續(xù)的數(shù)值，通常需要做預(yù)處理將音頻文件轉(zhuǎn)化為頻譜。具體步驟大致為：分幀-加窗-STFT-轉(zhuǎn)化梅爾頻譜，得到一個(gè)維度的特征，其中跟時(shí)間長度有關(guān)，為特征長度。音頻輸入由于其序列化的特點(diǎn)，通常也有基于CNN/RNN的方法，以及基于CRNN或CNN+Attention的方法。

多模態(tài)方法簡介

單模態(tài)情感分析方法主要的不足在于沒有利用完整的信息來進(jìn)行情感分析。例如，如果僅僅基于文本來判斷情感，則丟失掉了說話人語氣與語調(diào)等與感情息息相關(guān)的信息。因此多模態(tài)方法的核心任務(wù)是最大化發(fā)揮模態(tài)融合的優(yōu)勢完成建模。例如通過構(gòu)建“語音+文本”的雙模態(tài)模型，以此得到一個(gè)效果優(yōu)于同量級單模態(tài)模型的雙模態(tài)模型，達(dá)到1 + 1 》 2的效果，這其中的關(guān)鍵在于如何將不同模態(tài)融合到一起。 模態(tài)融合可以按照其發(fā)生的不同階段或者融合的具體方式進(jìn)行大致的歸類。模態(tài)融合發(fā)生的不同階段可以直觀地理解為，“模態(tài)融合”這一步發(fā)生在模型中的哪個(gè)位置，它通?？梢詣澐譃椋?/p>

提前融合（Early Fusion）：將不同模態(tài)的輸入在模型淺層完成融合，相當(dāng)于將不同單模態(tài)的特征統(tǒng)一到同一個(gè)模型輸入參數(shù)空間，融合后的特征再輸入到單個(gè)模型中完成特征提取和預(yù)測。但是由于不同模態(tài)本身參數(shù)空間的差異性，在輸入層統(tǒng)一多個(gè)不同參數(shù)空間的方法并不能達(dá)到預(yù)期效果，實(shí)際往往很少被使用。

推遲融合（Late Fusion）：推遲融合方法嘗試通過模型來解決參數(shù)空間不統(tǒng)一的問題。首先對不同模態(tài)的輸入數(shù)據(jù)分別用不同的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行建模和特征提取，最終在分類層前將不同模態(tài)提取到的特征進(jìn)行融合，并依賴梯度反向傳播將不同模態(tài)的特征統(tǒng)一到同一特征空間，最后在這個(gè)新的空間上做簡單的分類預(yù)測。推遲融合由于其簡單的實(shí)現(xiàn)方式和不錯(cuò)的效果往往應(yīng)用較普遍。

多階段融合（Muilti-Stage Fusion）：推遲融合雖然通過網(wǎng)絡(luò)本身在分類層前將不同模態(tài)特征映射到同一參數(shù)空間 ，但僅僅是在高級特征層對不同的模態(tài)特征進(jìn)行融合，也因此失去了在特征提取階段不同特征之間的相互關(guān)聯(lián)信息。多階段融合為了解決以上問題，在多個(gè)階段對特征進(jìn)行融合操作。通常先通過簡單的的網(wǎng)絡(luò)結(jié)構(gòu)將不同模態(tài)參數(shù)空間統(tǒng)一化，融合后的特征再繼續(xù)經(jīng)過后續(xù)深度特征提取網(wǎng)絡(luò)進(jìn)行進(jìn)一步模態(tài)相關(guān)的深層特征提取并融合，不同模型結(jié)構(gòu)分支提取到的特征在分類層之前做最終的融合后進(jìn)行分類預(yù)測。多階段融合既保留了使用不同模型結(jié)構(gòu)處理不同模態(tài)分支的能力，又自然地達(dá)到了不同模態(tài)信息融合的目的，對提取到強(qiáng)大特征更有優(yōu)勢。這種方法的缺點(diǎn)是模型結(jié)構(gòu)相對復(fù)雜，往往會(huì)設(shè)置多個(gè)損失函數(shù)，有時(shí)需要進(jìn)行分階段調(diào)優(yōu)。

除了按照模態(tài)融合的階段進(jìn)行劃分，多模態(tài)方法還可以根據(jù)模態(tài)融合的具體方法進(jìn)行劃分為：

基于拼接的特征融合：這種方式假設(shè)不同模態(tài)特征已經(jīng)被統(tǒng)一在了同一參數(shù)空間上，并簡單地將不同模態(tài)的特征進(jìn)行拼接來完成融合過程。該方法雖然簡單，但它并沒有考慮特征之間的相互作用增益，依賴下游分類網(wǎng)絡(luò)來融合模態(tài)信息。

基于注意力的特征融合：這種方法將不同模態(tài)的特征通過注意力模塊進(jìn)行打分后融合，以達(dá)到充分利用模態(tài)間信息增益的目的。

情感分析實(shí)際應(yīng)用挑戰(zhàn)

我們在前面簡單介紹了單/多模態(tài)情感分析中最常用的基本方法，而情感分析技術(shù)在落地使用中，也面臨著一些實(shí)際的挑戰(zhàn)。

首先面臨的是訓(xùn)練速度、推理速度、模型大小等與模型性能相關(guān)的問題。前面的介紹中指出，采用多模態(tài)方法理論上可以更好地進(jìn)行情感分析。但在實(shí)際落地使用中，如果采用多模態(tài)模型，則代表著模型需要對多個(gè)模態(tài)進(jìn)行建模，因此模型的體量通常都比單模態(tài)模型要大，而性能也隨之變差。

其次是標(biāo)注數(shù)據(jù)需求量的問題，這是深度學(xué)習(xí)方法普遍存在的問題。而情感分析也與多數(shù)的基于深度學(xué)習(xí)的NLP技術(shù)一樣，存在著跨領(lǐng)域的數(shù)據(jù)標(biāo)注問題。具體來說，在某一特定場景（如保險(xiǎn)客服）下訓(xùn)練的模型往往不能直接用在其它場景（如運(yùn)營商客服）。這是由于情感表達(dá)本身依賴于場景，在一個(gè)場景下的表達(dá)可能在另外一個(gè)場景下蘊(yùn)含著不同的情感態(tài)度。同時(shí)，不同場景對情感態(tài)度判讀的界定也會(huì)有差別。除此以外，如果采用的是多模態(tài)方法，還需要對不同模態(tài)的數(shù)據(jù)都進(jìn)行標(biāo)注，并且需要在標(biāo)注過程中綜合考慮各模態(tài)表達(dá)的信息。這類數(shù)據(jù)獲取的難度和標(biāo)注成本也對多模態(tài)情感模型的實(shí)際應(yīng)用有著影響。

最后是情感分析應(yīng)用場景的問題。在一些場景中，用戶需要的不僅僅是“正向”、“負(fù)向”這種簡單的感情標(biāo)簽，更希望知道感情投射的對象。例如針對句子“雖然服務(wù)態(tài)度還不錯(cuò)，但我的問題還是沒有解決”，對客戶來說更加有價(jià)值的是給出不同對象的情感分析結(jié)果，例如“服務(wù)態(tài)度-正向；問題沒解決-負(fù)向”。

追一科技情感分析解決方案

我們將在這一部分介紹追一科技在解決上述問題的方法。

輕量級雙模態(tài)情感分析模型

為了解決模型的性能問題，我們在2020年提出了新的輕量級雙模態(tài)模型，該模型在IEMOCAP情感分類數(shù)據(jù)集上取得了【音頻+文本】雙模態(tài)模型的當(dāng)前最優(yōu)效果（SOTA），同時(shí)發(fā)表論文Efficient Speech Emotion Recognition Using Multi-Scale CNN and Attention， icassp 2021，并被世界人工智能語音領(lǐng)域頂會(huì)ICASSP（2021）錄用，這標(biāo)志著追一科技多模態(tài)情感分析算法能力處于業(yè)內(nèi)領(lǐng)先水平。

具體來說，我們提出基于多尺度卷積和統(tǒng)計(jì)池化相結(jié)合的方法來進(jìn)行不同模態(tài)的特征抽取以及模態(tài)融合。

相對于其它雙模態(tài)情感模型，我們提出的模型沒有使用性能較低的RNN網(wǎng)絡(luò)及深層卷積網(wǎng)絡(luò)，也沒有利用大型的預(yù)訓(xùn)練模型，而是用了簡單的單層多尺度卷積提取局部多樣性淺層特征，借助平均、最大、標(biāo)準(zhǔn)差池化得到綜合的全局統(tǒng)計(jì)特征，最終結(jié)合特征拼接和Attention機(jī)制融合語音和文本特征并作分類。此外，我們還引入了音頻說話人識(shí)別中常用的xvector特征做為輔助全局音頻特征。模型不僅在效果上趕超已有的最優(yōu)模型，同時(shí)由于淺層CNN結(jié)構(gòu)及高度并行化的模型設(shè)計(jì)，訓(xùn)練/推理速度也更優(yōu)。

在模態(tài)融合層面，為了保證模型的輕量性同時(shí)獲得好的模型效果，我們用了基于Attention的Late-Fusion方法，并結(jié)合圖像領(lǐng)域中常用的多尺度特征：

具體來說，音頻信號(hào)（MFCC）與文本信號(hào)（Word Embedding）分別經(jīng)過各自的多尺度卷積（MSCNN）與統(tǒng)計(jì)池化（SPU）后，再利用Attention機(jī)制進(jìn)行融合，最后輔以xvector進(jìn)行感情類別的預(yù)測。值得指出的是，該方法相比與基于BERT等大型預(yù)訓(xùn)練的方法在預(yù)測準(zhǔn)確率上，有相當(dāng)大的性能優(yōu)勢。在我們的實(shí)際應(yīng)用場景測試中，該方法比基于BERT的方法分別快5倍（CPU）/2倍（GPU）。

無監(jiān)督域適應(yīng)（Unsupervised Domain Adaption）

第二個(gè)需要解決的是標(biāo)注數(shù)據(jù)量的問題。前文已經(jīng)分析過，現(xiàn)有模型存在跨域困難的問題，同時(shí)由于標(biāo)注成本高，在實(shí)際應(yīng)用落地中難度較大。我們嘗試找到了一個(gè)將已訓(xùn)練模型通過無監(jiān)督域適應(yīng)方法遷移到新領(lǐng)域上的方法，使得在新的業(yè)務(wù)領(lǐng)域上，已有的其它領(lǐng)域模型也能獲得不錯(cuò)的初始表現(xiàn)。 域適應(yīng)的核心思想是：在特征空間上某一度量準(zhǔn)則下， 如果能夠使得源域與目標(biāo)域特征分布盡可能接近，那么源域上已經(jīng)訓(xùn)練好的預(yù)測模塊可更好地直接用于目標(biāo)域，從而達(dá)到模型跨域遷移的目的。

更進(jìn)一步地，這個(gè)過程我們希望盡量地節(jié)約成本，最好是在不需要對新的目標(biāo)領(lǐng)域數(shù)據(jù)進(jìn)行標(biāo)注的前提下完成。為了完成以上域適應(yīng)和無監(jiān)督的目的，我們需要解決以下兩個(gè)問題：

如何度量源域和目標(biāo)域特征的相似程度

如何無監(jiān)督地優(yōu)化并構(gòu)建目標(biāo)域上的模型

針對第一個(gè)問題，簡單的解決方案是人為設(shè)定好度量的metric，例如我們可以用consine距離，L1、L2距離等。但這些畢竟是人為規(guī)定的，我們也無法確定哪一種度量最合適。換一種思路，利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，完全可以構(gòu)建一個(gè)網(wǎng)絡(luò)并讓它去學(xué)習(xí)一個(gè)最合適的度量，而我們只需要站在高處對這個(gè)度量效果做出簡單的指點(diǎn)。這即是基于對抗學(xué)習(xí)的對抗遷移思想。而站在高處的指點(diǎn)，完全可以依據(jù)判段特征是來自源域還是目標(biāo)域來實(shí)現(xiàn)。數(shù)學(xué)上相當(dāng)于是實(shí)現(xiàn)了用Jensen-Shannon散度（用交叉熵?fù)p失）或者Wasserstein距離（用Wasserstein距離損失，又叫推土機(jī)距離）做為度量metric。

第二個(gè)問題，目標(biāo)域上的模型構(gòu)建和優(yōu)化需要分階段進(jìn)行，但是仍然統(tǒng)一在一個(gè)模型框架下，簡要的步驟為：

1.有監(jiān)督訓(xùn)練： 源數(shù)據(jù) → 源模型 ［Gs+ Fs］ 2.對抗訓(xùn)練（無監(jiān)督）： a）復(fù)制特征提取網(wǎng)絡(luò)， 構(gòu)建判別器 ［Gs → Gt， D］ b）循環(huán)至穩(wěn)定： i.訓(xùn)練m輪D ii.訓(xùn)練n輪Gs 3.得到目標(biāo)模型： ［Gt + Fs］為了測試這種無監(jiān)督域適應(yīng)的模型遷移效果，我們在多個(gè)領(lǐng)域數(shù)據(jù)上做了測試：

可以看到，在有標(biāo)注數(shù)據(jù)的服務(wù)商領(lǐng)域上，我們的雙模態(tài)情感模型二分類效果可達(dá)94%的準(zhǔn)確率。在三個(gè)其它場景中，不做無監(jiān)督遷移的模型測試結(jié)果非常糟糕（遷移前），基本上接近于盲猜。而做了無監(jiān)督遷移的模型（遷移后）效果較之前有了大幅度提升，這種提升完全是建立在不需標(biāo)注數(shù)據(jù)的條件下實(shí)現(xiàn)的，在實(shí)際應(yīng)用中有重要意義。

細(xì)粒度情感分析

單純的分類模型只能夠給出情感的判斷結(jié)果而不能給出情感的指向目標(biāo)，例如：“這個(gè)電飯煲非常好用“，得到結(jié)果為積極（正向）。而細(xì)粒度情感分析則可以在更加精細(xì)的維度上給出情感分析的結(jié)果，如下圖所示：

從上面的例子可以看出，同一句話，在更細(xì)的粒度上的情感傾向是可能存在不同的，因此有時(shí)候直接給出一句話的整體情感分析結(jié)果并不能滿足實(shí)際使用的需要。為了使模型能夠輸出細(xì)粒度的情感分析結(jié)果，我們將此問題看作是一個(gè)序列標(biāo)注問題，這也是細(xì)粒度情感分析任務(wù)的通常做法。

通常來說，在大型預(yù)訓(xùn)練模型的輸出上額外增加序列標(biāo)注的輸出模塊即可以完成序列標(biāo)注任務(wù)。序列標(biāo)注的輸出模塊形式較為靈活，例如采用線性層、RNN、Self Attention或者是CRF等，在這里不再對這些常規(guī)的方法做一一介紹。 值得一提的是，這個(gè)任務(wù)可以用我們提出的Global Pointer方法來解決，因此這里主要介紹如何用Global Pointer來進(jìn)行序列標(biāo)注。首先，序列標(biāo)注的任務(wù)是需要識(shí)別出文本中的片段位置，并給出該片段的標(biāo)簽。因此對于輸入長度為的文本，首尾組合一共有個(gè)候選的可能組合。如果該序列中有個(gè)需要定位的實(shí)體，那么該問題則變成了從個(gè)類別中選取個(gè)目標(biāo)類的多標(biāo)簽分類問題，可以按照常規(guī)的多標(biāo)簽分類方式來解決。而Global Pointer則正是采用了這一簡單直觀的思路來解決序列標(biāo)注的問題，這種方式的優(yōu)勢在于在預(yù)測過程中，所有實(shí)體是一次給出的，并且可以識(shí)別出嵌套實(shí)體的情況，非常簡便快捷。而如果目標(biāo)實(shí)體有種標(biāo)簽，那么只需要進(jìn)行次分類，即每種實(shí)體標(biāo)簽用一個(gè)多標(biāo)簽分類來建模。

依照上面的思路，對于長度為的序列，通過編碼器得到每個(gè)位置上的表征，令代表序列中第個(gè)位置到第個(gè)位置的片段的實(shí)體類型為的分?jǐn)?shù)，則： 其中，。我們采用自研的多標(biāo)簽分類損失作為最后的優(yōu)化目標(biāo)：

其中是該樣本的所有類型為的實(shí)體的首尾集合，是該樣本的所有非實(shí)體或者類型非的實(shí)體的首尾集合，注意我們只需要考慮的組合，即

另外需要指出的是，在進(jìn)行分?jǐn)?shù)計(jì)算的時(shí)候，由于需要考慮到q與k的位置關(guān)系，因此我們在這一步中加入了自研的旋轉(zhuǎn)位置編碼。旋轉(zhuǎn)位置編碼的加入可以大大提升Global Pointer的最終效果。 我們在不同的領(lǐng)域?qū)?xì)粒度情感分析方法進(jìn)行了測試，效果如下：

可以看出細(xì)粒度情感分析可以明確給出客戶反饋中，針對不同對象的感情效果。

責(zé)任編輯：lq