女朋友生氣了嗎?算法比直男更懂她

利用 AI 技術(shù)判斷一個(gè)人的情緒通常有兩種途徑，一種是通過(guò)面部表情，另一種是通過(guò)語(yǔ)音。前者已經(jīng)比較成熟，而語(yǔ)音識(shí)別情感方面的研究，正在快速發(fā)展。近期，一些科研團(tuán)隊(duì)提出了新的方法，來(lái)更準(zhǔn)確地識(shí)別用戶(hù)聲音中的情緒。

知乎上有很多關(guān)于「如何判斷女朋友是否生氣」之類(lèi)的問(wèn)題，有人回答：字越少，事越大；還有人說(shuō)：真生氣，一個(gè)月不聯(lián)系；假生氣，會(huì)撒嬌說(shuō)「我生氣了」。

「女朋友是生氣了么？」是千古難題

所以，女朋友的「我沒(méi)生氣/真的沒(méi)生氣」=「很生氣」；「我生氣了」=「撒嬌，沒(méi)生氣，親親抱抱舉高高嘛」。這樣的情緒邏輯讓直男們抓狂。

女朋友的情緒根本就感受不出來(lái)啊

究竟應(yīng)該怎么樣才能聽(tīng)出女朋友到底生氣了沒(méi)呢？據(jù)說(shuō)，AI 已經(jīng)在聽(tīng)音識(shí)情緒上做出成績(jī)，可能比男生抓耳撓腮地琢磨半天的結(jié)果更準(zhǔn)確。

Alexa 語(yǔ)音助手：正在修煉成為暖男

亞馬遜語(yǔ)音助手Alexa 在感知情緒方面，可能比男朋友還機(jī)智。

今年，經(jīng)過(guò)最新升級(jí)后，Alexa 已經(jīng)能夠通過(guò)分析用戶(hù)指令的高低和音量等反應(yīng)，識(shí)別出快樂(lè)、高興、憤怒、悲傷、煩躁、恐懼、厭惡、厭倦甚至壓力等情緒，并對(duì)相應(yīng)指令做出回應(yīng)。

比如，如果一個(gè)女生一邊擤鼻涕一邊咳嗽一邊又跟 Alexa 說(shuō)自己有點(diǎn)餓了，那么 Alexa 就會(huì)通過(guò)對(duì)女生說(shuō)話(huà)的的音調(diào)（虛弱、低沉）和背景音（咳嗽、擤鼻涕）分析出她很可能得病了，然后發(fā)出來(lái)自機(jī)器的貼心關(guān)懷：要不要來(lái)碗雞湯，或者叫個(gè)外賣(mài)？甚至直接線(xiàn)上訂購(gòu)一瓶止咳糖漿一小時(shí)內(nèi)送貨上門(mén)？

這表現(xiàn)，是不是比鋼鐵直男男朋友還貼心？

人工智能做情緒分類(lèi)已不是什么新鮮事了，不過(guò)，最近，亞馬遜 Alexa Speech 團(tuán)隊(duì)前段時(shí)間打破了傳統(tǒng)方法，發(fā)表了新的研究成果。

傳統(tǒng)的方法都是有監(jiān)督的，其獲取的訓(xùn)練數(shù)據(jù)已經(jīng)根據(jù)說(shuō)話(huà)者的情緒狀態(tài)被標(biāo)記過(guò)。而亞馬遜 Alexa Speech 團(tuán)隊(duì)的科學(xué)家最近采用了一種不同的方法，他們?cè)趪?guó)際聲學(xué)，語(yǔ)音和信號(hào)處理會(huì)議（ICASSP）上發(fā)表了介紹這種方法的論文《Improving Emotion Classification through Variational Inference of Latent Variables》（http://t.cn/Ai0se57g）

他們沒(méi)有采用詳盡注釋過(guò)「情感」的語(yǔ)料庫(kù)來(lái)訓(xùn)練系統(tǒng)，而是提供了一個(gè)對(duì)抗自編碼器（AAE）。這是一個(gè)包含來(lái)自 10 個(gè)不同發(fā)言者的 10,000 個(gè)話(huà)語(yǔ)的公開(kāi)數(shù)據(jù)集。

他們得到的研究結(jié)果是，在判斷人們的聲音中的效價(jià)（emotion valence）或情感價(jià)值（emotional value）時(shí)，神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度提高了 4％。在團(tuán)隊(duì)的努力下，通過(guò)用戶(hù)聲音，便能可靠地確定用戶(hù)的心情或情緒狀態(tài)。

AAE 模型原理示意圖

論文的共同作者，Alexa Speech 組高級(jí)應(yīng)用科學(xué)家 Viktor Rozgic 解釋道，對(duì)抗自編碼器是包含編碼器的兩部分模型——編碼器（encoder）和解碼器（decoder）。編碼器學(xué)習(xí)生成輸入語(yǔ)音的緊湊（或潛在）表示，編碼訓(xùn)練示例的所有屬性；而解碼器重建來(lái)自緊湊表示的輸入。

對(duì)抗自編碼器的架構(gòu)

研究人員的情緒表征由三個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)組成，三個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)分別用于三種情緒測(cè)量：效價(jià)，激活（activation，說(shuō)話(huà)者是警覺(jué)的，投入的還是被動(dòng)的），以及支配（說(shuō)話(huà)者是否感覺(jué)被周邊局面控制）。

訓(xùn)練分三個(gè)階段進(jìn)行。第一階段使用無(wú)標(biāo)簽的數(shù)據(jù)單獨(dú)訓(xùn)練編碼器和解碼器。第二階段為對(duì)抗訓(xùn)練，對(duì)抗性鑒別器試圖區(qū)分編碼器產(chǎn)生的真實(shí)表示與人工表示的技術(shù)，該階段用于調(diào)整編碼器。在第三階段，調(diào)整編碼器以確保潛在情緒表示，來(lái)預(yù)測(cè)訓(xùn)練數(shù)據(jù)的情緒標(biāo)簽。

為了捕獲有關(guān)語(yǔ)音信號(hào)的信息，在涉及句子級(jí)特征表示的「hand-engineered」實(shí)驗(yàn)中，他們的 AI 系統(tǒng)在評(píng)估效價(jià)方面比傳統(tǒng)訓(xùn)練網(wǎng)絡(luò)的準(zhǔn)確度提高了 3％。

此外，他們表示，當(dāng)向網(wǎng)絡(luò)提供一組表示 20 毫秒幀(或音頻片段)聲學(xué)特性的序列時(shí)，效果提高了 4%。

MIT 實(shí)驗(yàn)室打造神經(jīng)網(wǎng)絡(luò)1.2 秒感知憤怒

亞馬遜不是唯一一家研究改進(jìn)的基于語(yǔ)音的情緒檢測(cè)的公司。麻省理工學(xué)院媒體實(shí)驗(yàn)室 Affectiva 最近演示了一個(gè)神經(jīng)網(wǎng)絡(luò) SoundNet：可以在短短 1.2 秒內(nèi)（已經(jīng)超越人類(lèi)感知憤怒所需時(shí)間）將憤怒與音頻數(shù)據(jù)分類(lèi)，并且無(wú)論哪種語(yǔ)言。

Affectiva 的研究人員在新論文《Transfer Learning From Sound Representations For Anger Detection in Speech》（https://arxiv.org/pdf/1902.02120.pdf）中描述了該系統(tǒng)。它建立在語(yǔ)音和面部數(shù)據(jù)打造情感檔案的基礎(chǔ)上。

為了測(cè)試 AI 模型的通用性，該團(tuán)隊(duì)使用以英文訓(xùn)練的模型，對(duì)普通話(huà)語(yǔ)音情感數(shù)據(jù)訓(xùn)練的模型（普通話(huà)情感語(yǔ)料庫(kù)，簡(jiǎn)稱(chēng)MASC）進(jìn)行了評(píng)估。結(jié)果它不僅可以很好地推廣到英語(yǔ)語(yǔ)音數(shù)據(jù)，對(duì)漢語(yǔ)數(shù)據(jù)也很有效，盡管性能略有下降。

針對(duì)英文與中文的訓(xùn)練結(jié)果 ROC 曲線(xiàn)

虛線(xiàn)表示隨機(jī)分類(lèi)器的 ROC

團(tuán)隊(duì)表示，「識(shí)別憤怒應(yīng)用廣泛，包括會(huì)話(huà)界面和社交機(jī)器人，交互式語(yǔ)音應(yīng)答（IVR）系統(tǒng)，市場(chǎng)研究，客戶(hù)代理評(píng)估和培訓(xùn)，以及虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)。」

未來(lái)的工作將開(kāi)發(fā)其他大型公共語(yǔ)料庫(kù)，并為相關(guān)的基于語(yǔ)音的任務(wù)訓(xùn)練 AI 系統(tǒng)，例如識(shí)別其他類(lèi)型的情緒和情感狀態(tài)。

以色列 App 識(shí)別情緒：準(zhǔn)確率 80%

以色列創(chuàng)業(yè)公司 Beyond Verbal 開(kāi)發(fā)了一款名為 Moodies 的應(yīng)用，它能夠通過(guò)麥克風(fēng)采集說(shuō)話(huà)者的聲音，經(jīng)過(guò) 20 秒左右的分析，判斷說(shuō)話(huà)者的情緒特征。

Moodies 擁有一套特殊的算法，軟件會(huì)對(duì)說(shuō)話(huà)者的

節(jié)奏、時(shí)間、聲音大小、停頓以及能量等情緒維度進(jìn)行分析

盡管語(yǔ)音分析專(zhuān)家承認(rèn)語(yǔ)言與情緒具有相關(guān)性，但不少專(zhuān)家卻質(zhì)疑這種實(shí)時(shí)測(cè)算的準(zhǔn)確性——這類(lèi)工具收集到的聲音樣本非常有限，實(shí)際的分析可能需要收集數(shù)年的樣本。

「以目前認(rèn)知神經(jīng)學(xué)的水平，我們根本沒(méi)有技術(shù)真正地了解一個(gè)人的思想或者情感?！垢鐐惐葋喆髮W(xué)心理學(xué)教授助理 Andrew Baron 說(shuō)道。

不過(guò) Beyond Verbal 負(fù)責(zé)市場(chǎng)的副總裁 Dan Emodi 表示，Moodies 經(jīng)過(guò)了三年多的研究，根據(jù)用戶(hù)的反饋，應(yīng)用分析的準(zhǔn)確率約為 80%。

Beyond Verbal 公司表示，Moodies 可以應(yīng)用于自我情緒診斷、客服中心處理顧客關(guān)系甚至檢測(cè)求職者是否說(shuō)謊，當(dāng)然你也可以帶到約會(huì)的場(chǎng)景中，看對(duì)方是否真的對(duì)自己感興趣。

語(yǔ)音情緒識(shí)別依然面臨挑戰(zhàn)

雖然很多科技公司已經(jīng)在這方面有著多年的研究，也得到不錯(cuò)的成果。但是，正如上文 Andrew Baron 所質(zhì)疑的，這項(xiàng)技術(shù)還面臨多個(gè)挑戰(zhàn)。

就像女朋友一句平靜的「我沒(méi)生氣」并不代表她真的沒(méi)生氣一樣，一個(gè)發(fā)音中可以包含多種感情，不同情感的邊界也難以界定，哪個(gè)情緒是當(dāng)前主導(dǎo)的情緒？

國(guó)內(nèi)某語(yǔ)音情緒識(shí)別產(chǎn)品展示

并不是所有的語(yǔ)氣都像視頻中這樣明顯與激烈，表達(dá)情感是一個(gè)個(gè)性化極強(qiáng)的事情，根據(jù)個(gè)人，環(huán)境甚至文化差異都很大。

此外，一種情緒可能持續(xù)很長(zhǎng)時(shí)間，但期間也會(huì)有快速變化的情緒，情感識(shí)別系統(tǒng)是檢測(cè)長(zhǎng)期的情緒還是短時(shí)的情緒呢？比如某人限于失業(yè)的痛苦中，但期間因?yàn)榕笥训年P(guān)心短暫開(kāi)心了一下，但實(shí)際上他仍處于傷心狀態(tài)，AI 該怎么定義他的狀態(tài)呢？

而另一個(gè)令人擔(dān)心的事是，當(dāng)這些產(chǎn)品能夠聽(tīng)懂人的情緒后，是否會(huì)因?yàn)橛脩?hù)對(duì)它的依賴(lài)，而詢(xún)問(wèn)更多隱私性的問(wèn)題，獲取用戶(hù)多方面信息，從而將「服務(wù)」變成「買(mǎi)賣(mài)」？

愿你會(huì)擁有大白，也擁有真正懂你的人

很多人都想擁有一個(gè)溫暖又貼心的大白，這個(gè)在科幻動(dòng)畫(huà)里才有的高情商機(jī)器人，未來(lái)是否會(huì)成真呢？

非常低落而緩慢地跟小冰說(shuō)話(huà)得到無(wú)情回答

目前，很多聊天機(jī)器人依然沒(méi)有情商，無(wú)法感知用戶(hù)的小情緒，常常把天聊死。所以，真正能夠聽(tīng)懂你的，依然是陪伴在你身邊傾聽(tīng)你的人。