利用 AI 技術(shù)判斷一個(gè)人的情緒通常有兩種途徑,一種是通過(guò)面部表情,另一種是通過(guò)語(yǔ)音。前者已經(jīng)比較成熟,而語(yǔ)音識(shí)別情感方面的研究,正在快速發(fā)展。近期,一些科研團(tuán)隊(duì)提出了新的方法,來(lái)更準(zhǔn)確地識(shí)別用戶(hù)聲音中的情緒。
知乎上有很多關(guān)于「如何判斷女朋友是否生氣」之類(lèi)的問(wèn)題,有人回答:字越少,事越大;還有人說(shuō):真生氣,一個(gè)月不聯(lián)系;假生氣,會(huì)撒嬌說(shuō)「我生氣了」。
「女朋友是生氣了么?」是千古難題
所以,女朋友的「我沒(méi)生氣/真的沒(méi)生氣」=「很生氣」;「我生氣了」=「撒嬌,沒(méi)生氣,親親抱抱舉高高嘛」。這樣的情緒邏輯讓直男們抓狂。
女朋友的情緒根本就感受不出來(lái)啊
究竟應(yīng)該怎么樣才能聽(tīng)出女朋友到底生氣了沒(méi)呢?據(jù)說(shuō),AI 已經(jīng)在聽(tīng)音識(shí)情緒上做出成績(jī),可能比男生抓耳撓腮地琢磨半天的結(jié)果更準(zhǔn)確。
Alexa 語(yǔ)音助手:正在修煉成為暖男
亞馬遜語(yǔ)音助手Alexa 在感知情緒方面,可能比男朋友還機(jī)智。
今年,經(jīng)過(guò)最新升級(jí)后,Alexa 已經(jīng)能夠通過(guò)分析用戶(hù)指令的高低和音量等反應(yīng),識(shí)別出快樂(lè)、高興、憤怒、悲傷、煩躁、恐懼、厭惡、厭倦甚至壓力等情緒,并對(duì)相應(yīng)指令做出回應(yīng)。
比如,如果一個(gè)女生一邊擤鼻涕一邊咳嗽一邊又跟 Alexa 說(shuō)自己有點(diǎn)餓了,那么 Alexa 就會(huì)通過(guò)對(duì)女生說(shuō)話(huà)的的音調(diào)(虛弱、低沉)和背景音(咳嗽、擤鼻涕)分析出她很可能得病了,然后發(fā)出來(lái)自機(jī)器的貼心關(guān)懷:要不要來(lái)碗雞湯,或者叫個(gè)外賣(mài)?甚至直接線(xiàn)上訂購(gòu)一瓶止咳糖漿一小時(shí)內(nèi)送貨上門(mén)?
這表現(xiàn),是不是比鋼鐵直男男朋友還貼心?
人工智能做情緒分類(lèi)已不是什么新鮮事了,不過(guò),最近,亞馬遜 Alexa Speech 團(tuán)隊(duì)前段時(shí)間打破了傳統(tǒng)方法,發(fā)表了新的研究成果。
傳統(tǒng)的方法都是有監(jiān)督的,其獲取的訓(xùn)練數(shù)據(jù)已經(jīng)根據(jù)說(shuō)話(huà)者的情緒狀態(tài)被標(biāo)記過(guò)。而亞馬遜 Alexa Speech 團(tuán)隊(duì)的科學(xué)家最近采用了一種不同的方法,他們?cè)趪?guó)際聲學(xué),語(yǔ)音和信號(hào)處理會(huì)議(ICASSP)上發(fā)表了介紹這種方法的論文《Improving Emotion Classification through Variational Inference of Latent Variables》(http://t.cn/Ai0se57g)
他們沒(méi)有采用詳盡注釋過(guò)「情感」的語(yǔ)料庫(kù)來(lái)訓(xùn)練系統(tǒng),而是提供了一個(gè)對(duì)抗自編碼器(AAE)。這是一個(gè)包含來(lái)自 10 個(gè)不同發(fā)言者的 10,000 個(gè)話(huà)語(yǔ)的公開(kāi)數(shù)據(jù)集。
他們得到的研究結(jié)果是,在判斷人們的聲音中的效價(jià)(emotion valence)或情感價(jià)值(emotional value)時(shí),神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度提高了 4%。在團(tuán)隊(duì)的努力下,通過(guò)用戶(hù)聲音,便能可靠地確定用戶(hù)的心情或情緒狀態(tài)。
AAE 模型原理示意圖
論文的共同作者,Alexa Speech 組高級(jí)應(yīng)用科學(xué)家 Viktor Rozgic 解釋道,對(duì)抗自編碼器是包含編碼器的兩部分模型——編碼器(encoder)和解碼器(decoder)。編碼器學(xué)習(xí)生成輸入語(yǔ)音的緊湊(或潛在)表示,編碼訓(xùn)練示例的所有屬性;而解碼器重建來(lái)自緊湊表示的輸入。
對(duì)抗自編碼器的架構(gòu)
研究人員的情緒表征由三個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)組成,三個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)分別用于三種情緒測(cè)量:效價(jià),激活(activation,說(shuō)話(huà)者是警覺(jué)的,投入的還是被動(dòng)的),以及支配(說(shuō)話(huà)者是否感覺(jué)被周邊局面控制)。
訓(xùn)練分三個(gè)階段進(jìn)行。第一階段使用無(wú)標(biāo)簽的數(shù)據(jù)單獨(dú)訓(xùn)練編碼器和解碼器。第二階段為對(duì)抗訓(xùn)練,對(duì)抗性鑒別器試圖區(qū)分編碼器產(chǎn)生的真實(shí)表示與人工表示的技術(shù),該階段用于調(diào)整編碼器。在第三階段,調(diào)整編碼器以確保潛在情緒表示,來(lái)預(yù)測(cè)訓(xùn)練數(shù)據(jù)的情緒標(biāo)簽。
為了捕獲有關(guān)語(yǔ)音信號(hào)的信息,在涉及句子級(jí)特征表示的「hand-engineered」實(shí)驗(yàn)中,他們的 AI 系統(tǒng)在評(píng)估效價(jià)方面比傳統(tǒng)訓(xùn)練網(wǎng)絡(luò)的準(zhǔn)確度提高了 3%。
此外,他們表示,當(dāng)向網(wǎng)絡(luò)提供一組表示 20 毫秒幀(或音頻片段)聲學(xué)特性的序列時(shí),效果提高了 4%。
MIT 實(shí)驗(yàn)室打造神經(jīng)網(wǎng)絡(luò)1.2 秒感知憤怒
亞馬遜不是唯一一家研究改進(jìn)的基于語(yǔ)音的情緒檢測(cè)的公司。麻省理工學(xué)院媒體實(shí)驗(yàn)室 Affectiva 最近演示了一個(gè)神經(jīng)網(wǎng)絡(luò) SoundNet:可以在短短 1.2 秒內(nèi)(已經(jīng)超越人類(lèi)感知憤怒所需時(shí)間)將憤怒與音頻數(shù)據(jù)分類(lèi),并且無(wú)論哪種語(yǔ)言。
Affectiva 的研究人員在新論文《Transfer Learning From Sound Representations For Anger Detection in Speech》(https://arxiv.org/pdf/1902.02120.pdf)中描述了該系統(tǒng)。它建立在語(yǔ)音和面部數(shù)據(jù)打造情感檔案的基礎(chǔ)上。
為了測(cè)試 AI 模型的通用性,該團(tuán)隊(duì)使用以英文訓(xùn)練的模型,對(duì)普通話(huà)語(yǔ)音情感數(shù)據(jù)訓(xùn)練的模型(普通話(huà)情感語(yǔ)料庫(kù),簡(jiǎn)稱(chēng)MASC)進(jìn)行了評(píng)估。結(jié)果它不僅可以很好地推廣到英語(yǔ)語(yǔ)音數(shù)據(jù),對(duì)漢語(yǔ)數(shù)據(jù)也很有效,盡管性能略有下降。
針對(duì)英文與中文的訓(xùn)練結(jié)果 ROC 曲線(xiàn)
虛線(xiàn)表示隨機(jī)分類(lèi)器的 ROC
團(tuán)隊(duì)表示,「識(shí)別憤怒應(yīng)用廣泛,包括會(huì)話(huà)界面和社交機(jī)器人,交互式語(yǔ)音應(yīng)答(IVR)系統(tǒng),市場(chǎng)研究,客戶(hù)代理評(píng)估和培訓(xùn),以及虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)。」
未來(lái)的工作將開(kāi)發(fā)其他大型公共語(yǔ)料庫(kù),并為相關(guān)的基于語(yǔ)音的任務(wù)訓(xùn)練 AI 系統(tǒng),例如識(shí)別其他類(lèi)型的情緒和情感狀態(tài)。
以色列 App 識(shí)別情緒:準(zhǔn)確率 80%
以色列創(chuàng)業(yè)公司 Beyond Verbal 開(kāi)發(fā)了一款名為 Moodies 的應(yīng)用,它能夠通過(guò)麥克風(fēng)采集說(shuō)話(huà)者的聲音,經(jīng)過(guò) 20 秒左右的分析,判斷說(shuō)話(huà)者的情緒特征。
Moodies 擁有一套特殊的算法,軟件會(huì)對(duì)說(shuō)話(huà)者的
節(jié)奏、時(shí)間、聲音大小、停頓以及能量等情緒維度進(jìn)行分析
盡管語(yǔ)音分析專(zhuān)家承認(rèn)語(yǔ)言與情緒具有相關(guān)性,但不少專(zhuān)家卻質(zhì)疑這種實(shí)時(shí)測(cè)算的準(zhǔn)確性——這類(lèi)工具收集到的聲音樣本非常有限,實(shí)際的分析可能需要收集數(shù)年的樣本。
「以目前認(rèn)知神經(jīng)學(xué)的水平,我們根本沒(méi)有技術(shù)真正地了解一個(gè)人的思想或者情感?!垢鐐惐葋喆髮W(xué)心理學(xué)教授助理 Andrew Baron 說(shuō)道。
不過(guò) Beyond Verbal 負(fù)責(zé)市場(chǎng)的副總裁 Dan Emodi 表示,Moodies 經(jīng)過(guò)了三年多的研究,根據(jù)用戶(hù)的反饋,應(yīng)用分析的準(zhǔn)確率約為 80%。
Beyond Verbal 公司表示,Moodies 可以應(yīng)用于自我情緒診斷、客服中心處理顧客關(guān)系甚至檢測(cè)求職者是否說(shuō)謊,當(dāng)然你也可以帶到約會(huì)的場(chǎng)景中,看對(duì)方是否真的對(duì)自己感興趣。
語(yǔ)音情緒識(shí)別依然面臨挑戰(zhàn)
雖然很多科技公司已經(jīng)在這方面有著多年的研究,也得到不錯(cuò)的成果。但是,正如上文 Andrew Baron 所質(zhì)疑的,這項(xiàng)技術(shù)還面臨多個(gè)挑戰(zhàn)。
就像女朋友一句平靜的「我沒(méi)生氣」并不代表她真的沒(méi)生氣一樣,一個(gè)發(fā)音中可以包含多種感情,不同情感的邊界也難以界定,哪個(gè)情緒是當(dāng)前主導(dǎo)的情緒?
國(guó)內(nèi)某語(yǔ)音情緒識(shí)別產(chǎn)品展示
并不是所有的語(yǔ)氣都像視頻中這樣明顯與激烈,表達(dá)情感是一個(gè)個(gè)性化極強(qiáng)的事情,根據(jù)個(gè)人,環(huán)境甚至文化差異都很大。
此外,一種情緒可能持續(xù)很長(zhǎng)時(shí)間,但期間也會(huì)有快速變化的情緒,情感識(shí)別系統(tǒng)是檢測(cè)長(zhǎng)期的情緒還是短時(shí)的情緒呢?比如某人限于失業(yè)的痛苦中,但期間因?yàn)榕笥训年P(guān)心短暫開(kāi)心了一下,但實(shí)際上他仍處于傷心狀態(tài),AI 該怎么定義他的狀態(tài)呢?
而另一個(gè)令人擔(dān)心的事是,當(dāng)這些產(chǎn)品能夠聽(tīng)懂人的情緒后,是否會(huì)因?yàn)橛脩?hù)對(duì)它的依賴(lài),而詢(xún)問(wèn)更多隱私性的問(wèn)題,獲取用戶(hù)多方面信息,從而將「服務(wù)」變成「買(mǎi)賣(mài)」?
愿你會(huì)擁有大白,也擁有真正懂你的人
很多人都想擁有一個(gè)溫暖又貼心的大白,這個(gè)在科幻動(dòng)畫(huà)里才有的高情商機(jī)器人,未來(lái)是否會(huì)成真呢?
非常低落而緩慢地跟小冰說(shuō)話(huà)得到無(wú)情回答
目前,很多聊天機(jī)器人依然沒(méi)有情商,無(wú)法感知用戶(hù)的小情緒,常常把天聊死。所以,真正能夠聽(tīng)懂你的,依然是陪伴在你身邊傾聽(tīng)你的人。
-
算法
+關(guān)注
關(guān)注
23文章
4576瀏覽量
92345 -
MIT
+關(guān)注
關(guān)注
3文章
253瀏覽量
23328
原文標(biāo)題:女朋友生氣了嗎?算法比直男更懂她
文章出處:【微信號(hào):smartman163,微信公眾號(hào):網(wǎng)易智能】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論