搜狗陳偉:AI主播將加入肢體動(dòng)作,讓主播的表達(dá)方式更加多元化

2018年底，在第五屆世界互聯(lián)網(wǎng)大會(huì)上，“克隆”于真人主播邱浩的全球首個(gè)AI合成男主播“首秀”，由新華社聯(lián)合搜狗發(fā)布，很快在全球范圍內(nèi)引起熱議。

陳偉，搜狗語音交互技術(shù)中心高級(jí)總監(jiān)，同時(shí)也是新華社AI主播項(xiàng)目的負(fù)責(zé)人。他表示，從去年11月到現(xiàn)在，新華社工作的兩位AI主播已經(jīng)播報(bào)了幾千余條新聞，沒有出現(xiàn)過失誤。

今年2月19日，男主播升級(jí)成為站立式AI合成主播“新小浩”，站立式“新小浩”不僅能坐著播報(bào)新聞，還能站起來，帶著手勢(shì)、姿態(tài)等多種肢體動(dòng)作，更接近于真人。與此同時(shí)，雙方還推出了首個(gè)AI合成女主播“新小萌”。

在新華社，基于兩位真實(shí)主播的聲音、表情等真實(shí)數(shù)據(jù)生成模型，工作人員僅需要輸入新聞稿，就可以讓AI形象自動(dòng)根據(jù)文字播報(bào)。并且，無需進(jìn)行二次視頻編輯，AI主播將自動(dòng)識(shí)別語義并配上對(duì)應(yīng)音調(diào)及表情。

“我們提供的系統(tǒng)，新華社只要每天在想要播報(bào)的新聞，過幾秒鐘生成一個(gè)完整的視頻，中文、英文不同類型的新聞視頻就可以馬上出來?！标悅ケ硎?。我們看到，AI主播的能力在不斷進(jìn)化，2月發(fā)布的“新小浩”開始加入肢體動(dòng)作，讓主播的表達(dá)方式更加多元化。

AI合成主播來自于搜狗AI分身項(xiàng)目的落地，基于多種模態(tài)識(shí)別融合的技術(shù)，包括語音、手寫、唇語等維度的識(shí)別和模擬，僅需數(shù)個(gè)小時(shí)的視頻資料就可以合成一個(gè)比較逼真的真人形象。

“逼真度”是衡量AI主播效果的一個(gè)重要指標(biāo)。陳偉向機(jī)器之心表示，在初期，團(tuán)隊(duì)采用主觀的方式來衡量AI分身的真實(shí)度，最近逐漸考慮采用一些客觀標(biāo)準(zhǔn)，比如與真人視頻每一幀畫面進(jìn)行比對(duì)。

近日，一段“換臉楊冪版”的《射雕英雄傳》在網(wǎng)上廣泛流傳，關(guān)于AI換臉和模擬真人技術(shù)的討論上升到社會(huì)層面，比如將技術(shù)用于不正當(dāng)目的的倫理問題。

陳偉對(duì)此回應(yīng)，首先， “分身”與“換臉”（deepfakes）在技術(shù)層面有著本質(zhì)的差別，“換臉實(shí)際上是把一個(gè)人臉映射到另一個(gè)人臉上，前期投入成本很大，但‘分身’一旦建模之后，只需要輸入文字就可以生成視頻，不需要任何表演成本在里面。”

在技術(shù)使用的規(guī)范問題上，陳偉表示， “搜狗選擇和明確的公司、在明確的領(lǐng)域合作，盡量通過場(chǎng)景圈定技術(shù)的使用范圍，這樣的好處就是不會(huì)把技術(shù)濫用。