思必馳AI數(shù)字人解決方案實現(xiàn)高度逼真的口型還原

2023年9月，中國（南京）文化和科技融合成果展覽交易會（以下簡稱“融交會”）在中國南京召開。融交會作為全國首個聚焦文化科技融合的專題展會，自從2018年起已成功舉辦5屆，構(gòu)建了全國文化科技融合示范基地成果展示平臺、行業(yè)深度融合的交流合作平臺。

城市文化大數(shù)據(jù)智能實驗室的簽約合作揭牌儀式

本次大會上，南京文投聯(lián)合思必馳等多家合作伙伴共同發(fā)布了城市文化大數(shù)據(jù)智能實驗室，思必馳AI數(shù)字人解決方案及口型驅(qū)動技術(shù)也亮相會場，收獲了現(xiàn)場關(guān)注。

思必馳牽手南京文投，探索大模型文化產(chǎn)業(yè)落地

9月22日上午，南京文投集團數(shù)字化發(fā)布會如期進行，南京文投重磅發(fā)布了文化大數(shù)據(jù)、文博大模型、文脈區(qū)塊鏈、文都元宇宙等多項全國首發(fā)創(chuàng)新成果。

思必馳副總經(jīng)理鄒平博士發(fā)表致辭

思必馳副總經(jīng)理鄒平博士作為合作伙伴代表發(fā)表了致辭，他表示，未來思必馳將充分發(fā)揮自身在數(shù)字人、語言大模型等領(lǐng)域的技術(shù)研發(fā)優(yōu)勢，與南京文投在多個維度展開深度合作，共同探索AI大模型在文化大產(chǎn)業(yè)的創(chuàng)新落地。

思必馳產(chǎn)品總監(jiān)馬斌斌出席圓桌論壇

9月22日下午，思必馳產(chǎn)品總監(jiān)馬斌斌出席了大模型時代AIGC賦能文化產(chǎn)業(yè)發(fā)展論壇圓桌環(huán)節(jié)。針對生成式AI、大模型、AIGC等行業(yè)前沿科技議題，依托于思必馳在AI領(lǐng)域多年的科研探索，馬總發(fā)表了專業(yè)的行業(yè)見解。

思必馳副總裁李春梅發(fā)表演講

9月23日上午，思必馳副總裁李春梅在大會分論壇2023第二屆中國（南京）文化元宇宙論壇中，發(fā)表了《語言文化大模型賦能數(shù)字文化產(chǎn)業(yè)新應(yīng)用與新范式》的專題演講，對于思必馳在語言大模型賦能文化產(chǎn)業(yè)生態(tài)和吳方言數(shù)字化等領(lǐng)域的研發(fā)優(yōu)勢和落地成果案例進行了分享。

大模型賦能數(shù)字人，思必馳口型驅(qū)動技術(shù)獲關(guān)注

基于AI口型驅(qū)動技術(shù)，思必馳為本次大會帶來了AI數(shù)字人整體解決方案。思必馳AI口型驅(qū)動技術(shù)通過計算機圖形和深度學(xué)習技術(shù)提取真人說話過程中人物面部變化與語言、聲音的關(guān)鍵特征，完成口型模型的建模。該模型可以通過直接輸入音頻文件或通過語音合成技術(shù)將文本合成為音頻，推理生成真人說話時的口型并遷移到原本的視頻畫面中，實現(xiàn)高度逼真的口型還原。

思必馳AI口型驅(qū)動技術(shù)在現(xiàn)場引起了熱烈的討論，訪客只需要隨機輸入一段文字，就可現(xiàn)場實時生成對應(yīng)的口型，該段語音也會被同步生成到思必馳展臺現(xiàn)場的數(shù)字人大屏中，完成人機互動。思必馳數(shù)字人可以支持漢語、英語、法語、俄語等多語種和粵語、閩南語、吳語等多種方言以及蘿莉音、大叔音等多種趣味音色匹配生成。

數(shù)字人的打造需要運用計算機圖形學(xué)、計算機視覺、自然語言處理、智能語音等領(lǐng)域的知識和技術(shù)，而全鏈路語音語言交互技術(shù)恰恰是思必馳多年深耕的創(chuàng)新優(yōu)勢。借著科技創(chuàng)新的時代東風，思必馳于2023年7月正式發(fā)布了語言大模型DFM-2。基于DFM-2大模型推出的自然場景數(shù)字人生成技術(shù)，在外貌上，思必馳采用擴散生成模型，通過小數(shù)據(jù)模型訓(xùn)練，基于真人形象，構(gòu)建出可自由交互的數(shù)字形象。在語音上，思必馳通過聲音復(fù)刻、單人千音、細粒度情感及風格合成、音頻場景合成等系列技術(shù)，為數(shù)字人賦予語言能力，讓數(shù)字人變得更加鮮活。

思必馳打造的數(shù)字人從形態(tài)到聲音上都媲美真人，不僅能說會道，還精通粵語、四川話、上海話等各地方言及英語、法語、俄語等多國語言，可廣泛應(yīng)用于智能家居、智能車載、智能軌交、市場營銷等場景，為人類生活帶來更多可能。

在市場營銷領(lǐng)域，數(shù)字人可用于線上直播創(chuàng)新產(chǎn)品營銷推廣形式，幫助企業(yè)節(jié)省人力成本；在智能汽車領(lǐng)域，數(shù)字人可融入車載系統(tǒng)，提供導(dǎo)航、新聞播報等服務(wù)，在智慧座艙、智慧出行等領(lǐng)域都有很大優(yōu)勢；在家居領(lǐng)域，數(shù)字人可入駐家電大屏中，為用戶提供菜譜推薦、家務(wù)規(guī)劃、情感陪伴等交互式體驗，成為用戶貼心的數(shù)字人管家；在軌交領(lǐng)域，數(shù)字人可在車站提供路線導(dǎo)航、購票規(guī)劃、信息咨詢等服務(wù)，擺脫時間空間局限，靈活高效。

聚焦智能語音創(chuàng)新，思必馳多領(lǐng)域探索科技落地

依托于多年在全鏈路語音語言交互技術(shù)領(lǐng)域的深耕，思必馳已經(jīng)積累起了一整套的技術(shù)專利優(yōu)勢。在DFM-2大模型技術(shù)的加持下，思必馳自主研發(fā)的全鏈路智能對話系統(tǒng)定制化平臺DUI已升級為2.0版本，可實現(xiàn)場景化對話系統(tǒng)的柔性組合制造，為客戶提供定制化服務(wù)。聚焦“云+芯”戰(zhàn)略，思必馳堅持軟硬件一體化人機對話系統(tǒng)構(gòu)建，在AI芯片、AI模組和AI終端等領(lǐng)域均有產(chǎn)品落地。思必馳智能會議轉(zhuǎn)寫軟件麥耳會記和智能會議麥克風音箱M4、M6、M12系列已經(jīng)在智能會議場景中深度應(yīng)用。

在賦能文化產(chǎn)業(yè)方面，思必馳的AI數(shù)字人解決方案已在媒體、文旅、教育、大健康、智能家庭等領(lǐng)域廣泛布局，未來，思必馳將繼續(xù)探索數(shù)字人在智能汽車、智能家居、智慧辦公、智能政務(wù)等領(lǐng)域的落地應(yīng)用，發(fā)揮技術(shù)研發(fā)優(yōu)勢，落地創(chuàng)新成果，使科技理想照亮現(xiàn)實生活。

審核編輯：彭菁