NVIDIA 賦能中科深智實(shí)現(xiàn) NPC 與玩家的千人千面多模態(tài)互動(dòng)

中科深智成立于 2016 年，是一家專注于端到端生成式 AI 虛擬人技術(shù)的公司，從底層自研的大語(yǔ)言模型、動(dòng)作和表情生成算法模型以及 3D 自動(dòng)建模，到 Motionverse 虛擬人業(yè)務(wù)中臺(tái)，再到 3D 生成式 AI 產(chǎn)品和應(yīng)用層。中科深智除了為生態(tài)合作伙伴提供 AI 虛擬人 API 外，還開(kāi)發(fā)了一系列 3D 生成式 AI 產(chǎn)品，包括超寫實(shí)虛擬人生成系統(tǒng) Anyhuman、元宇宙電商和虛擬人直播工具百寶箱自動(dòng)播、AI 快速動(dòng)畫生成系統(tǒng)自動(dòng)畫、虛擬人實(shí)時(shí)交互和應(yīng)答系統(tǒng)云小七等。

傳統(tǒng) NPC 人機(jī)交互

生硬且成本高昂

在動(dòng)作和表情方面，傳統(tǒng) NPC 因?yàn)闊o(wú)法獲取用戶的畫面信息和語(yǔ)音信息，也就無(wú)法做出實(shí)時(shí)的反饋，動(dòng)作和語(yǔ)音的呈現(xiàn)皆靠預(yù)設(shè)，所謂的人機(jī)交互其實(shí)非常的刻板和生硬。

在文字和語(yǔ)音的對(duì)話能力方面，大語(yǔ)言模型的出現(xiàn)賦予了 NPC 實(shí)時(shí)對(duì)話的能力。但無(wú)論是何種大語(yǔ)言模型的誕生，都經(jīng)歷了數(shù)據(jù)清洗、預(yù)訓(xùn)練、指令微調(diào)、測(cè)試、合規(guī)、部署和應(yīng)用接口開(kāi)發(fā)等環(huán)節(jié)，這些環(huán)節(jié)此前是彼此分散的，而并非一體化的，這也意味著每?jī)蓚€(gè)環(huán)節(jié)之間都需要進(jìn)行大量的人工處理和匹配部署，這本質(zhì)上是對(duì)人力成本和時(shí)間成本的浪費(fèi)，亟需一種更加省時(shí)和高效的解決方案。

NVIDIA 賦能游戲 NPC

實(shí)現(xiàn)智能化互動(dòng)

NVIDIA Omniverse 中的 Audio2Face 可以輔助云小七實(shí)現(xiàn)音頻輸入的面部輸出，通過(guò)預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)、調(diào)整角色網(wǎng)格的 3D 頂點(diǎn)等方式，快速實(shí)現(xiàn)表情切換。通過(guò)利用 NVIDIA Maxine 對(duì)于音頻和視頻通信方面進(jìn)行優(yōu)化，即使用戶使用普通的麥克風(fēng)和攝像頭，NPC 也能監(jiān)測(cè)到他們的行為并且產(chǎn)生反饋，與玩家實(shí)現(xiàn)實(shí)時(shí)互動(dòng)。

此外，云小七底層的文字對(duì)話能力來(lái)自于中科深智今年 5 月推出的自有大語(yǔ)言模型 GenSense 數(shù)智姜尚。數(shù)智姜尚是國(guó)內(nèi)商用大模型在輕量化領(lǐng)域內(nèi)的重要嘗試，是針對(duì)垂直領(lǐng)域和虛擬人端到端應(yīng)用而專門設(shè)計(jì)的大語(yǔ)言模型，可成為虛擬人的“大腦”，為其提供實(shí)時(shí)互動(dòng)的能力支撐。數(shù)智姜尚采用了先進(jìn)的優(yōu)化技術(shù)，輕巧便利且占用資源極少，可為用戶提供流暢的使用體驗(yàn)。配合 NVIDIA GPU，數(shù)智姜尚能夠以高性能運(yùn)行并展現(xiàn)出色的表現(xiàn)。其次，數(shù)智姜尚的部署和定制非常簡(jiǎn)便，可以輕松集成到現(xiàn)有的企業(yè)工作流中，為用戶提供個(gè)性化和智能化的解決方案，同時(shí)實(shí)現(xiàn)快速的模型訓(xùn)練和應(yīng)用部署。

NVIDIA NeMo 在數(shù)智姜尚的訓(xùn)練過(guò)程中提供了低門檻、經(jīng)濟(jì)、高效的幫助。

首先，NVIDIA NeMo 幫助解決了訓(xùn)練全流程的問(wèn)題，包括數(shù)據(jù)清洗、預(yù)訓(xùn)練和指令微調(diào)，以及測(cè)試、合規(guī)、部署和應(yīng)用接口開(kāi)發(fā)等。在此之前，這需要多個(gè)架構(gòu)才能完成，因此極大的提高了自有模型的開(kāi)發(fā)效率。

同時(shí)，NVIDIA NeMo 還提供了大量的、可應(yīng)用于多個(gè)不同場(chǎng)景的預(yù)訓(xùn)練模型。選擇 NVIDIA 已經(jīng)訓(xùn)練好的模型，能夠大幅縮短微調(diào)和再訓(xùn)練的時(shí)間，也幫助擴(kuò)充了中科深智自身大模型數(shù)智姜尚的適應(yīng)性。NeMo 本身的 ASR/TTS 也直接帶來(lái)了自然交互工具，無(wú)需借助第三方，從而加速了數(shù)智姜尚的開(kāi)發(fā)和交付。

此外，通過(guò)使用 NVIDIA 提供的 NeMo Guardrails 工具，中科深智還高效解決了對(duì)話式 AI 合規(guī)性和安全性的風(fēng)險(xiǎn)。通過(guò) NeMo Guardrails 為對(duì)話設(shè)置響應(yīng)的范圍和邊界，使數(shù)智姜尚的回答范圍僅限于適當(dāng)?shù)闹黝}并僅提供必要的信息，能夠限制 AI 只與已確認(rèn)安全的第三方應(yīng)用程序建立聯(lián)系。

NVIDIA 助力中科深智

加速AI 對(duì)話數(shù)字人建設(shè)

中科深智聯(lián)合創(chuàng)始人兼 CTO 宋健說(shuō)：“中科深智是 NVIDIA 初創(chuàng)加速計(jì)劃的高級(jí)會(huì)員，通過(guò)該計(jì)劃，一方面中科深智與 NVIDIA 進(jìn)行了深入的技術(shù)合作，另外一方面也鏈接到大量外部企業(yè)資源，可以快速有效的將產(chǎn)品和需求方進(jìn)行對(duì)接。

大模型驅(qū)動(dòng)的對(duì)話式 AI 和數(shù)字人的結(jié)合引發(fā)了新一輪的商業(yè)增量，也是我們的企業(yè)客戶關(guān)注的重點(diǎn)。對(duì)話式數(shù)字人正在不同領(lǐng)域發(fā)揮著越來(lái)越大的作用，幫助企業(yè)用戶解決客戶服務(wù)等難題，提高客戶的體驗(yàn)。然而開(kāi)發(fā)和運(yùn)行可落地的語(yǔ)音人工智能服務(wù)仍然是一項(xiàng)復(fù)雜而艱巨的任務(wù)，通常需要面臨實(shí)時(shí)性、可理解性、自然性、低資源、魯棒性等挑戰(zhàn)。在 NVIDIA 初創(chuàng)加速計(jì)劃的支持之下，我們深入了解并且成功應(yīng)用了 NVIDIA 各項(xiàng)最新技術(shù)和工具，包括 NVIDIA Nemo，NVIDIA Omniverse 等等，切實(shí)幫助我們加速了 AI 對(duì)話數(shù)字人的建設(shè)?！?/span>

NVIDIA 初創(chuàng)加速計(jì)劃

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力？掃描下方二維碼，僅需一分鐘填寫意向申請(qǐng)表單，獲得快速聯(lián)系。