建設(shè)高性能終端平臺(tái)——傳音元宇宙的基礎(chǔ)設(shè)施探索

由于世界各地迥異的風(fēng)土人情，文化偏好與基礎(chǔ)設(shè)施建設(shè)水平，音視頻業(yè)務(wù)在全球化的推廣進(jìn)程中遇到了諸多困難，這也使得元宇宙在未來的布局中會(huì)面臨多種挑戰(zhàn)。為了更好的服務(wù)不同地區(qū)的用戶，傳音基于終端平臺(tái)做出了一系列針對(duì)音視頻、影像、游戲等業(yè)務(wù)的優(yōu)化解決方案，提升了用戶在不同場(chǎng)景下的視聽體驗(yàn)。

本次分享將分為三個(gè)部分，第一部分介紹全球用戶在音視頻業(yè)務(wù)中的痛點(diǎn)，包括弱網(wǎng)環(huán)境，環(huán)溫差異，文化差異，個(gè)性偏好差異等；第二部分主要闡述傳音針對(duì)不同用戶所研發(fā)的網(wǎng)絡(luò)優(yōu)化，音視頻影像，游戲體驗(yàn)優(yōu)化等技術(shù)。為了提前布局元宇宙，并在AIGC時(shí)代迎來新的機(jī)遇，傳音針對(duì)不同地區(qū)的人群研發(fā)了AI語音，虛擬人等技術(shù)；在未來也將在終端平臺(tái)搭建異構(gòu)計(jì)算，交互體驗(yàn)預(yù)測(cè)等新的技術(shù)平臺(tái)，這些內(nèi)容將在第三部分詳細(xì)介紹。

文/趙玉東

整理/LiveVideoStack

大家好，首先簡(jiǎn)單介紹一下傳音，它是面向非洲、東南亞、拉美的手機(jī)終端制造商，在十多年間積累了很多全球化經(jīng)驗(yàn)。今天分享的題目是《建設(shè)高性能終端平臺(tái)——傳音元宇宙的基礎(chǔ)設(shè)施探索》，元宇宙是一個(gè)綜合了各種音視頻交互（游戲、體驗(yàn)等）的全方位框架，在這個(gè)場(chǎng)景下，有很多可以展開的內(nèi)容。

接下來做個(gè)自我介紹，我叫趙玉東，博士畢業(yè)于倫敦瑪麗女王大學(xué)，研究方向主要是音頻相關(guān)，包括音樂風(fēng)格建模等。在傳音，我主要負(fù)責(zé)游戲端音頻探索、性能優(yōu)化等。

這張圖是Jon Radoff提出的元宇宙構(gòu)成要素。底層是基礎(chǔ)設(shè)施，接下來是人機(jī)交互，包括交互體驗(yàn)和方式等；再往上是去中心化，如邊緣計(jì)算、AI代理、區(qū)塊鏈等，其相當(dāng)于元宇宙的機(jī)制；空間計(jì)算即如何把元宇宙中的虛擬空間和現(xiàn)實(shí)進(jìn)行映射結(jié)合，以獲得沉浸感體驗(yàn)；傳作者經(jīng)濟(jì)和探索發(fā)現(xiàn)關(guān)乎元宇宙具體如何運(yùn)作；最上層是在綜合了視覺、聽覺、觸覺等之后，給用戶帶來最終的沉浸體驗(yàn)。

本次分享主要分為三部分：1、全球化當(dāng)中的挑戰(zhàn)與痛點(diǎn)；2、針對(duì)挑戰(zhàn)和痛點(diǎn)的終端解決方案；3、未來技術(shù)探索。

-01-

挑戰(zhàn)與痛點(diǎn)

上圖是元宇宙相關(guān)技術(shù)的分類，包括應(yīng)用場(chǎng)景、算力、算法、通信、交互技術(shù)、產(chǎn)權(quán)規(guī)則。對(duì)應(yīng)的，每一類別都面臨相應(yīng)的挑戰(zhàn)，比如算力會(huì)有性能瓶頸，算法模擬的真實(shí)世界需要考慮人文文化，在通信層面需要應(yīng)對(duì)不同國(guó)家地區(qū)的網(wǎng)絡(luò)情況等等。

上圖是各國(guó)互聯(lián)網(wǎng)用戶在本國(guó)家的數(shù)量占比情況?？梢钥吹?，從2005年到2021年，各國(guó)的互聯(lián)網(wǎng)用戶有明顯的增長(zhǎng)，但例如非洲等地的入網(wǎng)人數(shù)還是比較有限的，這也一定程度反映了各國(guó)網(wǎng)絡(luò)基礎(chǔ)設(shè)施是參差不齊的，同時(shí)也會(huì)給用戶服務(wù)帶來一些問題和挑戰(zhàn)。

此外，在日常生活中，例如在高鐵和地下車庫、商場(chǎng)等環(huán)境中，都會(huì)遇到網(wǎng)絡(luò)不佳、信號(hào)屏蔽的情況，這樣用戶使用網(wǎng)絡(luò)時(shí)延遲就會(huì)變高。

然后是性能瓶頸，在游戲、直播等場(chǎng)景會(huì)遇到終端算力問題，面臨全球不同用戶的需求，如何滿足不同機(jī)型的使用體驗(yàn)。

面臨各地不同的氣候環(huán)境，終端體驗(yàn)的差別也是非常大的。

人文文化有時(shí)是被忽略的一點(diǎn)。例如某些小語種、音樂偏好、宗教習(xí)慣等可能在設(shè)備中不被支持，同樣會(huì)影響用戶體驗(yàn)。

在偏好與習(xí)慣上，不同地區(qū)的用戶會(huì)對(duì)色彩感知、聲音類型和仿生學(xué)定制有不用的偏好和習(xí)慣差異。

最后就是需要兼顧全球各地對(duì)于隱私數(shù)據(jù)安全、法律和社會(huì)道德的要求。

-02-

終端解決方案

針對(duì)以上的問題，我們提供一些相應(yīng)的解決方案。

例如針對(duì)算力，會(huì)提供溫升控制和智能算力分配；在算法層面配備色彩增強(qiáng)引擎；通信層面增加本地化網(wǎng)絡(luò)治理策略；交互層面涵蓋小語種語音交互；遵守本地的政策法規(guī)；根據(jù)地區(qū)的應(yīng)用場(chǎng)景做本地化虛擬形象。

接下來將針對(duì)以上六個(gè)層面展開來講。

1、本地化網(wǎng)絡(luò)治理

首先是弱網(wǎng)優(yōu)化LinkPlus，它是為解決弱網(wǎng)環(huán)境下游戲時(shí)延高卡頓、視頻難以加載、網(wǎng)頁打開緩慢、視頻電話卡頓、手機(jī)在上網(wǎng)場(chǎng)景中發(fā)熱嚴(yán)重等應(yīng)用問題二設(shè)計(jì)的網(wǎng)絡(luò)優(yōu)化引擎。

LinkPlus分為四個(gè)版本，目前還在持續(xù)優(yōu)化。

LinkPlus v1.0基于前端反饋機(jī)制+AI預(yù)測(cè)模型的應(yīng)用單鏈路分流，保持鏈接不斷的情況下實(shí)現(xiàn)網(wǎng)絡(luò)智能切換和功耗調(diào)節(jié)；

LinkPlus v2.0基于AI預(yù)測(cè)模型的多鏈路數(shù)據(jù)補(bǔ)充解決單鏈路數(shù)據(jù)弱網(wǎng)問題；

LinkPlus v3.0使用自學(xué)習(xí)的AI算法打造符合個(gè)人使用習(xí)慣的網(wǎng)絡(luò)生態(tài)（AI聯(lián)合學(xué)習(xí)框架）；

LinkPlus v4.0是構(gòu)建端、云、邊全鏈路網(wǎng)絡(luò)解決方案。

這是弱網(wǎng)治理的技術(shù)架構(gòu)圖

前端有三個(gè)感知模塊，分別是用戶喜好、網(wǎng)絡(luò)環(huán)境和應(yīng)用反饋的感知。接著，把對(duì)應(yīng)的感知結(jié)果傳到LinkPlus智能調(diào)度，以分配不同的網(wǎng)絡(luò)。

上圖是LinkPlus功能開啟和關(guān)閉情況下在不同弱網(wǎng)環(huán)境中的時(shí)延對(duì)比數(shù)據(jù)。經(jīng)過實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，LinkPlus可以快速預(yù)測(cè)網(wǎng)絡(luò)變化并尋找切換最優(yōu)網(wǎng)絡(luò)。

上圖是一個(gè)實(shí)際應(yīng)用場(chǎng)景的示例

一個(gè)用戶的前臺(tái)app正在進(jìn)行游戲，后臺(tái)運(yùn)行著其他app，LinkPlus會(huì)感知用戶的使用情況，同時(shí)判斷當(dāng)前的網(wǎng)絡(luò)狀態(tài)，結(jié)合二者把前臺(tái)應(yīng)用分流到狀況較好的網(wǎng)絡(luò)，另外網(wǎng)絡(luò)QoS處于動(dòng)態(tài)監(jiān)控，A引擎映射會(huì)根據(jù)QoS預(yù)測(cè)QoE。

2、色彩增強(qiáng)引擎

色彩增強(qiáng)引擎（PQE）通過調(diào)整畫面的清晰度、飽和度、亮度、對(duì)比度等參數(shù)優(yōu)化畫面質(zhì)量，用戶可以針對(duì)某個(gè)特定App使用參數(shù)優(yōu)化視覺體驗(yàn)。

3、智能算力分配

首先是智能超分算法。GPU渲染低分辨率圖像（720p），通過AI-SR超分算法提升其分辨率并智能恢復(fù)細(xì)節(jié)（1080p），以減少GPU算量，降低整理功耗。

智能可變渲染是通過AI識(shí)別場(chǎng)景關(guān)鍵點(diǎn)位置，降低非焦點(diǎn)區(qū)域渲染質(zhì)量，以達(dá)到節(jié)約GPU功耗的目的。

智能幀回救系統(tǒng)通過AI算法預(yù)測(cè)游戲每幀的算量需求，動(dòng)態(tài)調(diào)整CPU工作頻率，實(shí)現(xiàn)幀內(nèi)預(yù)測(cè)與回救，減少掉幀，平衡游戲功耗。

4、智能溫升控制

智能環(huán)溫預(yù)測(cè)是通過獲取到的原始特征如主板溫度、CPU溫度、使用率等，進(jìn)行數(shù)據(jù)預(yù)處理，結(jié)合分類模型進(jìn)行環(huán)境溫度的預(yù)測(cè)，為手機(jī)溫升提供策略支持。

在游戲內(nèi)可通過懸浮窗快速開啟溫升控制，在開啟溫控策略的情況下，可以根據(jù)實(shí)時(shí)使用情況預(yù)測(cè)到溫度變化，控制發(fā)熱情況，減少限頻卡頓現(xiàn)象。

5、本地化語音交互

我們推出面向新興市場(chǎng)本地小語種的AI語音助手，針對(duì)非洲網(wǎng)絡(luò)基礎(chǔ)設(shè)施特點(diǎn)進(jìn)行了離線語音交互方案，適配本地口音、場(chǎng)景和領(lǐng)域。

接下來是針對(duì)個(gè)性化場(chǎng)景的音頻降噪。需要根據(jù)當(dāng)?shù)氐脑胍魣?chǎng)景進(jìn)行數(shù)據(jù)收集，建立數(shù)據(jù)庫，以應(yīng)對(duì)當(dāng)?shù)貍€(gè)性化需求。降噪效果演示：

6、本地化虛擬形象

傳音擁有億量級(jí)的深膚色影像大數(shù)據(jù)庫平臺(tái)，以及相應(yīng)的圖像算法、國(guó)際標(biāo)準(zhǔn)、定制芯片等。

圖為針對(duì)印度市場(chǎng)的虛擬人解決方案，和傳音取得的數(shù)字人系統(tǒng)基礎(chǔ)能力評(píng)測(cè)證書。

-03-

未來技術(shù)探索

未來技術(shù)的探索包括算力增強(qiáng)、網(wǎng)絡(luò)深度優(yōu)化、VR+內(nèi)容借口、玩法體驗(yàn)優(yōu)化等。

首先是網(wǎng)絡(luò)深度優(yōu)化。在預(yù)測(cè)機(jī)制方面，根據(jù)QoE和QoS映射關(guān)系，進(jìn)行主動(dòng)和被動(dòng)探測(cè)，通過決策層然后做出相應(yīng)的策略。

如圖是未來在算力增強(qiáng)方面需要做的一些探索方向。

傳音除了是終端制造商，目前也有移動(dòng)互聯(lián)的業(yè)務(wù)，希望結(jié)合人因工程和大數(shù)據(jù)，打造生態(tài)化的應(yīng)用場(chǎng)景。

最后是希望打造全方位玩法的感知優(yōu)化，包括視覺、聽覺、觸覺和玩法的體驗(yàn)感知優(yōu)化。