一切為了高清——金山云魔鏡平臺(tái)助推5G高清應(yīng)用

5G時(shí)代是超高清的時(shí)代，然而，冰凍三尺非一日之寒，在超高清視頻直播點(diǎn)播等業(yè)務(wù)研發(fā)過(guò)程中，總會(huì)遇到很多令人抓狂的難題。本次LiveVideoStackCon 2020線上峰會(huì)我們邀請(qǐng)到了金山云高級(jí)技術(shù)總監(jiān)蔡媛，她將從金山云魔鏡平臺(tái)本身出發(fā)，講解平臺(tái)如何幫助使用者提升畫(huà)質(zhì)評(píng)測(cè)效率，保障評(píng)測(cè)質(zhì)量，一站式解決用戶畫(huà)質(zhì)評(píng)測(cè)的難點(diǎn)。

大家好，我是來(lái)自金山云視頻云團(tuán)隊(duì)的蔡媛，很高興可以在LiveVideoStackCon2020首屆線上峰會(huì)與大家見(jiàn)面，本次我分享的主題是：一切為了高清——金山云魔鏡平臺(tái)助推5G高清應(yīng)用。在5G時(shí)代，超高清視頻直播點(diǎn)播業(yè)務(wù)飛速發(fā)展，你是否也面臨這樣一些問(wèn)題，比如AI超分或者美顏會(huì)不會(huì)有bad case？局部的暗場(chǎng)和色彩增強(qiáng)的效果如何？磨皮去噪是否丟失了細(xì)節(jié)？金山云魔鏡平臺(tái)就是為了解決以上問(wèn)題而誕生的，其目的是建立符合用戶”感知愉悅度”的評(píng)價(jià)體系，深度解析算法對(duì)主觀畫(huà)質(zhì)的影響。 01 PART 金山云視頻云介紹 本次的內(nèi)容將從以下幾個(gè)方面進(jìn)行介紹：首先介紹金山云視頻云的整體情況；其次分析視頻行業(yè)的痛點(diǎn)；再次重點(diǎn)介紹金山云魔鏡平臺(tái)（https://kqoe.ksyun.com/）是如何解決視頻圖像質(zhì)量的痛點(diǎn)以及其中的核心技術(shù)難點(diǎn)；最后分享魔鏡平臺(tái)的客戶案例。 1.1金山云視頻云簡(jiǎn)介

金山云創(chuàng)立于2012年，是中國(guó)前三的互聯(lián)網(wǎng)云服務(wù)廠商，于2020年5月在美國(guó)納斯達(dá)克成功上市，業(yè)務(wù)遍布全球及多個(gè)國(guó)家和地區(qū)。成立八年以來(lái)，金山云始終堅(jiān)持以客戶為中心的服務(wù)理念，擁有120多個(gè)行業(yè)解決方案，服務(wù)于243個(gè)頭部客戶，為客戶提供安全、可靠、穩(wěn)定、高品質(zhì)的云計(jì)算服務(wù)。

金山云視頻云擁有六大核心技術(shù)，包括視頻編解碼技術(shù)、圖像處理技術(shù)、質(zhì)量評(píng)價(jià)體系、人工智能、邊緣計(jì)算、網(wǎng)絡(luò)傳輸技術(shù)。在六大技術(shù)的基礎(chǔ)上構(gòu)建了五個(gè)產(chǎn)品，分別是金山云魔鏡、AV1、KSC265、人臉修復(fù)、超分。又在五大產(chǎn)品的基礎(chǔ)上構(gòu)建八大行業(yè)解決方案，包括直播行業(yè)解決方案、點(diǎn)播解決方案、云游戲、評(píng)價(jià)體系、集智高清、KIE、智能審核以及VR，這些方案為圖中九大行業(yè)進(jìn)行服務(wù)。 1.2金山云視頻云優(yōu)勢(shì)介紹

金山云視頻云的優(yōu)勢(shì)體現(xiàn)在：一是構(gòu)建在金山云龐大的云計(jì)算和云存儲(chǔ)基礎(chǔ)上進(jìn)行服務(wù)，所以擁有大規(guī)模的緩存系統(tǒng)，流量調(diào)度系統(tǒng)以及各種編解碼轉(zhuǎn)碼系統(tǒng)；滿足互聯(lián)網(wǎng)各種視頻應(yīng)用業(yè)務(wù)場(chǎng)景的需求，為客戶提供完整的解決方案；并且有大數(shù)據(jù)平臺(tái)可以幫助客戶進(jìn)行實(shí)時(shí)的大數(shù)據(jù)分析。二是在視頻垂直細(xì)分領(lǐng)域有強(qiáng)大的經(jīng)驗(yàn)技術(shù)積累的基礎(chǔ)，比如金山云視頻云在存儲(chǔ)、CDN、視頻編解碼和人工智能方面都有非常強(qiáng)的技術(shù)儲(chǔ)備；曾榮獲2018年亞太CDN年會(huì)“最佳創(chuàng)新獎(jiǎng)”，并且多次獲得MSU編碼大賽冠軍；而且基于AI的云轉(zhuǎn)碼“集智高清”可以為客戶節(jié)省58%以上碼率，屬于行業(yè)領(lǐng)先的水平。 02 PART 視頻行業(yè)痛點(diǎn) 2.1視頻行業(yè)的痛點(diǎn)

視頻行業(yè)實(shí)際上處于一個(gè)高速發(fā)展的階段，用戶的痛點(diǎn)也在不斷發(fā)生變化。視頻行業(yè)的痛點(diǎn)主要體現(xiàn)在：首先客戶終端發(fā)生了變化，即從電視到手提電腦到Pad到手機(jī)，而且手機(jī)終端的應(yīng)用也有極大的豐富。 其次視頻的高清體驗(yàn)不斷提升，分辨率從1K到4K到8K超高清、立體聲從單聲道、雙聲道到立體聲道、幀率從10fps到30fps到60fps,都有很大提升，所以隨著視頻行業(yè)的發(fā)展趨勢(shì)，在帶寬、網(wǎng)絡(luò)極大豐富的背景下，高清相比碼率的需求會(huì)增加。同時(shí)視頻內(nèi)容發(fā)生變更，PGC、UGC、云游戲的出現(xiàn)，當(dāng)手機(jī)娛樂(lè)達(dá)到一個(gè)瓶頸時(shí)，會(huì)螺旋式地向大屏方向發(fā)展，包括pad、8k超高清電視等。netflix，google stadia 就是很好的例子。 Netflix是美國(guó)最大的流媒體播放服務(wù)商和美國(guó)最受歡迎的視頻網(wǎng)站，電視會(huì)員群體發(fā)展非常良性，而google stadia則在大屏上具備了比手機(jī)端更加非凡的效果。 2.2量化主觀質(zhì)量的難點(diǎn)

在5G時(shí)代，視頻高清發(fā)展不斷提升的大背景下，如何不斷地提升高清體驗(yàn)，如何衡量包括超分、修復(fù)、增強(qiáng)等這些視頻質(zhì)量效果是量化主觀質(zhì)量的難點(diǎn)。 我們從線上爬取了14萬(wàn)的數(shù)據(jù)，并篩選了1000個(gè)視頻，每個(gè)視頻時(shí)長(zhǎng)在五秒鐘左右。在1000個(gè)視頻里進(jìn)行隨機(jī)地編碼和縮放失真，生產(chǎn)了2000段噪聲數(shù)據(jù)，并對(duì)這2000段噪聲數(shù)據(jù)進(jìn)行標(biāo)注，總計(jì)有15萬(wàn)次標(biāo)注。 通過(guò)VMAF、PSNR數(shù)值得出VMAF、PSNR的SROCC值并不高，這反映出雖然擁有客觀評(píng)價(jià)指標(biāo)，但客觀評(píng)價(jià)指標(biāo)實(shí)際上很難量化主觀觀看的效果。這僅是編碼失真的衡量上就體現(xiàn)出這樣的難點(diǎn)，那么AI增強(qiáng)以及修復(fù)等增強(qiáng)的效果可能更難去衡量。 2.3提升視頻高清體驗(yàn)的關(guān)鍵點(diǎn)

如何不斷地提升視頻高清體驗(yàn)，關(guān)鍵點(diǎn)是需要有一個(gè)明確的可量化的質(zhì)量目標(biāo)?；乜茨限@北轍的故事總結(jié)出目標(biāo)的重要性，做任何事情，在行動(dòng)之前需要明確一個(gè)正確的目標(biāo)，這是做成一件事情的前提。因此提高視頻高清體驗(yàn)也需要一個(gè)明確可量化的主要目標(biāo)，這樣才能支持高清路線迭代地向前發(fā)展。 2.4視頻主觀畫(huà)質(zhì)可量化指標(biāo)的難點(diǎn)

建立視頻主觀畫(huà)質(zhì)可量化指標(biāo)主要從以下四個(gè)方面進(jìn)行分析： 首先是視頻的篩選，如何從海量視頻里挑選具備代表性的視頻和內(nèi)容的覆蓋面廣度是比較關(guān)鍵的問(wèn)題，因?yàn)椴煌囊曨l測(cè)試集，最終得出的測(cè)試結(jié)果完全不一樣，那么測(cè)試序列該如何篩選呢？ 其次是評(píng)測(cè)維度的制定，哪些評(píng)測(cè)維度是有必要衡量的，用幾分制？全參考和無(wú)參考的模式也不相同。 再次是評(píng)測(cè)質(zhì)量，因?yàn)樵u(píng)測(cè)需要多人的評(píng)測(cè)才能得出一個(gè)平均分?jǐn)?shù)，那么多少人的評(píng)測(cè)才能既保證評(píng)測(cè)的精度又不浪費(fèi)人力成本？同時(shí)還要考慮評(píng)測(cè)的結(jié)果是否需要篩選，數(shù)據(jù)如何分析的問(wèn)題。 最后是數(shù)據(jù)映射，不同時(shí)期，不同情景下的評(píng)測(cè)分?jǐn)?shù)，如何將這些不同時(shí)期的數(shù)據(jù)進(jìn)行數(shù)據(jù)映射這也是其中的難點(diǎn)。以上四點(diǎn)是我們認(rèn)為的評(píng)測(cè)中的難點(diǎn)。 03 PART 金山云魔鏡 3.1 金山云魔鏡的作用

上圖部分介紹了金山云魔鏡平臺(tái)是如何解決上述問(wèn)題的。一是平臺(tái)提升了評(píng)測(cè)效率和質(zhì)量，魔鏡平臺(tái)是以在線平臺(tái)的方式提供圖像和視頻評(píng)測(cè)服務(wù)，不需要下載；評(píng)測(cè)的任務(wù)是通過(guò)流式管理，大大提升了評(píng)測(cè)的效率，并且可以通過(guò)平臺(tái)監(jiān)控主觀評(píng)測(cè)的質(zhì)量。 二是平臺(tái)提供專(zhuān)業(yè)的評(píng)測(cè)方式，支持全參考模式、無(wú)參考模式和OAA模式這三種評(píng)測(cè)模式；支持自定義評(píng)測(cè)維度，并為客戶提供客觀評(píng)價(jià)指標(biāo)的自動(dòng)化計(jì)算。 三是平臺(tái)的背后還有評(píng)測(cè)專(zhuān)家的支持，幫助客戶進(jìn)行合理的視頻篩選以及評(píng)測(cè)維度的制定，而且提供專(zhuān)業(yè)的評(píng)測(cè)報(bào)告和數(shù)據(jù)分析。 最后所有的這些平臺(tái)功能和專(zhuān)家團(tuán)隊(duì)的支持，實(shí)際上都是幫助客戶提升圖像和視頻產(chǎn)品的主觀質(zhì)量，提升客戶產(chǎn)品的感知愉悅度。 3.1.1 視頻篩選

在細(xì)節(jié)解讀方面，首先是視頻篩選，傳統(tǒng)的基于內(nèi)容的篩選實(shí)際上存在比較大的缺陷，比如傳統(tǒng)的分類(lèi)包括籃球、足球、綜藝等分類(lèi)，但這只是篩選的其中一個(gè)維度，還需要對(duì)特征質(zhì)量包括色彩、亮度、噪聲、抖動(dòng)等特征進(jìn)行篩選，但這些特征是連續(xù)的、非離散的，沒(méi)辦法通過(guò)窮舉的方式得出合適的篩選集，需要通過(guò)篩選的算法達(dá)到這樣的效果。

魔鏡平臺(tái)在數(shù)據(jù)篩選方面有以下幾個(gè)步驟：首先將海量的數(shù)據(jù)集經(jīng)過(guò)數(shù)據(jù)過(guò)濾，再通過(guò)均衡算法進(jìn)行篩選。均衡算法里包括特征均衡、質(zhì)量均衡、內(nèi)容均衡。特征均衡主要包括亮度、色彩、邊緣等特征；質(zhì)量均衡包括噪聲、模糊、抖動(dòng)數(shù)據(jù)集的均衡；內(nèi)容均衡包括運(yùn)動(dòng)的動(dòng)態(tài)、靜態(tài)、遠(yuǎn)景、近景。綜合這些均衡算法可以得出一個(gè)綜合的考量的數(shù)據(jù)集。 下面兩張圖是篩選前后的一個(gè)對(duì)比，在篩選前的原始數(shù)據(jù)分布是極度不均勻的，其呈現(xiàn)的特點(diǎn)就是中間大兩頭小。經(jīng)過(guò)均衡篩選后的數(shù)據(jù)集，在各維度的分布上都更加的均衡。 3.1.2 測(cè)頻維度

數(shù)據(jù)集篩選之后就要開(kāi)始制定評(píng)測(cè)維度，評(píng)測(cè)維度有哪些？每個(gè)維度如何設(shè)定分?jǐn)?shù)，分?jǐn)?shù)如何描述和量化以及維度之間是不是具有相關(guān)性，這些對(duì)一次評(píng)測(cè)的成敗有比較關(guān)鍵的影響。 對(duì)視頻質(zhì)量而言，存在多種多樣的場(chǎng)景，比如在采集和壓縮中帶來(lái)的噪聲，拍攝中的暗場(chǎng)和過(guò)曝，或?qū)故?zhǔn)造成的模糊，還有色彩問(wèn)題、動(dòng)作卡頓、磨皮造成的細(xì)節(jié)丟失，或者AI增強(qiáng)、暗場(chǎng)增強(qiáng)造成的違和感、過(guò)銳，美顏和超分造成的形變和異常。這些場(chǎng)景對(duì)于評(píng)測(cè)維度的制定有很大的相關(guān)性，和客戶的場(chǎng)景也有很大關(guān)聯(lián)性。

場(chǎng)景分析之后需要確定評(píng)測(cè)的方式，魔鏡平臺(tái)提供三種評(píng)測(cè)模式： 專(zhuān)家模式也是全參考的評(píng)測(cè)模式，就是full reference，指的是兩個(gè)視頻進(jìn)行對(duì)比時(shí)，其內(nèi)容一樣但質(zhì)量不同，比較適合10到15個(gè)人快速查看結(jié)果。 用戶模式也叫無(wú)參考模式，就是no reference，針對(duì)一個(gè)視頻進(jìn)行打分，比較適合真正模擬用戶的實(shí)際體驗(yàn)。通過(guò)用戶實(shí)際體驗(yàn)結(jié)果結(jié)合下圖分析，隨著評(píng)測(cè)人數(shù)的增加，SROCC分?jǐn)?shù)是不斷提升的，但人數(shù)到達(dá)55人之后，SROCC分?jǐn)?shù)提升的幅度會(huì)越來(lái)越小，因此鎖定用戶模式的人數(shù)是在50到100人。 細(xì)粒度模式也叫OAA模式，即挑選一類(lèi)的視頻，用于小差別的PK對(duì)比，人數(shù)在20到50人之間。評(píng)測(cè)的時(shí)候客戶可以根據(jù)自己的實(shí)際情況選擇評(píng)測(cè)模式。

在評(píng)測(cè)分制之前要注意一些評(píng)測(cè)細(xì)節(jié)，包括觀看終端、分辨率的要求、觀看距離、視頻播放次數(shù)、圖片觀看時(shí)間，這些都有相應(yīng)的要求。

評(píng)測(cè)維度有兩種維度：整體維度和局部維度。 整體維度包括整體主觀效果、模糊、色彩、亮度、細(xì)節(jié)處理等。以整體主觀為例，給評(píng)測(cè)員呈現(xiàn)的不是1到5分，而是具體的描述，比如難以忍受、令人不悅、普通、令人舒適、賞心悅目，這些描述對(duì)用戶標(biāo)注的指引性作用非常強(qiáng)，比如對(duì)舞蹈的描述是無(wú)可挑剔還是賞心悅目，這兩個(gè)選擇是經(jīng)過(guò)較多的討論才確定的，認(rèn)為賞心悅目是更符合用戶的選擇習(xí)慣并且能更明確視頻質(zhì)量的一個(gè)質(zhì)量指標(biāo)。

對(duì)于局部維度關(guān)注較多的是人臉，包括模糊、膚色、明暗、細(xì)節(jié)紋理、噪聲這類(lèi)維度。以模糊為例，是顯著、輕微還是沒(méi)有。局部圍度還可以是頭發(fā)、唇色等，這個(gè)可以基于用戶場(chǎng)景來(lái)確定。

實(shí)驗(yàn)論證方面會(huì)給各個(gè)維度進(jìn)行整體打分，分析維度之間的相關(guān)性以及各維度對(duì)整體打分的影響。下表中主觀畫(huà)質(zhì)和模糊、噪聲、色彩的關(guān)聯(lián)度非常高，但與亮度的關(guān)聯(lián)性較低，那么對(duì)于這個(gè)數(shù)據(jù)集的用戶來(lái)說(shuō)，其算法可以重點(diǎn)關(guān)注模糊、噪聲、色彩，可以降低對(duì)亮度的關(guān)注點(diǎn)。 分析結(jié)束后需要對(duì)標(biāo)注者情況進(jìn)行分析，如標(biāo)注者對(duì)視頻評(píng)測(cè)分?jǐn)?shù)的離散程度如何，對(duì)每一個(gè)標(biāo)注者進(jìn)行一對(duì)一的交流，并發(fā)放問(wèn)卷以反饋更細(xì)粒度的問(wèn)題，可以了解到影響用戶體驗(yàn)的具體地方。 3.1.3 測(cè)評(píng)質(zhì)量保障

金山云魔鏡平臺(tái)從平臺(tái)上保證整個(gè)評(píng)測(cè)質(zhì)量的正確性，擁有整套的評(píng)測(cè)流程。首先會(huì)對(duì)評(píng)測(cè)者信息進(jìn)行統(tǒng)計(jì)，包括基本信息、崗位、設(shè)備、愛(ài)好等等，再對(duì)其進(jìn)行教學(xué)，以保證其操作符合平臺(tái)的引導(dǎo)。 接著進(jìn)入考試，考試的題目是專(zhuān)家評(píng)測(cè)提供的測(cè)試題庫(kù)，之后才能進(jìn)入評(píng)測(cè)任務(wù)。在評(píng)測(cè)過(guò)程中會(huì)隨機(jī)加入驗(yàn)證的題目以監(jiān)控整個(gè)評(píng)測(cè)的有效性。 最后平臺(tái)上有一些埋點(diǎn)的分析用以分析評(píng)測(cè)者的行為，保證整個(gè)評(píng)測(cè)的有效性。 3.1.4 測(cè)評(píng)結(jié)果分析

當(dāng)整個(gè)評(píng)測(cè)完成之后會(huì)自動(dòng)生成評(píng)測(cè)報(bào)告與合格性報(bào)告，評(píng)測(cè)報(bào)告里會(huì)包括評(píng)測(cè)者的分析：有效性判定、評(píng)測(cè)者信息分析；評(píng)測(cè)數(shù)據(jù)分析：評(píng)測(cè)分布、評(píng)測(cè)置信度、類(lèi)型分析；評(píng)測(cè)維度分析：維度相關(guān)性、主客觀相關(guān)性；合格性分析：圖標(biāo)繪制、界面顯示。 3.1.5 數(shù)據(jù)映射

因?yàn)樵u(píng)測(cè)可能是在不同時(shí)期以及不同場(chǎng)景下評(píng)測(cè)的結(jié)果，不同時(shí)期人們對(duì)高清的定義是不一樣的，所以不同時(shí)期不同場(chǎng)景下的評(píng)測(cè)分?jǐn)?shù)是不同的，那么如何將數(shù)據(jù)進(jìn)行映射呢？ 上圖左側(cè)是兩個(gè)不同時(shí)期的測(cè)試集，分別是Koniq、KADID。我們?cè)诋?dāng)前的數(shù)據(jù)集上訓(xùn)練的模型，在對(duì)方的數(shù)據(jù)集上表現(xiàn)出的srocc和plcc是比較低的，但如果把兩個(gè)數(shù)據(jù)集一起進(jìn)行訓(xùn)練，在兩個(gè)數(shù)據(jù)集上srocc和plcc表現(xiàn)的都比較好。如果使用數(shù)據(jù)映射之后再一起訓(xùn)練，srocc和plcc將有四五個(gè)點(diǎn)的提升，這是更上一個(gè)臺(tái)階的提升。上圖的右邊是對(duì)進(jìn)行數(shù)據(jù)運(yùn)算的算法的分析。 3.2 魔鏡平臺(tái)功能

魔鏡平臺(tái)是一個(gè)為了方便評(píng)測(cè)人員和評(píng)測(cè)任務(wù)管理員的平臺(tái)，其提供的功能主要包括：項(xiàng)目及評(píng)測(cè)任務(wù)管理、支持圖片、視頻在線評(píng)測(cè)、自定義主觀評(píng)測(cè)標(biāo)準(zhǔn)、支持同時(shí)多人主觀評(píng)測(cè)、集成客觀質(zhì)量評(píng)價(jià)算法以及自動(dòng)生成專(zhuān)業(yè)評(píng)測(cè)報(bào)告。 3.2.1 測(cè)評(píng)模式

金山云魔鏡在平臺(tái)上提供了三種評(píng)測(cè)模式： 一是專(zhuān)家模式（全參考模式），這種模式比較容易看出細(xì)微的差別，適合專(zhuān)家進(jìn)行評(píng)測(cè)。

二是用戶模式（無(wú)參考模式），符合用戶最終使用場(chǎng)景，直接評(píng)判主觀效果，必須有大數(shù)據(jù)保證消除誤差。

三是精細(xì)對(duì)比模式（OAA模式），用于模擬用戶場(chǎng)景的同時(shí)兼顧細(xì)粒度對(duì)比，且可以克服場(chǎng)景有略微區(qū)別的難題。 3.2.2 自動(dòng)生成專(zhuān)業(yè)測(cè)評(píng)報(bào)告

評(píng)測(cè)平臺(tái)會(huì)自動(dòng)生成專(zhuān)業(yè)評(píng)測(cè)報(bào)告，評(píng)測(cè)報(bào)告包括各個(gè)維度的評(píng)分、評(píng)測(cè)員的分析、Badcase的展現(xiàn)等，以及各個(gè)維度優(yōu)勢(shì)、劣勢(shì)的對(duì)比，主觀評(píng)測(cè)和客觀分?jǐn)?shù)的擬合程度也會(huì)呈現(xiàn)在整個(gè)評(píng)測(cè)報(bào)告中。 3.2.3 魔鏡平臺(tái)適用場(chǎng)景

魔鏡平臺(tái)主要適用于三個(gè)場(chǎng)景： 場(chǎng)景一適用于算法團(tuán)隊(duì)的內(nèi)部算法迭代。算法迭代之后如何評(píng)測(cè)評(píng)估效果？首先需要制定精準(zhǔn)的測(cè)試集和測(cè)試維度；其次生成對(duì)比評(píng)測(cè)任務(wù)，把舊版本和新版本的效果在平臺(tái)上進(jìn)行對(duì)比評(píng)測(cè)，最后產(chǎn)生評(píng)測(cè)報(bào)告。 場(chǎng)景二適合于用戶實(shí)際觀看體驗(yàn)的評(píng)估。這需要拉取產(chǎn)品線上的視頻數(shù)據(jù)和圖片數(shù)據(jù)，并確定評(píng)測(cè)維度，再生成無(wú)參考評(píng)測(cè)任務(wù)進(jìn)行評(píng)測(cè)，最后產(chǎn)出評(píng)測(cè)報(bào)告。 場(chǎng)景三適用于競(jìng)品對(duì)比分析。比如對(duì)比抖音和快手兩個(gè)競(jìng)品的視頻質(zhì)量水平，需要先爬取競(jìng)品不同類(lèi)別的視頻作為測(cè)試集，再生成OAA評(píng)測(cè)方式的評(píng)測(cè)任務(wù)，對(duì)比不同競(jìng)品的效果，最后產(chǎn)出測(cè)評(píng)報(bào)告。 3.2.4 測(cè)評(píng)服務(wù)

除了平臺(tái)之外，我們還提供了評(píng)測(cè)服務(wù)。評(píng)測(cè)服務(wù)有三個(gè)方案： 方案一是只使用魔鏡平臺(tái)的模型效果對(duì)比，和內(nèi)部主觀評(píng)測(cè)以及開(kāi)源客觀評(píng)價(jià)指標(biāo)計(jì)算。 方案二在方案一的基礎(chǔ)上加入了第三方人工評(píng)測(cè)服務(wù)。 方案三在第三方人工評(píng)測(cè)服務(wù)的基礎(chǔ)上加入了專(zhuān)家咨詢，可以向客戶提供更深入的畫(huà)質(zhì)咨詢服務(wù)。

金山云魔鏡平臺(tái)的愿景是以魔鏡平臺(tái)做一個(gè)拋磚引玉的點(diǎn)，可以尋求更多的合作，以共同打造完善的畫(huà)質(zhì)評(píng)價(jià)體系。該畫(huà)質(zhì)評(píng)價(jià)體系是符合國(guó)人審美的，可以用于不同終端的評(píng)價(jià)體系。此外，我們也希望可以借助金山云魔鏡平臺(tái)連接學(xué)術(shù)界，把更精準(zhǔn)的工業(yè)界需求傳遞給學(xué)術(shù)界，推動(dòng)技術(shù)的發(fā)展。最后希望可以有明確可度量的評(píng)測(cè)分?jǐn)?shù)以促進(jìn)高清技術(shù)的進(jìn)步和應(yīng)用。 04 PART 成功案例 這部分我將分享一些魔鏡平臺(tái)的成功案例，魔鏡平臺(tái)的客戶落地效果，反應(yīng)都非常得不錯(cuò)，主要以兩個(gè)亮點(diǎn)突出的案例進(jìn)行分享。 4.1 案例一：小米KIE

案例一是小米，我們?yōu)樾∶譓IUI圖像增強(qiáng)的支持提供了基于AI超分技術(shù)，通過(guò)超分技術(shù)可以大幅度提升畫(huà)質(zhì)，并且可以部署在手機(jī)端。在對(duì)接小米優(yōu)化調(diào)試的整個(gè)過(guò)程，我們花了3個(gè)月時(shí)間迭代更新5個(gè)版本，確定600張圖片作為測(cè)試樣本。通過(guò)優(yōu)化，整體評(píng)分從3.78分提升到了4.21分，整個(gè)調(diào)優(yōu)過(guò)程都是在魔鏡平臺(tái)進(jìn)行。 該項(xiàng)目成功在小米新手機(jī)的發(fā)布會(huì)上作為功能亮點(diǎn)進(jìn)行宣傳，并且在MIUI10上正式落地。 4.2 案例二：CCTV集智高清

客戶案例二是央視，央視在世界杯和春晚上的帶寬是非常高的，其直播業(yè)務(wù)也非常重要，而央視的一個(gè)痛點(diǎn)是需要非常高的帶寬，所以其直播時(shí)存在帶寬高以及畫(huà)質(zhì)存在模糊、噪聲和色彩飽和度不足的問(wèn)題。 針對(duì)這些痛點(diǎn)，我們?yōu)榭蛻籼峁┝思歉咔宓慕鉀Q方案。該方案一方面為客戶降低帶寬，另一方面提升畫(huà)質(zhì)。降低帶寬主要是應(yīng)用了圖像預(yù)處理、視頻分類(lèi)、感知編碼、Per-tile等編碼技術(shù)，大幅度降低碼率；并采用云轉(zhuǎn)碼方案，提升卡頓率和首屏?xí)r間等指標(biāo)。畫(huà)質(zhì)提升主要利用AI技術(shù)進(jìn)行去噪、去模糊以及色彩增強(qiáng)；又挑選163個(gè)測(cè)試視頻，經(jīng)過(guò)兩個(gè)月的優(yōu)化，使主觀評(píng)分達(dá)到3.64分。 在整個(gè)調(diào)優(yōu)過(guò)程，魔鏡平臺(tái)整個(gè)的優(yōu)化效果確認(rèn)上都是非常重要的，并且給予整個(gè)調(diào)優(yōu)效率上高效的支持。 4.3 合作伙伴

我們合作伙伴主要在學(xué)術(shù)界和工業(yè)界兩個(gè)部分，學(xué)術(shù)界方面主要是和香港城市大學(xué)進(jìn)行學(xué)術(shù)上的交流和合作，以及對(duì)算法上的迭代進(jìn)行合作和交流。工業(yè)界方面主要是和Intel在畫(huà)質(zhì)以及編解碼上進(jìn)行比較深入的合作。此外，魔鏡平臺(tái)對(duì)SVT-AV1的主觀畫(huà)質(zhì)給予支持，共同進(jìn)行主觀畫(huà)質(zhì)的評(píng)測(cè)和評(píng)定。