通過Top 500美拍短視頻看AV1性能

導(dǎo)語

AV1 以其出色的壓縮性能，無疑是自 2017 年以來備受關(guān)注的新生代視頻編碼標(biāo)準(zhǔn)。業(yè)界也相繼對(duì) AV1 進(jìn)行了一些評(píng)測工作，如 Facebook、Netflix 對(duì)它的編碼復(fù)雜度也從早期的 VP9 的近千倍降到了百倍。為了驗(yàn)證 AV1 在短視頻上的性能，美圖音視頻團(tuán)隊(duì)自 2018 年 11 月，基于 Top 500 美拍短視頻進(jìn)行了一次全面的 AV1 性能評(píng)估，對(duì)標(biāo)編碼器采用在實(shí)際生成環(huán)境中使用的主流視頻編碼器 x264、x265、VP9。

本文將詳細(xì)介紹整個(gè)評(píng)估過程，結(jié)合實(shí)驗(yàn)數(shù)據(jù)，綜合評(píng)價(jià) AV1 在短視頻上的性能表現(xiàn)。

AV1 在實(shí)驗(yàn)中的表現(xiàn)

在對(duì)本文進(jìn)行闡述前，我們先來看看 AV1 的綜合表現(xiàn)，評(píng)估結(jié)果表明，AV1 的壓縮效率優(yōu)勢明顯，但是編碼耗時(shí)仍相對(duì)較長：

相比于 x264 high profile、x265 main profile 及 VP9 ，AV1 在相同質(zhì)量下分別能獲得 36.0%、26.9%、31.8% 的碼率增益。并且，隨著視頻分辨率的增加，AV1 的碼率增益優(yōu)勢更加明顯；

在編碼耗時(shí)上，AV1 分別是 x264 high profile 的 395 倍、x265 main profile 的 36 倍、VP9 的 156 倍。

研究背景

AV1（全稱，AOMedia Video 1）無疑是自 2017 年以來備受關(guān)注的新生代視頻編碼標(biāo)準(zhǔn)，原因在于它的高壓縮性能。經(jīng)業(yè)界測試數(shù)據(jù)表明，如莫斯科國立大學(xué)（MSU）、Facebook、Netflix 均進(jìn)行了相關(guān)實(shí)驗(yàn)，都證實(shí)了 AV1 已超越 H.265 和 VP9，成為目前壓縮率最高的視頻編碼標(biāo)準(zhǔn)。然而，它的高復(fù)雜度也曾令人震驚，數(shù)據(jù)表明 2018 年初，相比于 VP9 編碼器點(diǎn)播速度檔，AOM/libaom[1]的編碼時(shí)長是 VP9 編碼時(shí)長近一千倍。近兩年來，無論是 AV1 的標(biāo)準(zhǔn)制定團(tuán)隊(duì) AOM，還是其他廠商，如 Intel，都致力于優(yōu)化 AV1 的速度性能，近日，有相關(guān)數(shù)據(jù)表明 AV1 已接近使用水平[2]。

在軟硬件的支持性方面，越來越多的軟件或平臺(tái)開始支持 AV1 視頻播放，如 Mozilla 的 Firefox 瀏覽器，Chromium 瀏覽器內(nèi)核，微軟Windows 10 平臺(tái)，以及 Android Q 系統(tǒng)；谷歌、英特爾、ARM、高通、三星、索尼等頭部硬件廠商也紛紛加入到硬件解碼器的研發(fā)隊(duì)列中，可以預(yù)見移動(dòng)端 AV1 硬解支持將在 2020 年迅速普及[3]。

針對(duì) AV1 進(jìn)行全面的編碼性能評(píng)估實(shí)驗(yàn)

在 AV1 的浪潮來臨之際，我們針對(duì)美拍 Top 500 及頭部達(dá)人的視頻，采用 2018 年 v1.0.0 版本 libaom 對(duì) AV1 的壓縮效率及編碼復(fù)雜度進(jìn)行了一次全面的編碼性能評(píng)估實(shí)驗(yàn)。實(shí)驗(yàn)對(duì)標(biāo)的編碼器選用在實(shí)際生成環(huán)境中使用的主流視頻編碼器 x264、x265、VP9，質(zhì)量評(píng)價(jià)指標(biāo)采用 PSNR、SSIM 及 VMAF-Phone 模型。

視頻測試序列的選擇

測試序列取自美拍 Top 500 及來自頭部達(dá)人的熱門、優(yōu)質(zhì)視頻，實(shí)際參與評(píng)估實(shí)驗(yàn)的視頻有 523 個(gè)，這些視頻具有以下特點(diǎn)：

大部分是手機(jī)拍攝的視頻，包括照片視頻、手機(jī)錄屏的視頻、官方制作發(fā)布的視頻；

壓縮后的視頻；

大部分是 SD/HD(480p/540p/720p)，而不是官方測試機(jī)構(gòu)常用的 UHD/4K、8K；

大部分視頻幀率都是 30 fps；

大部分視頻寬幅比都是 16:9；

大部分視頻處于 10s～60s 之間。

視頻測試序列的復(fù)雜度分析

一個(gè)編碼器的壓縮效率與視頻內(nèi)容息息相關(guān)，因此在進(jìn)行編碼器評(píng)估工作之前，我們先對(duì)每個(gè)視頻進(jìn)行了復(fù)雜度分析。依據(jù) ITU-T 主觀質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)《ITU-T P.910》[4]所描述的方法，我們通過對(duì)每個(gè)視頻計(jì)算最大空間復(fù)雜度信息 (SI) 、最大時(shí)間復(fù)雜度信息 (TI) 來描述測試序列的復(fù)雜度。由于某些視頻中存在大量場景切換，因此我們還計(jì)算了平均 SI、TI 來綜合衡量序列復(fù)雜度。

圖1、圖2 分別展示了 Top 500 美拍視頻（前 6s）的 SI-TI 分布情況。結(jié)果表明，我們的大部分視頻處于40≤SI≤90,TI≤40，對(duì)應(yīng)于 ITU-T 主觀質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)《ITU-T P.910》中的 A（One person, mainly head and shoulders, limited detail and motion）、B（One person with graphics and/or more detail）、C類（More than one person），該數(shù)據(jù)結(jié)果與美拍的業(yè)務(wù)場景也十分契合。

圖 1 Top 500 美拍視頻 SI-TI(max) 散點(diǎn)分布圖

圖 2 Top 500 美拍視頻 SI-TI (average) 散點(diǎn)分布圖

編碼器的選擇

對(duì)于 AV1，我們采用 AOM AV1 提供的參考軟件（AOM/libaom）；對(duì)于 H.264/AVC、H.265/HEVC、VP9，我們采用 ffmpeg 4.0.2 對(duì)應(yīng)的編碼庫。表1 列出了實(shí)驗(yàn)中使用的編碼器版本。

表 1 實(shí)驗(yàn)中采用的編碼器版本

編碼參數(shù)的配置

我們分別基于 CRF、ABR 兩種碼率控制配置下對(duì)編碼器性能進(jìn)行評(píng)估。不同編碼器的 CRF 配置見表2，我們?nèi)?6 個(gè) CRF 值進(jìn)行多組編碼，并將 CRF 編碼后得到的碼率作為 2-pass ABR 編碼的目標(biāo)碼率。

表 2 CRF 配置

具體每個(gè)編碼器的配置方案如表 3 所示。

表 3 編碼器詳細(xì)配置

評(píng)估結(jié)果

我們采用 BD-Rate 來衡量各個(gè)編碼器的壓縮效率，復(fù)雜度性能則采用編碼時(shí)長之間的倍數(shù)關(guān)系來描述。BD-Rate 是通過對(duì)比率失真曲線，計(jì)算相同質(zhì)量下平均的碼率差異來衡量兩種編碼方案的 RD 性能優(yōu)劣。在評(píng)估結(jié)果的描述上，我們將從 AV1 的角度出發(fā)，計(jì)算 AV1相對(duì)于其他編碼方案的 BD-Rate 性能。其中，失真的計(jì)算維度采用 PSNR、SSIM，另外，針對(duì) 1080p 的序列會(huì)加入 VMAF-Phone 模型的評(píng)價(jià)結(jié)果。同樣，在對(duì)比復(fù)雜度性能時(shí)，我們也會(huì)計(jì)算 AV1 相對(duì)于其他編碼方案的編碼時(shí)間的倍數(shù)。以下是具體在 CRF/QP、ABR上的結(jié)果。

值得注意的是，短視頻由于其 UGC 居多的特性，其視頻源和近年來被廣泛使用的 VMAF AI 模型使用的 Netflix 視頻源訓(xùn)練集差異較大，因此原生 VMAF 模型并不能很好地評(píng)價(jià)短視頻內(nèi)容的畫質(zhì)。

CRF/QP 的結(jié)果

圖3、圖4 是 CRF/QP 碼率控制方式下，分別以 PSNR、SSIM 為質(zhì)量評(píng)價(jià)指標(biāo)展現(xiàn)的 AV1 相比于 x264 high profile、x265 main profile、libvpx-vp9 在相同質(zhì)量下節(jié)省的碼率。

從 PSNR 的維度來看，AV1 的 BD-Rate 相比于前述的三種編碼器分別平均節(jié)省了 35.88%，26.17%，36%。并且，從分辨率維度來看，隨著分辨率的增加，AV1 的碼率增益越大。對(duì)比 x264 high profile、x265 main profile 和 VP9，我們可以發(fā)現(xiàn) x265 main 的壓縮效率在各分辨率下都要優(yōu)于 x264 high profile 和 VP9，在低分辨率下x264 high profile 的壓縮效率略優(yōu)于 VP9，在大分辨率下 VP9 的壓縮效率逐漸逼近 x265 main profile。

從 SSIM 的維度來看，AV1 的 BD-Rate 分別節(jié)省了 35.33%，22.24%，68.52%。需要說明的是，其中 libvpx-vp9 以 SSIM 維度計(jì)算的 BD-Rate 并不具有準(zhǔn)確的物理意義，因?yàn)橄啾扔?AV1，兩條 RD 曲線近乎平行（如圖6～圖9所示），所以無法準(zhǔn)確找到同一質(zhì)量的兩個(gè)碼率點(diǎn)進(jìn)行比較?？梢哉f BD-Rate 不適用于展現(xiàn)以 SSIM 維度來衡量的 RD 性能，應(yīng)該加上 BD-PSNR 的統(tǒng)計(jì)指標(biāo)加以驗(yàn)證。圖6～圖9 是各個(gè)分辨率下隨機(jī)抽取的一個(gè)序列的 RD 曲線。RD 曲線越高，說明率失真性能越好?？梢园l(fā)現(xiàn)在 SSIM 衡量指標(biāo)下，RD 性能的變化趨勢與 BD-Rate 結(jié)果一致，有：AV1 > x265 main profile > x264 high profile > VP9。

同理，BD-Rate 也不適用于展現(xiàn)以 VMAF-Phone 模型來衡量的 RD 性能，圖10 是取自 1080p 下某個(gè)視頻序列的 RD 曲線。不難發(fā)現(xiàn)，在 VMAF-Phone 畫質(zhì)損傷衡量指標(biāo)下，難以很好地區(qū)分 x264 high profile、x265 main profile 與 AV1 的孰優(yōu)孰劣, 而 VP9 的 RD 性能明顯差于其他編碼器。

從編碼復(fù)雜度上，如 圖5 所示，AV1 相比于 x264 high profile、x265 main profile、libvpx-vp9 的編碼時(shí)間分別為 370.89 倍、44.34 倍、168.88 倍。同時(shí)，我們發(fā)現(xiàn)在大分辨率視頻上， VP9 在 RD 性能接近 x265 main profile 的情況下，編碼時(shí)長降到 x265 main profile 約五分之一。

圖 3 AV1 相對(duì)于 x264 high profile、x265 main profile、libvpx-vp9 的 BD-Rate 節(jié)省比例（質(zhì)量標(biāo)準(zhǔn)：PSNR 碼控方式：CRF/QP）

圖 4 AV1 相對(duì)于 x264 high profile、x265 main profile、libvpx-vp9 的 BD-Rate 節(jié)省比例（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：CRF/QP）

圖 5 AV1 相對(duì)于 x264 high profile、x265 main profile、libvpx-vp9 增加的編碼耗時(shí)倍數(shù)（碼控方式：CRF/QP）

圖 6 360p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：CRF/QP）

圖 7 540p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：CRF/QP）

圖 8 720p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：CRF/QP）

圖 9 1080p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：CRF/QP）

圖 10 1080p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：VMAF-Phone model 碼控方式：CRF/QP）

ABR 的結(jié)果

圖11、圖12 是 ABR 碼率控制方式下，分別以 PSNR、SSIM 為質(zhì)量評(píng)價(jià)指標(biāo)展現(xiàn)的 AV1 相比于 x264 high profile、x265 main profile、libvpx-vp9 在相同質(zhì)量下節(jié)省的碼率。

從 PSNR 的維度來看，AV1 的性能與 CRF/QP 的結(jié)果類似，BD-Rate 相比于前述的三種編碼器分別平均節(jié)省了 36.21%，27.64%，27.69%，且 RD 性能的增益優(yōu)勢也隨分辨率增加而增加。與在 CRF/QP 下不同的是，VP9 的壓縮性能在 ABR 下遠(yuǎn)優(yōu)于 x264 high profile，與 x265 main profile 不相上下，在高分辨率下甚至超越了x265 main profile。

從 SSIM 的維度來看，AV1 的 BD-Rate 分別節(jié)省了 32.96%，21.59%，62.35%。同樣地，圖14 ~ 圖17 給出了四個(gè)分辨率下示例視頻序列的 RD 曲線來直觀比較各個(gè)編碼器的 RD 性能。類似于 CRF/QP 的結(jié)果，RD 曲線的排序結(jié)果與 BD-Rate 排序結(jié)果一致，有：AV1 > x265 main profile > x264 high profile > VP9。

同樣，在以 VMAF-Phone 來衡量畫質(zhì)時(shí)，AV1 與 x264 high profile、x265 main profile 的 RD 性能非常接近，VP9 依然處于劣勢，如圖18 所示。

從編碼復(fù)雜度上（如圖13 ），AV1 相比于 x264 high profile、x265 main profile、libvpx-vp9 的編碼時(shí)間分別為 420.50 倍，28.69 倍，143.53 倍。

圖 11 AV1 相對(duì)于 x264 high profile、x265 main profile、libvpx-vp9 的 BD-Rate 節(jié)省比例（質(zhì)量標(biāo)準(zhǔn)：PSNR 碼控方式：ABR）

圖 12 AV1 相對(duì)于 x264 high profile、x265 main profile、libvpx-vp9 的 BD-Rate 節(jié)省比例（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：ABR）

圖 13 AV1 相對(duì)于 x264 high profile、x265 main profile、libvpx-vp9 增加的編碼耗時(shí)倍數(shù)（碼控方式：ABR）

圖 14 360p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：ABR）

圖 15 540p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：ABR）

圖 16 720p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：ABR）

圖 17 1080p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：SSIM 碼控方式：ABR）

圖 18 1080p 示例視頻 RD 曲線（質(zhì)量標(biāo)準(zhǔn)：VMAF-Phone model 碼控方式：ABR）

結(jié)論

從 AV1 在短視頻上的評(píng)估結(jié)果來看，我們可以得到與 Facebook[5]類似的一些結(jié)論，比如 AV1 相比于 VP9、x264 high profile 在相同質(zhì)量下可以節(jié)省 30% ～ 40% 的碼率。同時(shí)我們還得到了 AV1 相對(duì)于 x265 main profile 的表現(xiàn)：在相同質(zhì)量下大約可以節(jié)省 27% 的碼率。而在編碼耗時(shí)上，AV1 的速度進(jìn)步明顯，相比于 Facebook 在 v0.1.0 AV1 上的結(jié)果：5869.9x（ AV1 vs x264 high profile ）、658.5x（ AV1 vs VP9），v1.0.0 版本的 AV1 是 x264 high profile 的 395.7 倍、VP9 的 156.2 倍、x265 main profile 的 36.5 倍。

除此之外，我們還發(fā)現(xiàn)了 VP9 在短視頻上的一些特性。首先，VP9 在通過 SSIM 及 VMAF 評(píng)價(jià)時(shí)表現(xiàn)較差。其次，VP9 在 ABR 下相對(duì)于 CRF 有更好的表現(xiàn)，其壓縮性能與 x265 main profile 接近，但編碼速度卻比后者快了 5 倍。

另外，對(duì)編碼器評(píng)估工作有如下幾點(diǎn)啟示：

在質(zhì)量評(píng)價(jià)工具的選擇上，原生 VMAF-Phone 模型并不能很好地區(qū)分各個(gè)編碼器在短視頻場景下的畫質(zhì)。

RD 性能統(tǒng)計(jì)指標(biāo)的選擇上，一種更為準(zhǔn)確的方式是結(jié)合 BD-Rate、BD-PSNR 共同來衡量。

相信以上結(jié)論會(huì)引發(fā)音視頻領(lǐng)域工程師的一些思考，并推進(jìn) AV1 在各自生產(chǎn)線中的使用。

未來規(guī)劃

美圖會(huì)持續(xù)跟進(jìn) AV1 在移動(dòng)端和主流瀏覽器上的解碼支持的成熟度，針對(duì)核心用戶的視頻內(nèi)容率先應(yīng)用 AV1 編碼，降低用戶觀看高分辨率視頻內(nèi)容的時(shí)間成本，并給用戶帶來更好的畫質(zhì)體驗(yàn)。畢竟用戶在觀看 AV1 視頻時(shí)，在相同碼率下，將獲得相比 x264、x265 及 VP9 更高的畫質(zhì)，或者相同質(zhì)量下降低 30%～40% 的下載時(shí)長。另外，我們的編碼器評(píng)估工作尚未停止，結(jié)合 Intel 近年來相繼開源的 SVT-HEVC、SVT-AV1 編碼器，我們會(huì)在后續(xù)的工作中加入對(duì) SVT 系列編碼器的評(píng)估。