一文知道VP9與H.265的6個(gè)不同點(diǎn)

先來(lái)了解一下視頻在互聯(lián)網(wǎng)上傳輸需要經(jīng)歷哪些環(huán)節(jié)。它必須先使用麥克風(fēng)和攝像機(jī)捕捉音頻與視頻。然后，原始數(shù)據(jù)必須壓縮（編碼）到編解碼器中，通過(guò)互聯(lián)網(wǎng)連接（使用傳輸協(xié)議）廣播，發(fā)送到某種服務(wù)器端解決方案（server-side solution）（通常是CDN或一個(gè)基于云的集群（cloud-based cluster），如Red5 Pro），然后解壓（解碼），最終供用戶(hù)觀看視頻。

目前有相當(dāng)多的編解碼器正在被使用，包括VP8/9，H.264（AVC），H. 265(HEVC）和AV1。今天這篇文章將主要關(guān)注VP8/VP9。我們把VP8與VP9歸為一類(lèi)，因?yàn)樗鼈冊(cè)谠S可方面（regards to licensing）相似，且VP9是由VP8的演進(jìn)。

盡管這篇文章主要關(guān)注VP9和H.265，但最重要的問(wèn)題是使用什么樣的編碼器最好。最后，我們將說(shuō)明為什么H.264是低延遲實(shí)時(shí)流媒體（low latency live streaming）的一個(gè)更有效的選擇。

VP9

VP9編解碼器是由Google開(kāi)發(fā)的一款免費(fèi)的開(kāi)源視頻編碼標(biāo)準(zhǔn)。它是VP8的后續(xù)產(chǎn)品，最初用于壓縮YouTube上的超高清內(nèi)容，因?yàn)樗岣吡似淝耙淮木幋a效率。最初的VPX解編碼器來(lái)自于2010年被Google收購(gòu)的On2技術(shù)公司。Google隨后將該編解碼器源。

H.265

H.265編解碼器，或稱(chēng)高效視頻編碼（HEVC），是由視頻編碼專(zhuān)家組（VCEG）和動(dòng)態(tài)圖像專(zhuān)家組（MPEG）的聯(lián)合開(kāi)發(fā)出來(lái)的。它于2013年4月被批準(zhǔn)為H.264（也被稱(chēng)為高級(jí)視頻編碼（AVC））的官方后續(xù)產(chǎn)品。它提高了H.264的壓縮效率，并且將視頻的大小減小了大約50％。

H.264

如上所述，H.264或是AVC是目前最廣泛使用的視頻編輯解碼器。截至2019年9月，有91％的視頻行業(yè)開(kāi)發(fā)者使用它。正如H.265一樣，H.264也是由動(dòng)態(tài)圖像專(zhuān)家組(MPEG)作為對(duì)以前標(biāo)準(zhǔn)的改進(jìn)而開(kāi)發(fā)的，旨在通過(guò)互聯(lián)網(wǎng)有效地傳輸壓縮的高質(zhì)量視頻。

H.264受多項(xiàng)專(zhuān)利保護(hù)，并得到了MPEG-LA組織的授權(quán)。然而，Cisco System在2013年向公眾提供了一種廣泛使用的免費(fèi)開(kāi)源編碼器和openH264解碼器。換句話說(shuō)，Cisco為我們所有人使用的專(zhuān)利許可證付費(fèi)。這反過(guò)來(lái)創(chuàng)造了H.264編解碼器的廣泛采用。OpenH264在所有的網(wǎng)絡(luò)瀏覽器中出現(xiàn)了。

上文我們已經(jīng)介紹了編解碼器，讓我們來(lái)比較一下它們之間的不同。我們列出了6個(gè)關(guān)鍵因素來(lái)評(píng)估每個(gè)編解碼器。

編碼質(zhì)量

VP9和H.265在這一類(lèi)上沒(méi)有太大區(qū)別。無(wú)論使用哪種編解碼器，視頻看起來(lái)都很好。然而，當(dāng)比特率較高時(shí)，H.265的性能略?xún)?yōu)于VP9，反之亦然。

為了判斷圖像質(zhì)量，我們可以使用SSIM（結(jié)構(gòu)標(biāo)準(zhǔn)指數(shù)測(cè)量），如下圖所示。當(dāng)在因特網(wǎng)上廣播一個(gè)流（broadcasting a stream）時(shí)，壓縮和擴(kuò)展（編碼和解碼）流中包含的可視數(shù)據(jù)的過(guò)程可能會(huì)導(dǎo)致輕微失真（slight distortions），因?yàn)榻獯a器會(huì)外推數(shù)據(jù)（ decoder extrapolates the data ）以顯示它。因此，SSIM本質(zhì)上是編碼和解碼后衡量傳輸?shù)膱D像在編碼和解碼后的精確度。

圖1：比較libvpx（VP9）、x264（H.264）和x265（HEVC）的質(zhì)量/比特率圖。（圖片來(lái)源：https://blogs.gnome.org/rbultje/2015/09/28/vp9-encodingdecoding-performance-vs-hevch-264/）

然而，與H.264相比，有一點(diǎn)不同。

VP9和H.265能夠提高壓縮的部分方法是通過(guò)使用larger macroblocks。macroblocks是圖像或視頻的處理單元，包含要顯示的圖像像素。H.264使用16×16宏塊，而PV9和H.265使用64×64宏塊。這些宏塊經(jīng)過(guò)一系列稱(chēng)為“幀內(nèi)預(yù)測(cè)方向（intra-prediction directions）”的計(jì)算，將這些宏塊重建為相同的原始圖像，只是在非關(guān)鍵區(qū)域的細(xì)節(jié)略有減少。這使得VP9和H.265能夠提高效率，因?yàn)椴惶敿?xì)的區(qū)域（如天空或圖像的模糊背景）不會(huì)被分解成更小的單元。這些區(qū)域中丟失的細(xì)節(jié)不會(huì)顯著降低圖像的整體質(zhì)量，因?yàn)槠渲匾糠直讳秩镜酶釉敿?xì)。還應(yīng)該注意的是，隨著比特率的增加，AVC（H.264）和其他兩種編解碼器之間的質(zhì)量差異會(huì)變小。

圖片來(lái)源：https://www.macxdvd.com/mac-dvd-video-converter-how-to/h265-vs-h264.htm

H.264會(huì)產(chǎn)生較差的圖像，特別是在較低的比特率下。當(dāng)比較以相同比特率運(yùn)行的圖像時(shí)，VP9和H.265都比用H.264生成的圖像更詳細(xì)和更清晰。換句話說(shuō)，為了產(chǎn)生相同質(zhì)量的VP9或H.265圖像，H.264需要以更高的比特率運(yùn)行。然而，質(zhì)量上的差異雖然可以察覺(jué)，但并不一定是一個(gè)直接的問(wèn)題。為了更客觀地衡量這一點(diǎn)，我們可以看看SSIM，它顯示H.264的結(jié)果非常接近VP9和H.265。因此，雖然H.264在圖像質(zhì)量方面可能不如h.264，但這種差異不足以克服下一節(jié)中詳細(xì)介紹的大的權(quán)衡（big tradeoff）。

我們還應(yīng)該指出其他因素，如改進(jìn)的亞像素插值（sub-pixel interpolation）和運(yùn)動(dòng)矢量參考選擇（ motion vector reference selection ）（運(yùn)動(dòng)估計(jì)motion estimation）也提高了圖像質(zhì)量。這是因?yàn)樗鼈冇兄陬A(yù)測(cè)電影中下一幀會(huì)是什么樣子。這些都是相當(dāng)復(fù)雜的概念，值得他們?cè)谧约旱奈恼轮杏懻?，所以我們到此為止?/p>

優(yōu)勝者：平局

Encoding Time

為了達(dá)到更高的壓縮率，VP9和H.265需要執(zhí)行更多的處理。所有這些額外的處理意味著它們需要更長(zhǎng)的時(shí)間來(lái)編碼視頻。這將對(duì)你的延遲造成損害，因?yàn)樗蓄~外的處理時(shí)間都會(huì)延遲視頻的播放。除了其他因素之外，延遲對(duì)于確保你的實(shí)時(shí)視頻流能夠提供交互式體驗(yàn)非常重要。

圖2：將編碼時(shí)間作為比特率改進(jìn)的因素，比較libvpx（VP9）、x264（AVC）和x265（HEVC）圖片來(lái)源：https://blogs.gnome.org/rbultje/2015/09/28/vp9-encodingdecoding-performance-vs-hevch-264/

那么，上面的圖表到底是什么意思呢？

此圖在水平軸上顯示了編碼時(shí)間（以秒為單位）。縱軸顯示了比特率的改進(jìn)，它將SSIM和比特率的組合與設(shè)置為x265@veryslow的參考點(diǎn)進(jìn)行比較。參考點(diǎn)是為什么x264沒(méi)有超過(guò)0%的原因。

這張圖告訴了我們什么？

VP9和H.265（如廣告宣傳的那樣）比H.264好50％。但它們的速度也慢10到20倍。如果你追循x264（AVC）的藍(lán)線，你將看到對(duì)于大多數(shù)比特率基準(zhǔn)點(diǎn)，它始終低于其他兩條線。不僅如此，綠色（H.265）和橙色（VP9）線在它們的曲線中很早就與H.264相交。這意味著每幀速率的秒數(shù)將開(kāi)始急劇增加，并真正降低你的流性能（stream performance.）。因此，雖然VP9和H.265顯示出更好的壓縮率，但它以非常高的編碼時(shí)間為代價(jià)，這將大大增加延遲。Waterloo University的這項(xiàng)研究對(duì)編碼時(shí)間和編解碼器的比較進(jìn)行了更深入的分析。（參考資料：https://ece.uwaterloo.ca/~w238liu/2019comparative/paper/iciar2019cc.pdf）

優(yōu)勝者：H.264

中央處理器消耗

正如上一節(jié)所述，VP9和H.265都必須比H.264運(yùn)行更多的壓縮算法（compression algorithms)，這將增加它們的CPU使用率。即使在完全優(yōu)化的情況下，實(shí)時(shí)流媒體也是一個(gè)CPU密集型的過(guò)程，因此提高已經(jīng)很高的使用率將是一個(gè)問(wèn)題。然而，有一些東西可以緩解這一點(diǎn)：硬件支持。專(zhuān)用芯片組將降低CPU消耗。

目前H.265享受更多的硬件支撐，包括Windows10（可下載或通過(guò)Inter Kaby Lake或更新的處理器）、Apple（iOS 11）和Android（Android 5.0）設(shè)備。雖然大多數(shù)移動(dòng)設(shè)備支持VP9，但大多數(shù)其他系統(tǒng)不支持。如果沒(méi)有直接的硬件支持，VP9編碼過(guò)程將會(huì)限制CPU，消耗大量資源，縮短電池壽命，并可能增加延遲。

我們將在下一節(jié)中介紹H.264享有廣泛的支持，而且不會(huì)像VP9或H.265那樣消耗CPU。

優(yōu)勝者：H.264，H.265緊跟其后。

Adoption and Browser Implementation

為了使用編解碼器，需要有硬件的支持或軟件編碼器。H.265的采用率很低，這在很大程度上是由于專(zhuān)利許可。H.265有四個(gè)相關(guān)的專(zhuān)利池：HEVE Advance、MPEG LA、Velos Media和Technicolor。這使得它更加昂貴，也阻礙了它的廣泛應(yīng)用，從而限制了它僅限于特定的硬件編碼器和移動(dòng)芯片組（ mobile chipsets）。只有Edge、Internet Explorer和Safari支持H.265硬件編碼。即使到那時(shí)運(yùn)行瀏覽器的設(shè)備仍然需要支持H.265硬件編碼。即使在正確實(shí)現(xiàn)的瀏覽器中支持H.265，WebRTC也往往無(wú)法正常工作。沒(méi)有WebRTC的支持，實(shí)現(xiàn)實(shí)時(shí)延遲會(huì)是困難的。

VP9是免稅版和開(kāi)源的，這為其更廣泛的采用掃清了道路。主要瀏覽器Chrome、Firefox、Edge以及操作系統(tǒng)Windows10、Android 5.0、iOS 14和macOS BigSur都支持該功能。由于WebRTC支持VP9，它也可以直接在瀏覽器中工作。也有傳言說(shuō)Safari瀏覽器的支持也即將到來(lái)。

盡管H.264有一項(xiàng)與之相關(guān)的專(zhuān)利，正如我們前面提到的，2013年思科對(duì)H.264實(shí)現(xiàn)進(jìn)行了開(kāi)源，并以free binary download的形式發(fā)布了它。這對(duì)H.264的廣泛應(yīng)用是一個(gè)巨大的推動(dòng)。因此，H.264得到了所有瀏覽器、筆記本電腦和移動(dòng)設(shè)備的支持。

優(yōu)勝者：H.264與VP9之間縮小了差距。

帶寬節(jié)省

提高壓縮率和減小文件大小的最大好處是在廣播時(shí)消耗更少的帶寬。這意味著網(wǎng)速較慢的用戶(hù)仍然可以觀看更高質(zhì)量的視頻流。

那么，哪種編解碼器能產(chǎn)生更好的壓縮效率來(lái)創(chuàng)建一個(gè)更小的視頻呢？

根據(jù)Nettfix的一項(xiàng)測(cè)試，H.265的表現(xiàn)比VP9高出約20%。盡管其他的測(cè)試產(chǎn)生了不同的結(jié)果，但他們都得出結(jié)論，H.265創(chuàng)建了更小的文件大小。根據(jù)所使用的客觀度量標(biāo)準(zhǔn)（ objective metric ），H.265比VP9節(jié)省了0.6%至38.2%的比特率。

然而，雖然消耗更少的帶寬是有用的，但還有其他一些因素需要考慮。全球固定寬帶連接的平均上傳速度為42.63 Mbps，這意味著盡管H.264要求更高的連接速度，大多數(shù)地方也能支持4K流媒體。盡管移動(dòng)設(shè)備的平均上傳速度低得多，為10.93 Mbps，但它們?nèi)匀豢梢灾С?080p流。

這張來(lái)自Boxcast的圖表顯示，全球平均連接速度肯定能夠滿(mǎn)足所有分辨率級(jí)別的上傳速度要求。注意:我們無(wú)法找到一個(gè)比較所有三種編解碼器的圖表，但是VP9應(yīng)該介于H.264和H.265之間。

圖片來(lái)源:https://www.boxcast.com/blog/hevc-h.265-vs.-h.264-avc-whats-the-difference

此外，還有一些方法可以配置你的流媒體應(yīng)用程序，以滿(mǎn)足網(wǎng)速較慢國(guó)家的用戶(hù)。您可以通過(guò)添加ABR和代碼轉(zhuǎn)換支持來(lái)實(shí)現(xiàn)這一點(diǎn)。ABR(自適應(yīng)比特率)將修改比特率，以提供最佳的體驗(yàn)。代碼轉(zhuǎn)換將廣播分成多個(gè)質(zhì)量，這樣客戶(hù)端可以根據(jù)可用帶寬請(qǐng)求最佳質(zhì)量。

你可能會(huì)想“如果移動(dòng)設(shè)備卡在2或3G連接上怎么辦?”幸運(yùn)的是，手掌大小的設(shè)備不需要傳輸最高分辨率就能看起來(lái)很好。720甚至480依然會(huì)顯示出不錯(cuò)的質(zhì)量。

“While bandwidth consumption may not matter as much to a consumer, it must be acknowledged that companies will save money in regards to bandwidth costs if they stream with VP9 or h.265. The savings come from the smaller files which means they will not pay as much for more data streaming over CDN or cloud networks. While that is certainly nice, it is only at really high-resolution settings such as 4K that halving the data consumption makes a substantial difference.”

雖然帶寬消耗對(duì)消費(fèi)者來(lái)說(shuō)可能不是那么重要，但必須承認(rèn)的是，如果公司使用VP9或H.265進(jìn)行傳輸,就會(huì)節(jié)省帶寬成本。這些節(jié)省的費(fèi)用來(lái)自于較小的文件，這意味著他們不用為通過(guò)CDN或云網(wǎng)絡(luò)傳輸上的更多數(shù)據(jù)流支付那么多的費(fèi)用。這當(dāng)然很好，但只有在像4K這樣的高分辨率環(huán)境下，數(shù)據(jù)消耗減半才會(huì)產(chǎn)生實(shí)質(zhì)性的影響。

當(dāng)然，無(wú)論什么規(guī)模，省錢(qián)當(dāng)然是重要的。這就引出了我們的下一個(gè)觀點(diǎn)，它將呈現(xiàn)兩個(gè)世界的最佳狀態(tài)：相同的性能下更好的壓縮。

優(yōu)勝者:H.265

LCEVC回避了整個(gè)爭(zhēng)論

LCEVC(低復(fù)雜度增強(qiáng)視頻編碼)為所有編解碼器增加了大約40%的壓縮率。這是因?yàn)樗且粋€(gè)額外的處理層，可以與現(xiàn)有和未來(lái)版本的MPEG或其他編解碼器(如VP9和AV1)一起工作。正如我們?cè)谏弦黄恼轮兴岬降模琇CEVC對(duì)視頻流技術(shù)有著巨大的潛在影響。在不改變所有現(xiàn)有協(xié)議的組成的情況下，LCEVC可以使它們本身更有效。

從目前的情況來(lái)看，內(nèi)容提供商似乎能夠使用支持LCEVC的軟件或基于硬件的編碼器，并結(jié)合Red5 Pro跨云平臺(tái)來(lái)解鎖實(shí)時(shí)流，盡管它們是用處理密集型視頻格式構(gòu)建的。根據(jù)使用的核心編解碼器的不同，這不僅適用于4K，最終也適用于8K UHD，還適用于為360度觀看、虛擬現(xiàn)實(shí)和其他創(chuàng)新設(shè)計(jì)的格式。

LCEVC被廣泛采用背后的驅(qū)動(dòng)力是：幾乎任何設(shè)備都可以支持thin LCEVC客戶(hù)端，這些客戶(hù)端可以獨(dú)立下載到觀眾的設(shè)備上，或者嵌入到服務(wù)提供商的app player中。通過(guò)它的HTML5 JavaScript實(shí)現(xiàn)， LCEVC也支持插件式免費(fèi)瀏覽器支持。這意味著廣泛的實(shí)現(xiàn)應(yīng)該是相當(dāng)簡(jiǎn)單的。

什么是實(shí)用？

在考慮了這里列出的一切之后，AVC/H.264由于其廣泛的采用和快速的編碼速度成為目前的最佳選擇。雖然提高壓縮和視頻質(zhì)量是重要的考慮因素，但目前的權(quán)衡太嚴(yán)重了。具體來(lái)說(shuō)，高編碼時(shí)間和大量的CPU消耗對(duì)于直播視頻來(lái)說(shuō)是非常糟糕的。

也就是說(shuō)，考慮到VP9是免費(fèi)的，而且還享有廣泛的設(shè)備支持，一旦更快的軟件或硬件編碼器被創(chuàng)建出來(lái)，在不久的將來(lái)它將是一個(gè)可行的選擇。在遙遠(yuǎn)的將來(lái)，AV1最終將會(huì)取代VP9，但考慮到它目前所面臨的超高編碼時(shí)間，在它準(zhǔn)備好廣泛使用之前，還需要進(jìn)行大量的簡(jiǎn)化工作。當(dāng)然，LCEVC可能會(huì)繞過(guò)更改編解碼器以獲得更好壓縮的整個(gè)問(wèn)題。也許它只是H.264和AV1之間的一座長(zhǎng)存的橋梁。

盡管如此，AV1仍將取代H.264、H.265和VP8/9。隨著視頻消費(fèi)的增長(zhǎng)，帶寬限制的減少將使發(fā)送用戶(hù)正在尋找的高質(zhì)量視頻變得更加容易。這對(duì)于遠(yuǎn)離有線連接、更依賴(lài)手機(jī)連接的發(fā)展中地區(qū)來(lái)說(shuō)尤其如此。它背后的財(cái)團(tuán)有所有主要的參與者參與，而且是免版稅的。目前， AV1缺乏實(shí)時(shí)編碼器是阻礙AV1發(fā)展的主要原因。一旦它們變得廣泛可用，AV1(特別是當(dāng)與LCEVC配對(duì)使用)將是前進(jìn)的方向。