AV1可能會(huì)成為未來構(gòu)建我們的虛擬視頻的一個(gè)主要因素

目前AV1已經(jīng)進(jìn)入了最后的發(fā)展階段，并且正在接近完成其功能，現(xiàn)在是仔細(xì)研究視頻流未來的最佳時(shí)機(jī)。隨著蘋果宣布他們決定在1月份加入開放媒體聯(lián)盟，實(shí)際上所有主要技術(shù)領(lǐng)先廠商都已加入，AV1在不久的將來將成為一種普遍的標(biāo)準(zhǔn)。

是什么讓AV1在技術(shù)上脫穎而出呢？在本文中我們將介紹AV1中包含的五個(gè)關(guān)鍵工具，這些工具已被采用以幫助減少高達(dá)30％的帶寬需求同時(shí)仍保留或改進(jìn)圖像質(zhì)量。

免費(fèi)的解決方案，輕松滿足不斷增長(zhǎng)的視頻流質(zhì)量和速度需求

或許AV1最重要的特征不僅僅是技術(shù)特征：它從一開始就設(shè)計(jì)得完全免費(fèi)，努力提供真正開放的視頻編解碼器，能夠以較低的碼率提供高質(zhì)量的視頻流。隨著高分辨率內(nèi)容的不斷增加以及VR和360°視頻等技術(shù)的不斷增加。對(duì)于大規(guī)模內(nèi)容提供商能夠滿足他們技術(shù)先進(jìn)的開放式編解碼器的需求日益明顯。這樣愿望可能是我們看到最好的證明，實(shí)際上幾乎所有主要的行業(yè)參與者和科技公司都是開放媒體聯(lián)盟的成員，這是AV1背后的開發(fā)根基。

聯(lián)盟已經(jīng)著手希望最終能為互聯(lián)網(wǎng)視頻流提供開源標(biāo)準(zhǔn)，遵循像CSS或PNG等其他開放標(biāo)準(zhǔn)的路線，這些開放標(biāo)準(zhǔn)已經(jīng)在形成我們?nèi)粘５臄?shù)字現(xiàn)實(shí)。Bitmovin一直是推動(dòng)AV1成為未來幾年標(biāo)準(zhǔn)的開拓實(shí)踐者。

膠片顆粒合成

膠片顆粒通常發(fā)生在照相膠片中，最顯著的是在過度放大的照片中，但也可以數(shù)字化地應(yīng)用于藝術(shù)效果。 在數(shù)字視頻壓縮，膠片顆粒造成巨大的問題，因?yàn)樗呛茈y辨認(rèn)這樣的機(jī)器和常量“噪音”在視頻流產(chǎn)生大量的流量。 這導(dǎo)致高比特率的要求傳遞有效信息非常少。 由于信息對(duì)于感知質(zhì)量的實(shí)際價(jià)值很小 - 畢竟人類的大腦往往會(huì)在某種程度上過濾掉視覺噪點(diǎn) - 尋找一種理想辦法是讓不實(shí)際內(nèi)容與流進(jìn)行換個(gè)姿勢(shì)重新傳輸?shù)姆绞?，重置它直到理想狀態(tài)。

這個(gè)構(gòu)想形成了AV1膠片顆粒合成的基礎(chǔ)。目標(biāo)是在編碼之前對(duì)初始內(nèi)容進(jìn)行去噪，然后在解碼過程中輸出之前重新添加噪聲或顆粒效果。這樣，根本不必傳輸不必要的信息，并且可以大大減少數(shù)據(jù)的總體負(fù)載。

舉個(gè)例子來說，業(yè)界主要的提供商和創(chuàng)新推動(dòng)者Netflix已經(jīng)表示，除了努力為免版稅開發(fā)社區(qū)做出貢獻(xiàn)外，他們還希望成為AV1的早期采用者。Mozilla是另一個(gè)關(guān)鍵支持者，它為Firefox Nightly 提供了一個(gè)成功的AV1瀏覽器實(shí)現(xiàn)（由Bitmovin提供支持）。AV1幾乎所有的大牌公司都已準(zhǔn)備好讓它成為一個(gè)視頻世界的標(biāo)準(zhǔn)，它依賴于大分辨率的VR和AR視頻應(yīng)用程序。

現(xiàn)在，我們來仔細(xì)看看使AV1成為視頻流中有趣選擇的五種關(guān)鍵編碼和解碼技術(shù)。

約束方向增強(qiáng)濾波器

過濾在每個(gè)視頻編解碼器中都是一個(gè)重要的過程，因?yàn)樗鼧O大地提高了編碼視頻的感知質(zhì)量。它主要發(fā)生在每個(gè)塊的輪廓上，這些塊用于在壓縮過程中將每個(gè)圖片分成更小的子單元。AV1包含各種濾波器組，其中大部分濾波器均來自現(xiàn)有的編解碼器。約束方向增強(qiáng)濾波器（CDEF）很可能是對(duì)濾波器范圍影響最大的一個(gè)。該濾波器基本上合并了兩個(gè)現(xiàn)有濾波器：Daala視頻編解碼器中使用的定向去振鈴濾波器和Thor視頻編解碼器中的約束低通濾波器（CLPF）。CLPF用于濾除由量化誤差引起的并且尚未通過先前應(yīng)用的去塊濾波器進(jìn)行校正的偽像。定向去振鈴濾波器通過識(shí)別每個(gè)塊內(nèi)的邊緣并識(shí)別其方向來工作。然后有條件地沿著這些邊緣應(yīng)用一個(gè)定向低通濾波器，從而產(chǎn)生更平滑的圖像和感知質(zhì)量的增加。

圖2： CDEF中的方向搜索：Steinar Midtskogen和Jean-Marc Valin：AV1約束方向增強(qiáng)濾波器（CDEF）。

CDEF合并這兩個(gè)過濾器并通過分析每個(gè)塊的內(nèi)容，平滑沿著邊緣的偽影并解除圖片的封鎖來工作。在實(shí)際視頻已經(jīng)被編碼之后，在解碼器的末端應(yīng)用搜索濾波參數(shù)（方向和方差）。濾波處理也由編碼器執(zhí)行以便獲得正確的參考幀。由于過濾操作可以在消費(fèi)者的硬件上運(yùn)行，因此可以減少所需的網(wǎng)絡(luò)帶寬并減少流量負(fù)載。

扭曲運(yùn)動(dòng)和全局運(yùn)動(dòng)補(bǔ)償

預(yù)測(cè)和補(bǔ)償運(yùn)動(dòng)是視頻壓縮的一個(gè)重要原則，因?yàn)樗试S減少冗余信息，否則這些信息就會(huì)成為內(nèi)容流的一部分，從而增加傳輸量。因此運(yùn)動(dòng)補(bǔ)償通過識(shí)別和預(yù)測(cè)幀和塊內(nèi)的移動(dòng)預(yù)判模式，并相應(yīng)地減少編碼過程的相關(guān)信息到所需的最小值。

扭曲運(yùn)動(dòng)補(bǔ)償是一項(xiàng)特別有趣的黑科技，它可以預(yù)測(cè)三維空間中的運(yùn)動(dòng)模式，預(yù)測(cè)視頻中的空間運(yùn)動(dòng)軌跡。根據(jù)計(jì)算的預(yù)測(cè)，在編碼過程中會(huì)發(fā)現(xiàn)和忽略冗余信息，從而顯著減少所需的數(shù)據(jù)負(fù)載。

全局運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)整個(gè)框架的運(yùn)動(dòng)（例如，攝像機(jī)運(yùn)動(dòng)，縮放序列等），并使用這些分析來限制在比特流中傳輸?shù)男畔⒘?。基本上信息被壓縮成例如“正確移動(dòng)所有塊”或“平移塊”這樣的數(shù)據(jù)來節(jié)省流量。

運(yùn)動(dòng)補(bǔ)償算法在一段時(shí)間內(nèi)被使用和理論化，只是在二維層面上。AV1標(biāo)志著非平面運(yùn)動(dòng)補(bǔ)償首次被實(shí)現(xiàn)為視頻編解碼器。由于消費(fèi)者設(shè)備的處理能力不斷提升，這種技術(shù)現(xiàn)在已經(jīng)可以在大眾市場(chǎng)應(yīng)用中普遍看到了。

這些技術(shù)對(duì)于預(yù)測(cè)大面積的運(yùn)動(dòng)，如背景運(yùn)動(dòng)或相機(jī)運(yùn)動(dòng)效果非常好。此外他們還能非常有效地處理一致的背景和配色方案，這也是為什么動(dòng)畫視頻往往會(huì)帶來很棒的編碼結(jié)果，即使是高度壓縮的情況也如此。

增加編碼單元大?。ǜ哌_(dá)128x128）

隨著視頻分辨率不斷提升，塊大小的增加是縮放壓縮過程中以及高分辨率內(nèi)容的有效方式。每一幀被分成單獨(dú)的編碼單元（或塊），然后在編碼過程中獨(dú)立處理。因此像1280×720（720p）這樣的小分辨率可以很容易地分成單個(gè)尺寸為64×64的塊，而相同的塊尺寸對(duì)于7680×4320（8k UHD）這類大分辨率來說就不怎么好使了。

圖3：常見視頻分辨率的相對(duì)大小（現(xiàn)在和過去）

隨著4 K和8 K視頻內(nèi)容的普及，向更大的編碼單元的轉(zhuǎn)移是實(shí)現(xiàn)高質(zhì)量壓縮的必經(jīng)之路。更大的單位意味著每個(gè)幀的塊數(shù)更細(xì)小，這是一種對(duì)大分辨率視頻編碼有利的因素，因?yàn)樗试S更高級(jí)的壓縮，同時(shí)保持較高的感知質(zhì)量。這樣做是為了減少大分辨率的編碼延遲，以及降低每個(gè)塊的信號(hào)傳輸碼率。增加的塊大小還可以使用更大的預(yù)測(cè)和轉(zhuǎn)換單元，這樣再次有利于處理大分辨率內(nèi)容。

非二進(jìn)制計(jì)算編碼

這一技術(shù)標(biāo)志著與HEVC或AVC等其他當(dāng)前編解碼器的有趣變化。對(duì)于那些輸入計(jì)算編碼引擎的每個(gè)符號(hào)必須是二進(jìn)制的。不過對(duì)AV1這些符號(hào)也可以是非二進(jìn)制的，也就是說它們可以有最多8個(gè)可能的值，而不僅僅是兩個(gè)。然后由計(jì)算編碼引擎處理這些符號(hào)，它會(huì)產(chǎn)生一個(gè)二進(jìn)制位流作為輸出。兩端編碼器和解碼器會(huì)使用概率計(jì)算來估計(jì)一個(gè)給定符號(hào)將會(huì)產(chǎn)生多少輸出位。從理論上講，任何給定的輸入符號(hào)都可能產(chǎn)生多個(gè)位，甚至只是一小部分。

圖4：二進(jìn)制和非二進(jìn)制編碼方案

雖然非二進(jìn)制編碼通過將多個(gè)值組合成單個(gè)符號(hào)來使得編碼過程更復(fù)雜，但它仍然比每個(gè)符號(hào)只有一位稍微復(fù)雜一點(diǎn)。一個(gè)主要的好處是使用這個(gè)過程可以處理更多的時(shí)鐘周期。由于時(shí)鐘周期必須串行執(zhí)行，非二進(jìn)制編碼允許通過在每個(gè)串行周期中處理多個(gè)符號(hào)來實(shí)現(xiàn)改進(jìn)。

AV1的領(lǐng)先在何處？

隨著開發(fā)的最后階段逐漸臨近，我們認(rèn)為AV1在不久的將來對(duì)視頻流的世界產(chǎn)生巨大影響，這并不太遙遠(yuǎn)。用戶對(duì)高質(zhì)量視頻流的需求已經(jīng)不僅僅是有形這么簡(jiǎn)單，下一代高分辨率的移動(dòng)設(shè)備和支持VR的終端將會(huì)進(jìn)入全球市場(chǎng)?？吹叫录夹g(shù)的出現(xiàn)并為我們的日常生活鋪平道路，這是一個(gè)令人神往的過程。AV1可能會(huì)成為未來構(gòu)建我們的虛擬視頻的一個(gè)主要因素。