Facebook 360音頻編碼與渲染都可實(shí)現(xiàn)身臨其境的感受

從360度視頻到Oculus，通過(guò)Facebook 360音頻編碼與渲染都可實(shí)現(xiàn)身臨其境的感受，并且使用的聲道更少，小于0.5毫秒的渲染延遲。

? 全新的360度空間音頻編碼和渲染技術(shù)，使得空間化的音頻在從編輯者到用戶的整個(gè)處理過(guò)程中，都能保持高質(zhì)量。這一技術(shù)有望首次實(shí)現(xiàn)大規(guī)模商用。

?我們支持一種被稱為“hybrid higher-order ambisonics（混合高階立體聲高保真混響）”的技術(shù)，使得空間化的聲音在整個(gè)處理過(guò)程中依舊能保持很高的質(zhì)量。這是一個(gè)具有渲染與優(yōu)化功能的8聲道音頻處理系統(tǒng)，可借助更少的聲道實(shí)現(xiàn)更高的立體聲質(zhì)量，最終達(dá)到節(jié)省帶寬的目的。

? 我們的音頻系統(tǒng)同時(shí)支持空間化音頻和頭部定向音頻。在空間化音頻中，當(dāng)聽(tīng)到來(lái)自某種場(chǎng)景的聲音時(shí)，系統(tǒng)會(huì)根據(jù)用戶在360度全景視頻的體驗(yàn)中，頭部會(huì)轉(zhuǎn)向不同的方向作出不同反應(yīng)。通過(guò)頭部定向音頻，人物對(duì)白和背景音樂(lè)等音頻在方位上會(huì)保持靜止。這是我們?cè)跇I(yè)界第一次實(shí)現(xiàn)同時(shí)渲染混合高階立體聲和頭部定向音頻。

? 空間音頻渲染系統(tǒng)能夠?yàn)?a target="_blank">開(kāi)發(fā)者帶來(lái)延遲小于半毫秒的實(shí)時(shí)渲染體驗(yàn)。

? FB360編碼器工具可以將處理后的音頻傳輸至多個(gè)平臺(tái)。用于音頻渲染的SDK可集成在Facebook和Oculus Video之中，保證了從制作到發(fā)布的體驗(yàn)統(tǒng)一性。這樣可以節(jié)省工作時(shí)間，并確保開(kāi)發(fā)者在制作中聽(tīng)到的內(nèi)容和最終發(fā)布的內(nèi)容一致。

Facebook上的360度全景視頻體驗(yàn)令人驚嘆，給人帶來(lái)身臨其境的非凡體驗(yàn)。但如果想獲得更加完美的視聽(tīng)體驗(yàn)，也可能需要360度空間音頻。當(dāng)用戶使用360度空間音頻時(shí)，每種聲音聽(tīng)起來(lái)像是從空間中對(duì)應(yīng)的方位發(fā)出，就像我們?cè)诂F(xiàn)實(shí)生活環(huán)境中感知聲音一樣。在攝像機(jī)上方飛行的直升機(jī)轟鳴聽(tīng)起來(lái)就像是在用戶的上方，在攝像機(jī)前方的演員對(duì)白聽(tīng)起來(lái)就像是在用戶的前面。當(dāng)用戶環(huán)視整個(gè)視頻畫(huà)面時(shí)，系統(tǒng)需要根據(jù)用戶頭部方向的變化作出反應(yīng)并將每種聲音重新定位到畫(huà)面上的相應(yīng)位置。無(wú)論是通過(guò)手機(jī)，瀏覽器還是VR頭戴顯示器，當(dāng)用戶每次觀看360度全景視頻時(shí)，音頻都需要被重新計(jì)算并更新方位以完美還原用戶真實(shí)的空間感受。

簡(jiǎn)而言之，為了實(shí)現(xiàn)這種效果，我們必須開(kāi)發(fā)一種即使不依賴放置了揚(yáng)聲器的大房間也能為用戶帶來(lái)超越影院沉浸感的音頻處理系統(tǒng)。在等待我們解決的一系列問(wèn)題中，首要的是必須架構(gòu)能夠反映真實(shí)世界環(huán)境的音頻環(huán)境，并通過(guò)耳機(jī)以更高的聲音解析度呈現(xiàn)給用戶，同時(shí)不斷追蹤用戶的視覺(jué)方位。通過(guò)頭戴式耳機(jī)聽(tīng)到的常規(guī)立體聲可能會(huì)幫助用戶了解聲音是在自己的左耳還是右耳播放，但它不會(huì)幫助用戶感知環(huán)境中聲音的深度或高度，也無(wú)法準(zhǔn)確感知聲音是源于自己的前方還是在后方。

創(chuàng)造這種空間化聽(tīng)覺(jué)體驗(yàn)并將其大規(guī)模商用化需要許多新技術(shù)。盡管空間音頻研究正在學(xué)術(shù)領(lǐng)域如火如荼地進(jìn)行，但到目前為止，還沒(méi)有出現(xiàn)可靠的端到端的傳輸方式能將這種技術(shù)大規(guī)模地推向消費(fèi)市場(chǎng)。最近我們推出了新的用戶工具和渲染方法，這使得我們首次有機(jī)會(huì)為大規(guī)模的消費(fèi)市場(chǎng)提供高質(zhì)量的空間音頻技術(shù)。這些渲染技術(shù)被應(yīng)用于一個(gè)名為“空間音頻工作站”的新型強(qiáng)大工作平臺(tái)，使創(chuàng)作者能夠在360度全景視頻中添加空間化音頻。該渲染系統(tǒng)也適用于Facebook應(yīng)用程序，這樣用戶便可以通過(guò)Facebook聽(tīng)到創(chuàng)作者上傳的同樣生動(dòng)的全景音頻。

這兩項(xiàng)改進(jìn)都能幫助視頻制作人在多種設(shè)備與平臺(tái)上重塑現(xiàn)實(shí)。我們?cè)谶@篇文章中，將探討我們已經(jīng)探索到的一些技術(shù)細(xì)節(jié)。不過(guò)先讓我們了解一下空間音頻的發(fā)展歷史與背景。

初識(shí)空間音頻

由于頭相關(guān)傳輸函數(shù)（HRTFs）的存在，通過(guò)耳機(jī)使用戶聽(tīng)到具有逼真空間感的聲音是有可能實(shí)現(xiàn)的。 HRTFs幫助開(kāi)發(fā)者構(gòu)建可應(yīng)用于音頻流的音頻濾波器，使得聲音聽(tīng)起來(lái)像是位于其特定的正確位置 ——在聽(tīng)者之上、之后或旁邊等等。 HRTFs通常適用于具有人類主體模型或人體頭部和軀干模型的消聲室中，但通過(guò)其他方法也可以達(dá)到這種效果。

如果想讓用戶在觀看全景視頻時(shí)也聽(tīng)到全景聲，開(kāi)發(fā)者必須將聲音放在正確的位置。換句話說(shuō)，他們必須設(shè)計(jì)并傳輸空間音頻。有很多方法可以實(shí)現(xiàn)這一點(diǎn)。其中一種方法是基于對(duì)象的空間音頻，場(chǎng)景中的每個(gè)對(duì)象（例如，直升機(jī)或演員）單獨(dú)發(fā)出的聲音會(huì)被保存為具有位置元數(shù)據(jù)的離散流。大多數(shù)游戲的聲音環(huán)境架構(gòu)使用的便是這種基于對(duì)象的空間音頻渲染系統(tǒng)，因?yàn)槊總€(gè)音頻流的位置可根據(jù)玩家移動(dòng)的位置而隨時(shí)變化 。

Ambisonics技術(shù)是另一種能夠展現(xiàn)整個(gè)聲場(chǎng)的空間音頻方法。我們可以將其視為音頻的全景照片。多聲道音頻流可輕松用于展現(xiàn)整個(gè)聲場(chǎng)，這使得與基于對(duì)象的空間音頻處理技術(shù)相比具有更容易進(jìn)行轉(zhuǎn)碼和流式傳輸。一個(gè) Ambisonic的流可以通過(guò)各種方案來(lái)呈現(xiàn)。這些方案最大的區(qū)別在于the order of the ambisonic sound field。一階聲場(chǎng)會(huì)產(chǎn)生四個(gè)聲道數(shù)據(jù)，而三階聲場(chǎng)則會(huì)產(chǎn)生16個(gè)聲道數(shù)據(jù)。通常，較高的聲階意味著更好的音質(zhì)和更準(zhǔn)確的空間定位。我們可以將低階的ambisonic sound field理解為模糊的全景照片。

工作流程與工具

Spatial Workstation空間音頻工作站是我們開(kāi)發(fā)的一套音頻處理工具，可幫助專業(yè)音效設(shè)計(jì)師設(shè)計(jì)能夠用于360度全景視頻和線性VR體驗(yàn)的空間音頻。該工作站與現(xiàn)有音頻工作站相比具有更強(qiáng)大的音頻處理能力，開(kāi)發(fā)者借此可以根據(jù)360度全景視頻在三維空間中定位聲音，同時(shí)通過(guò)VR耳機(jī)上的聲音輸出端對(duì)空間音頻進(jìn)行預(yù)聽(tīng)。這開(kāi)創(chuàng)了一套貫穿內(nèi)容創(chuàng)建到發(fā)布整個(gè)過(guò)程的高質(zhì)量“端到端”工作流程。

傳統(tǒng)的立體聲音頻只包括兩個(gè)音頻通道。我們使用Spatial Workstation開(kāi)發(fā)的系統(tǒng)可實(shí)現(xiàn)八個(gè)音頻通道的輸出。因?yàn)槁晥?chǎng)已被優(yōu)化調(diào)整以適應(yīng)VR和360全景視頻，我們將此稱為混合高階ambisonic系統(tǒng)。這套系統(tǒng)被整合（tuned）到我們的空間音頻渲染器中，這樣能最大限度地提高聲音的質(zhì)量和位置精度，同時(shí)把對(duì)性能的要求和延遲時(shí)間降至最低。此外，Spatial Workstation還可以輸出兩個(gè)頭部定向音頻聲道。此時(shí)輸出的，是一個(gè)不會(huì)對(duì)頭部進(jìn)行追蹤并以旋轉(zhuǎn)來(lái)作出響應(yīng)的立體聲流，此時(shí)聲音將保持被“鎖定”到頭部周?chē)硞€(gè)方位的狀態(tài)。大多數(shù)360度全景體驗(yàn)使用的是混合的空間化音頻和頭部定向音頻，空間化音頻可用于在360度全景內(nèi)進(jìn)行的動(dòng)作，而頭部定向音頻可用于旁白或背景音樂(lè)。

SPATIALIZED / HEAD-LOCKED

非凡的渲染效果

我們的空間音頻渲染器凝萃了我們這幾年開(kāi)發(fā)的一系列技術(shù)，可以將空間音頻輕松擴(kuò)展到廣大不同類型和配置的設(shè)備中，同時(shí)保持最佳質(zhì)量。渲染器使用參數(shù)化和表示HRTFs的方式，可以衡量HRTFs的各個(gè)組成部分來(lái)決定在渲染時(shí)是側(cè)重速度還是質(zhì)量，或在兩者之中找到一個(gè)最佳的均衡點(diǎn)。除此之外，我們的渲染器音頻延遲小于半毫秒，比大多數(shù)渲染器低一個(gè)數(shù)量級(jí)，這使得它非常適合用于優(yōu)化全景音視頻的實(shí)時(shí)體驗(yàn)，例如帶頭部追蹤的全景視頻。

這種靈活性有利于全景音視頻在一系列臺(tái)式計(jì)算機(jī)，移動(dòng)設(shè)備和瀏覽器等載體上的傳播。我們的渲染器被調(diào)整優(yōu)化，能為不同平臺(tái)的用戶帶來(lái)協(xié)調(diào)統(tǒng)一的工作體驗(yàn)，并且在這些不同的平臺(tái)上都能很好地工作。對(duì)于創(chuàng)建高質(zhì)量的空間音頻而言，這種一致性非常重要。由于對(duì)運(yùn)行性能有不同的要求，音頻可能在不同平臺(tái)或設(shè)備上呈現(xiàn)出不同的效果，這樣對(duì)于整個(gè)生態(tài)而言顯然是不利的。我們希望在如Facebook這樣的平臺(tái)的大規(guī)模使用下確保全景音視頻在各種常用設(shè)備和生態(tài)中都能一致保持優(yōu)秀的質(zhì)量。

跨平臺(tái)高效工作

渲染器是Audio360音頻引擎的一部分，它可以將混合高階ambisonic和頭部定向音頻流空間化。音頻引擎是用C ++編寫(xiě)的，這為每個(gè)平臺(tái)提供了優(yōu)化的矢量指令。它非常輕量，可通過(guò)多線程和Lock-Free system進(jìn)行列隊(duì)（queueing）與空間化（spatialization）工作并混合（mixing）。它還能直接與每個(gè)平臺(tái)上的音頻系統(tǒng)（Android上的openSL，iOS / macOS上的CoreAudio，Windows上的WASAPI）進(jìn)行交流協(xié)作，以最大限度地減少輸出延遲并盡可能地提高處理效率。這種輕量化設(shè)計(jì)不僅可以讓開(kāi)發(fā)者時(shí)刻保持高效工作，還能通過(guò)保持二進(jìn)制大?。╞inary size small）來(lái)減少應(yīng)用程序的臃腫。音頻引擎中二進(jìn)制文件會(huì)被編譯為大約100千字節(jié)。

對(duì)于Web，音頻引擎使用Emscripten編譯為asm.js。這有助于我們?cè)谒衅脚_(tái)上進(jìn)行維護(hù)、優(yōu)化并使用相同的代碼庫(kù)。該代碼只需很少修改就能在瀏覽器中正常工作。渲染器的靈活性和高速性使我們能夠在各種瀏覽器中使用相同的技術(shù)來(lái)保證音頻質(zhì)量。這種情況下的音頻引擎被用作WebAudio中的定制處理器節(jié)點(diǎn)，其中的音頻流會(huì)從Facebook視頻播放器排列至音頻引擎中，同時(shí)來(lái)自音頻引擎的空間化音頻被傳遞到WebAudio并通過(guò)瀏覽器回放。與原生C ++實(shí)現(xiàn)相比，JS版本只能在2倍慢速或4倍慢速下運(yùn)行，這對(duì)于實(shí)時(shí)處理而言還是足夠的。

隨著電子設(shè)備和瀏覽器的處理速度一年年變得更快，各種設(shè)備和瀏覽器的瀏覽速度都會(huì)大幅進(jìn)化，渲染器和音頻引擎的靈活性和跨平臺(tái)特性使我們能夠隨之不斷提升聲音的質(zhì)量。

從編碼到客戶端

空間音頻編碼和其文件格式的世界正處于迅速發(fā)展不斷變革的狀態(tài)。我們希望盡可能方便地將使用Spatial Workstation制作的內(nèi)容編碼并上傳到Facebook，以便在人們能在所用的所有設(shè)備上觀看和收聽(tīng)。Spatial Workstation編碼器能準(zhǔn)備好8聲道空間音頻和立體聲頭部定向音頻，與360度全景視頻一起打包至一個(gè)文件并上傳到Facebook。

編碼器的選取優(yōu)化

在尋找可行的文件格式方面我們遇到了一些挑戰(zhàn)。主要面臨幾個(gè)約束條件，其中的一些可以先放一放，但迫切需要解決的是盡早提供一種合適的編碼器。主要的限制因素是將視頻轉(zhuǎn)碼成Facebook的原生視頻格式：H.264編碼的MP4格式視頻時(shí)盡可能地減少整個(gè)過(guò)程中聲音質(zhì)量的損失，這意味著存在以下實(shí)際限制：

?MP4中的AAC支持8個(gè)頻道，但不支持10個(gè)頻道。

?AAC編碼器將8聲道音頻看作是7.1環(huán)繞聲格式，它采用積極的低通濾波器和其他技術(shù)來(lái)壓縮LFE聲道。這不符合我們致力于呈現(xiàn)的空間音頻。

?MP4元數(shù)據(jù)，是可擴(kuò)展的，但會(huì)繁瑣地利用工具，如ffmpeg或MP4Box工作。

我們選擇使用MP4文件中包含三條音軌的頻道進(jìn)行配置。前兩個(gè)是沒(méi)有LFE的四聲道音軌，共有八個(gè)非LFE聲道。第三首曲目是立體聲頭部定向音頻。我們以高比特率進(jìn)行編碼，以最大限度地減少?gòu)腤AV轉(zhuǎn)換到AAC時(shí)的質(zhì)量損失，因?yàn)檫@些音軌將在服務(wù)器上再次進(jìn)行轉(zhuǎn)碼以準(zhǔn)備通過(guò)客戶端傳送。

在Facebook，我們擁有核心工程價(jià)值（core engineering valve）以實(shí)現(xiàn)快速的技術(shù)革新。我們認(rèn)為，隨著用來(lái)編輯音頻的工具和相應(yīng)功能的不斷更新，我們沒(méi)能及時(shí)考慮清楚可能需要傳達(dá)的所有信息。出于這個(gè)原因，我們需要一個(gè)前向擴(kuò)展（forward-extensible）且易于使用的元數(shù)據(jù)解決方案。定義我們自己的MP4盒子類型感覺(jué)很脆弱，所以我們決定將元數(shù)據(jù)放入一個(gè)位于元框中的xml框中。 XML可以遵循一種能按照開(kāi)發(fā)者的需求快速進(jìn)化的模式。 MP4Box工具可用于從MP4文件中讀取和寫(xiě)入此元數(shù)據(jù)。我們?yōu)槊總€(gè)音軌（在trak框下）存儲(chǔ)元數(shù)據(jù)，為該音軌定義聲道布局。然后，我們還在文件級(jí)（在moov框下）編寫(xiě)全局元數(shù)據(jù)。

空間工作站編碼器也會(huì)將視頻作為輸入的部分。該視頻被整合到生成的文件中，無(wú)需轉(zhuǎn)碼，并將寫(xiě)入適當(dāng)?shù)囊曨l空間元數(shù)據(jù)，以便在上傳到Facebook時(shí)服務(wù)器將其作為360度全景視頻進(jìn)行處理。

YouTube目前需要四個(gè)頻道來(lái)支持一階立體聲效果。我們同樣支持這種格式的視頻。

高效便捷的轉(zhuǎn)碼操作

一旦開(kāi)發(fā)者上傳了具有360度全景視野和360度空間聲音的視頻，這些視頻就已經(jīng)準(zhǔn)備好推送至各種設(shè)備的客戶端。音頻以多種格式進(jìn)行類似的處理。我們提取音頻元數(shù)據(jù)（無(wú)論是YouTube ambiX還是Facebook 360格式）以確定音軌和頻道一一映射，然后將其轉(zhuǎn)制為各種需要的格式。與其他的所有視頻一樣，有時(shí)為了便于比較，我們會(huì)使用多個(gè)編碼器設(shè)置進(jìn)行轉(zhuǎn)碼，來(lái)獲得最佳的完整體驗(yàn)；我們還準(zhǔn)備了與所有傳統(tǒng)客戶端兼容的立體聲雙耳渲染技術(shù)，并在出現(xiàn)任何問(wèn)題時(shí)將其作為備選方案。

音頻與視頻可以分開(kāi)處理，并通過(guò)使用自適應(yīng)流媒體協(xié)議合并傳送給客戶端。

向客戶交付作品

不同的客戶端具有不同的功能并支持不同的視頻容器/編解碼器格式。我們不能強(qiáng)制所有設(shè)備都同時(shí)支持一種格式，因此我們?yōu)閕OS，Android和網(wǎng)絡(luò)瀏覽器準(zhǔn)備了不同的格式。這令用戶可以跨平臺(tái)地在這些設(shè)備上控制視頻播放器，根據(jù)不同需求實(shí)現(xiàn)特殊行為，但我們更喜歡經(jīng)過(guò)充分測(cè)試并且不需要花費(fèi)額外時(shí)間去執(zhí)行的現(xiàn)有代碼。出于這個(gè)原因，在iOS上我們更喜歡把MP4格式文件作為視頻載體，在Android和Web瀏覽器上我們更喜歡使用WebM。在iOS和Android上，與單聲道或立體聲音軌不同，解碼10聲道AAC音頻不直接受本機(jī)支持或單純依賴硬件加速。上述這些有關(guān)AAC以及8聲道或10聲道音頻的問(wèn)題，使我們發(fā)現(xiàn)了特別的編解碼器——Opus正在被其他人用于空間音頻，利用Opus編解碼器可實(shí)現(xiàn)更好的壓縮。它是一款先進(jìn)的開(kāi)源編解碼器，它的軟件解碼速度比AAC更快。這使Opus自然而然成為我們的最佳選擇，特別是對(duì)于WebM這種視頻格式。大多數(shù)編碼器或解碼器目前不支持MP4下的Opus。但是，這里有一份實(shí)現(xiàn)MP4下的Opus的擬定草案，并且我們正在進(jìn)行一項(xiàng)工作來(lái)支持ffmpeg。

當(dāng)我們將上傳的文件（“4 + 4 + 2”）中的三音軌格式轉(zhuǎn)換為單個(gè)10聲道Opus音軌時(shí)遇到了一些挑戰(zhàn)。與AAC一樣，允許的信道映射和LFE信道也是一個(gè)問(wèn)題。然而，Opus允許未定義的頻道映射族（255族），意味著這些頻道并不是已知的布局。這項(xiàng)工作已經(jīng)足夠完善了，因?yàn)槲覀兛刂屏司幋a和解碼，并且我們可以確保兩端的布局具有相同的理解相同。我們?cè)诹鲃?dòng)的清單文件中傳輸通道布局信息。未來(lái)，隨著Opus中的空間音頻技術(shù)的成熟，可能會(huì)出現(xiàn)一些特定的能實(shí)現(xiàn)在大幅減小文件體積的同時(shí)顯著提升音頻質(zhì)量的通道映射和增強(qiáng)編碼技術(shù)。這樣，我們的客戶將能以最小或無(wú)需更改的方式對(duì)空間音頻其進(jìn)行解碼。

未來(lái)的發(fā)展方向

我們處于一個(gè)不斷拓展和進(jìn)化的空間音頻先進(jìn)領(lǐng)域 ——正在改進(jìn)優(yōu)化非空間視頻和音頻所采用的格式。我們所做的一切，開(kāi)創(chuàng)了全新的視聽(tīng)體驗(yàn)并將其變成現(xiàn)實(shí)。但還有很多的事情需要去做：上下堆疊組件、 從工作站到視頻文件格式等方面都需要進(jìn)行改進(jìn)。目前，我們正在研發(fā)可以將所有音頻存儲(chǔ)在一個(gè)音軌中進(jìn)行上載的文件格式，并有可能實(shí)現(xiàn)無(wú)損編碼。同時(shí)我們也對(duì)Opus中改善空間音頻壓縮的項(xiàng)目十分感興趣。我們期望探索自適應(yīng)比特率和自適應(yīng)信道布局技術(shù)，以改善那些受帶寬所限的用戶、或是擁有足夠多的帶寬并期待獲得更高質(zhì)量?jī)?nèi)容的用戶的使用體驗(yàn)。這是一個(gè)令人興奮的領(lǐng)域，我們期待為整個(gè)音視頻生態(tài)作出更多卓越貢獻(xiàn)。

LiveVideoStack Meet | 上海

多媒體開(kāi)發(fā)新趨勢(shì)

2018年初的視音頻技術(shù)生態(tài)并不平靜，Codec的爭(zhēng)奪進(jìn)入群雄逐鹿的時(shí)代; WebRTC 1.0版定稿在瀏覽器中，移動(dòng)端乃至IoT上的多媒體通信; AI，區(qū)塊鏈技術(shù)的發(fā)展，正在與多媒體開(kāi)發(fā)發(fā)生在化學(xué)反應(yīng)，將成為推動(dòng)生態(tài)發(fā)展的新力量。

2018年，LiveVideoStack將通過(guò)“LiveVideoStack Meet：多媒體開(kāi)發(fā)新趨勢(shì)”系列沙龍，展現(xiàn)新技術(shù)在音視頻領(lǐng)域的探索與實(shí)踐，以及新興應(yīng)用場(chǎng)景和傳統(tǒng)行業(yè)的最新最佳實(shí)踐。