聲音渲染對創(chuàng)建可信VR體驗(yàn)而言十分關(guān)鍵

人們常說眼見為實(shí)，但在OC5大會(huì)上， Oculus 首席科學(xué)家邁克爾·亞伯拉什表示準(zhǔn)確的聲音渲染對創(chuàng)建可信VR體驗(yàn)而言十分關(guān)鍵，而聲音渲染的關(guān)鍵地方是模擬環(huán)境及其聲學(xué)效果。

在題為“Oculus Quest的聲音設(shè)計(jì)”的OC5主題演講中，音頻設(shè)計(jì)總監(jiān)湯姆·斯默頓（Tom Smurdon）和軟件工程師彼得·斯特林（Pete Stirling）探討了如何為Oculus Quest和 Rift 創(chuàng)建高保真度的音頻體驗(yàn)，并分享了一些即將登陸Audio SDK的未來技術(shù)。Oculus日前向我們分享了 Facebook Reality Labs的幕后工作，以幫助我們進(jìn)一步了解這些最新進(jìn)展。以下是小編的具體整理：‘

1. 深入問題

當(dāng)聲音在現(xiàn)實(shí)世界中產(chǎn)生時(shí)，它以復(fù)雜的方式與環(huán)境相互作用。物體的振動(dòng)導(dǎo)致聲波在空氣中傳播，而墻壁，地板和天花板等表面會(huì)散射它們。所以聲音在到達(dá)我們耳朵之前就已經(jīng)發(fā)生了改變。我們聽到的聲音實(shí)際上是原始信號(hào)源在不同時(shí)間點(diǎn)傳來的一系列回聲總和。如果聲源可見，我們聽到的第一個(gè)聲音是直接聲，它沿著從聲源到聽者的最短路徑傳播。接下來，從附近表面反射的聲音將從各個(gè)方向到達(dá)聽者。我們將其稱之為早期反射聲。聲音的其余部分則是混響，它由一系列的延遲回聲（隨時(shí)間而平滑地衰減）組成。

在以前，大多數(shù)用于VR和游戲的音頻渲染系統(tǒng)只能準(zhǔn)確渲染直接聲。但令人驚訝的是，大多數(shù)房間的反射和混響聲遠(yuǎn)遠(yuǎn)超過直接聲。為了獲取更逼真的音頻，聲音設(shè)計(jì)師必須手動(dòng)將混響區(qū)域添加到虛擬環(huán)境中的每個(gè)位置。這是一個(gè)耗時(shí)的過程，需要大量的參數(shù)調(diào)整，手動(dòng)作業(yè)，以及專業(yè)知識(shí)才能實(shí)現(xiàn)好的結(jié)果。

Facebook Reality Labs（FRL）在17年一直在努力創(chuàng)造高質(zhì)量的聲學(xué)模擬技術(shù)，令其可以根據(jù)環(huán)境的幾何形狀自動(dòng)生成反射和混響。今天，映維網(wǎng)想向大家分享FRL音頻團(tuán)隊(duì)的研究人員是如何解決這個(gè)問題。

2. 研究團(tuán)隊(duì)

Facebook Reality Labs音頻研究團(tuán)隊(duì)（從左右到）：菲利普·羅賓遜（Philip Robinson）， 塞巴斯蒂安·加里（Sebastia V. Amengual Gari），卡爾·席斯勒（Carl Schissler）和拉維什·梅赫拉（Ravish Mehra）

四年前，當(dāng)研究團(tuán)隊(duì)經(jīng)理拉維什·梅赫拉在FRL創(chuàng)立音頻團(tuán)隊(duì)時(shí)，他設(shè)想過創(chuàng)建一個(gè)虛擬音頻在感知上與現(xiàn)實(shí)音頻無法區(qū)分的虛擬世界。他知道為了實(shí)現(xiàn)這個(gè)未來，他必須解決的第一階研究問題是高質(zhì)量的空間音頻和高效的房間聲學(xué)。在接下來的幾年里，他開始進(jìn)行大量的研究工作以解決空間音頻問題，同時(shí)尋找合適的人才加入以解決房間聲學(xué)問題。

梅赫拉表示：“解決房間聲學(xué)問題的計(jì)算成本非常高，我知道準(zhǔn)確模擬環(huán)境的聲學(xué)效果仍然不夠。我們提出的任何方法都需要滿足實(shí)時(shí)VR應(yīng)用程序提出的嚴(yán)格計(jì)算和內(nèi)存限制?！?/p>

2017年夏天出現(xiàn)了一個(gè)獨(dú)特的機(jī)會(huì)，當(dāng)時(shí)卡爾·席斯勒剛剛完成了他在北卡羅來納大學(xué)教堂山分校的博士學(xué)位。席斯勒曾在FRL音頻團(tuán)隊(duì)度過了兩次暑期實(shí)習(xí)（梅赫拉是他的實(shí)習(xí)導(dǎo)師），而他非常適合成為開放式房間聲學(xué)首席研究員。

席斯勒解釋道：“我是去年開始在Facebook Reality Labs工作，當(dāng)時(shí)我接受的任務(wù)是創(chuàng)建一個(gè)可以實(shí)時(shí)模擬所有這些復(fù)雜聲學(xué)的系統(tǒng)。從我很小的時(shí)候起，我就想為游戲創(chuàng)建更好的音頻。那時(shí)候，我會(huì)通過在聲音效果中添加混響來修改我最喜歡的游戲。多年后，我很高興現(xiàn)在終于有機(jī)會(huì)研究這種可能會(huì)對VR音頻質(zhì)量產(chǎn)生巨大影響的技術(shù)?！?/p>

由研究科學(xué)總監(jiān)菲利普·羅賓遜領(lǐng)導(dǎo)的心理聲學(xué)小組也在項(xiàng)目中發(fā)揮了關(guān)鍵作用。博士后研究科學(xué)家塞巴斯蒂安·加里進(jìn)行了一項(xiàng)實(shí)驗(yàn)，以確定聲學(xué)模擬的什么方面對準(zhǔn)確模擬而言最為重要。憑借扎實(shí)的心理聲學(xué)基礎(chǔ)，F(xiàn)RL音頻團(tuán)隊(duì)能夠?qū)π乱纛l技術(shù)進(jìn)行感知評估，從而為未來的研發(fā)提供信息。

3. 計(jì)算資源挑戰(zhàn)

對于聲學(xué)的真實(shí)模擬而言，最大障礙是其所涉及的計(jì)算復(fù)雜性。行業(yè)存在一系列基于數(shù)值波解算器或幾何算法的現(xiàn)有模擬技術(shù)，但它們都不支持在當(dāng)前硬件上實(shí)時(shí)運(yùn)行。它們需要快速的多核CPU或GPU，但即使是這樣，它們一次也只能模擬少量聲音源。添加一個(gè)游戲引擎并執(zhí)行各種圖形，物理，AI和腳本，你可以看到獲取必要數(shù)量的資源是多么困難。

避免這個(gè)問題的典型方法是：進(jìn)行長時(shí)間預(yù)計(jì)算以模擬每對聽者與聲源位置的聲學(xué)響應(yīng)。在運(yùn)行時(shí)，可以向該數(shù)據(jù)插值每個(gè)聲源的響應(yīng)，并用于過濾聲源的音頻。實(shí)際上，這為復(fù)雜場景增加了大量數(shù)據(jù)。另一個(gè)缺點(diǎn)是，由于所有聲學(xué)響應(yīng)都是預(yù)先計(jì)算，因此不能出現(xiàn)改變聲音的任何動(dòng)態(tài)場景元素。這意味著關(guān)上門都無法阻止你聽到聲音源，而可破壞的環(huán)境或用戶創(chuàng)建的環(huán)境則是完全不可能實(shí)現(xiàn)。

在FRL，我們面臨的挑戰(zhàn)是開發(fā)這樣一種方法：使用盡可能少的計(jì)算和內(nèi)存資源，并且同時(shí)能為復(fù)雜場景渲染高質(zhì)量音頻。標(biāo)準(zhǔn)很高，典型的游戲可能有數(shù)百個(gè)并發(fā)聲源需要模擬，所以計(jì)算預(yù)算非常緊張。另外，模擬需要是動(dòng)態(tài)進(jìn)行，以便能夠?qū)崿F(xiàn)最廣泛的沉浸式音頻體驗(yàn)，同時(shí)不受長預(yù)計(jì)算時(shí)間的影響。

4. 音頻創(chuàng)新

為了解決這一挑戰(zhàn)，席斯勒花了將近一年的時(shí)間來完善模擬引擎。他指出：“我必須利用我能想到的所有技巧和優(yōu)化方式來構(gòu)建具有所需功能的系統(tǒng)。”

為了有效計(jì)算聲音在3D環(huán)境中的傳播，研究人員利用了先進(jìn)的射線追蹤算法。傳統(tǒng)的聲線追蹤需要每秒追蹤數(shù)百萬條射線，而這需要大量的計(jì)算。

席斯勒開發(fā)的優(yōu)化功能可以在保持高質(zhì)量和動(dòng)態(tài)場景元素的同時(shí)大幅減少射線數(shù)量。使用隨機(jī)射線追蹤時(shí)最大的問題是，存在可能導(dǎo)致偽音的噪聲。為了解決這個(gè)問題，研究人員開發(fā)了巧妙的降噪算法來濾除模擬結(jié)果中的噪聲。

當(dāng)場景中的聲源數(shù)量增大時(shí)又會(huì)出現(xiàn)另一個(gè)大問題。在一個(gè)簡單的實(shí)現(xiàn)中，計(jì)算時(shí)間將根據(jù)聲源數(shù)量成比例地增加。令新技術(shù)可行的關(guān)鍵進(jìn)步之一是，感知驅(qū)動(dòng)的動(dòng)態(tài)優(yōu)先級與聲源集群系統(tǒng)。通過開發(fā)能夠?qū)⒉恢匾蜻h(yuǎn)距離聲源集中在一起的智能啟發(fā)式算法，研究人員能夠在非常復(fù)雜的場景中顯著縮短計(jì)算時(shí)間。

5. 提升沉浸感

利用FRL開發(fā)的創(chuàng)新方案，研究人員能夠?qū)崿F(xiàn)項(xiàng)目的最初目標(biāo)，并且為由空間音頻技術(shù)（Spatial Audio Tech）負(fù)責(zé)人羅伯特·海特坎普（Robert Heitkamp）領(lǐng)銜的Oculus Audio SDK團(tuán)隊(duì)提供工作原型。在OC5大會(huì)上，音頻設(shè)計(jì)總監(jiān)湯姆·斯默頓和軟件工程師彼得·斯特林介紹了這個(gè)系統(tǒng)。在演講期間，浸淫游戲音頻行業(yè)多年的斯默頓談到了這一原型：“即便什么都看到，你都會(huì)知道自己什么時(shí)候站在墻邊。你可以感受到一切，這非常不可思議。我對他們現(xiàn)在所取得的進(jìn)展感到非常興奮和高興?！?/p>

席斯勒補(bǔ)充說：“當(dāng)你第一次在VR中聽到逼真的音頻模擬時(shí)，你將會(huì)為它對沉浸感的提升程度感到驚訝。真實(shí)的音頻渲染甚至可以發(fā)揮協(xié)同作用，令視覺效果看起來更好?！?/p>

6. 靈活創(chuàng)造性

團(tuán)隊(duì)在開發(fā)這項(xiàng)技術(shù)時(shí)的主要目標(biāo)之一是，為聲音設(shè)計(jì)人員提供支持，幫助他們能夠輕松地在VR中創(chuàng)建逼真的音頻體驗(yàn)。 他們還希望為美術(shù)提供參數(shù)，幫助他們實(shí)現(xiàn)創(chuàng)作愿景。席斯勒指出：“有時(shí)候你不希望它聽起來100％真實(shí)。在對話過程中，你可能希望降低混響的數(shù)量，從而確?？梢岳斫饨巧囊馑?。這項(xiàng)新技術(shù)擁有如此靈活性。”

現(xiàn)在，設(shè)計(jì)師不必為每個(gè)房間設(shè)置復(fù)雜的參數(shù)集，只需要為幾何圖形指定材質(zhì)屬性即可。模擬的動(dòng)態(tài)特性也有利于內(nèi)容創(chuàng)建者：美術(shù)可以在模擬運(yùn)行時(shí)調(diào)整參數(shù)，與預(yù)計(jì)算的聲學(xué)模擬相比，這大大減少了迭代次數(shù)。

7. 未來任務(wù)

隨著FRL音頻團(tuán)隊(duì)已經(jīng)實(shí)現(xiàn)了開發(fā)高效仿真引擎的目標(biāo)，現(xiàn)在他們正致力于改進(jìn)技術(shù)以模擬其他聲學(xué)現(xiàn)象。有一系列的聲學(xué)現(xiàn)象目前難以模擬，如衍射和透射。團(tuán)隊(duì)接下來的目標(biāo)是研究能有效計(jì)算這些效果的新方法。席斯勒表示：“我希望我們能夠繼續(xù)推進(jìn)發(fā)展音頻領(lǐng)域的先進(jìn)技術(shù)。我為所有游戲都能擁有這種級別音頻保真度的那一天感到興奮?！?/p>

在OC5的主題演講中，邁克爾·亞伯拉什描述了為VR和AR生成逼真音頻而必須解決的問題。除了房間聲學(xué)模擬之外，空間音頻的另一個(gè)挑戰(zhàn)是頭相關(guān)傳遞函數(shù)（HRTF）的個(gè)性化實(shí)現(xiàn)，以針對每位用戶定制3D空間線索的方式生成音頻。亞伯拉什解釋說，HRTF的個(gè)性化問題可能需要比預(yù)期更長的時(shí)間才能解決。從好的方面來說，在實(shí)際可用的HRTF個(gè)性化能夠?qū)崿F(xiàn)之前，納入對環(huán)境的聲學(xué)模擬可能有助于提升沉浸感。