虛擬世界的 3D 聲音

世界在不斷變化。這種不斷發(fā)展的狀態(tài)意味著我們與世界、設(shè)備和 人們也在發(fā)生變化。除了利潤(rùn)動(dòng)機(jī)之外，還有兩股力量在支配這種變化。一是技術(shù) 正在推動(dòng)我們前進(jìn)，并通過必備的設(shè)備和應(yīng)用程序吸引我們。另一個(gè)驅(qū)動(dòng)力是 大流行驅(qū)動(dòng)的對(duì)健康的關(guān)注。

隨著人們有更多的時(shí)間去娛樂，沉浸式技術(shù)有機(jī)會(huì)取得進(jìn)展。虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)耳機(jī)現(xiàn)在可從多家制造商處輕松獲得。開發(fā)工具 讓業(yè)余愛好者和專業(yè)人士渲染世界和場(chǎng)景景觀。雖然視覺效果得到了所有的媒體，但音頻是 也向前邁進(jìn)。

在公認(rèn)的五種感官中，聲音可能是最受贊賞的。無(wú)論是來自大自然的豐富， 管弦樂隊(duì)的飽滿，或精神音樂的激蕩，聽起來與任何其他意義一樣深刻 在情感和生理上影響我們。

到達(dá)這里

我們今天之所以存在，很大程度上是因?yàn)槲覀儗Ｗ⒌膬A聽能力。例如，我們的祖先打獵 會(huì)使用聲音來跟蹤和尋找家庭或村莊的食物。使用聲音定位潛在的致命來源 以3D，身臨其境的方式使避免捕食者成為可能。我們可以感覺到某物在哪里，它有多遠(yuǎn) 是，以及它接近的速度有多快。

沉浸式音頻是迄今為止最先進(jìn)的音頻處理和傳輸系統(tǒng)。要做到正確，需要音頻 戰(zhàn)略性地處理和一系列特征明確且經(jīng)過校準(zhǔn)的低音揚(yáng)聲器、揚(yáng)聲器和高音揚(yáng)聲器 放置以提供動(dòng)態(tài)的全頻譜聆聽感覺。

盡管這樣的實(shí)現(xiàn)已經(jīng)超出了過去的普通發(fā)燒友，但電影院和 表演場(chǎng)所多年來一直在利用這項(xiàng)技術(shù)。像所有開創(chuàng)性技術(shù)一樣，它 最終找到了通往世界其他地方的路。

現(xiàn)代娛樂系統(tǒng)利用許多專用過濾器和動(dòng)態(tài)處理來創(chuàng)建經(jīng)濟(jì)實(shí)惠的產(chǎn)品 適合更多預(yù)算的實(shí)施。如今，家庭影院比以往任何時(shí)候都多，尤其是在大流行期間 世界，沉浸式音頻肯定會(huì)出現(xiàn)在各地的游戲和家庭影院位置。

雖然立體聲允許基本的環(huán)繞聲功能，但最流行的環(huán)繞聲和3D音頻正在使用 今天是杜比數(shù)字 5.1 科技。這些系統(tǒng)被稱為杜比 數(shù)字、杜比定向邏輯 II、DTS、SDDS 和 THX。它們都具有六揚(yáng)聲器配置（總共五個(gè) 帶寬，一個(gè)低音炮）包圍聽者（ 圖1 ）。這些環(huán)繞聲 技術(shù)首先用于電影院，這有助于推進(jìn)這些系統(tǒng)并使它們更多 具有成本效益，可供大眾使用。

• 圖1： 環(huán)繞聲 5.1 使用六個(gè)填充范圍揚(yáng)聲器，放置在特定的 位置，以便音頻處理工程師可以混合在空間上似乎在 聽者。這里沒有顯示的是低音揚(yáng)聲器，因?yàn)樗ǔ？梢苑胖迷谌魏蔚胤?。（來源：澤?Liew/Shutterstock.com）*

多個(gè)揚(yáng)聲器由獨(dú)特的單個(gè)音頻流驅(qū)動(dòng)，以便虛擬聲音的感知位置 環(huán)繞著聽眾。在這里，后左聲道和右聲道用于空間深度。左前方、右前方、 中置聲道用于橫向深度，單個(gè)低音炮分配低頻低音 整個(gè)房間。

雖然非常適合位于收聽區(qū)（或沙發(fā)）中央的單個(gè)聽眾，但每個(gè)聽眾都會(huì) 在其他任何地方體驗(yàn)細(xì)微的差異。相對(duì)均勻的聲音會(huì)讓大家在 聆聽區(qū)體驗(yàn)動(dòng)態(tài)音頻。更重要的是，唱片藝術(shù)家正在宣傳他們的最新 CD 作為 通過提供 5.1 環(huán)繞聲軌道來沉浸式。

有趣的是，中前聲道針對(duì)語(yǔ)音范圍信號(hào)進(jìn)行了優(yōu)化。這有助于聽眾辨別 沉浸在 3D 聲音中的對(duì)話。隨著聲音的帶寬和飽滿度變得流行，能夠 區(qū)分語(yǔ)音變得更具挑戰(zhàn)性，因此中置通道濾波和放大可以使對(duì)話 更容易理解。

增加一個(gè)后中央聲道將規(guī)格提高到 6.1 環(huán)繞聲（ 圖 2 ），7.1標(biāo)準(zhǔn)系統(tǒng)取消了后中央通道，但增加了左右中通道 （ 圖3 ）。

• 圖2： 環(huán)繞聲 6.1 提供橫向揚(yáng)聲器以增強(qiáng)音頻 隨著音頻對(duì)象從前移動(dòng)到另一側(cè)和向后移動(dòng)而運(yùn)動(dòng)。同樣，低音揚(yáng)聲器的位置是任意的。這里 這與低音無(wú)關(guān)。（來源：Zern Liew/Shutterstock.com）*

7.1環(huán)繞聲技術(shù)增加了更多的揚(yáng)聲器和獨(dú)特的聲道?？梢允?2.5-D 立方體或多邊形 Create 可以擴(kuò)展到戰(zhàn)略位置的更多揚(yáng)聲器、高音揚(yáng)聲器和低音揚(yáng)聲器，讓聽眾沉浸在 2D 中 和有限的 3D 音頻（ 圖 3 ）。直接在頂部或底部的東西可能有些 通過信號(hào)處理近似，但除非確認(rèn)揚(yáng)聲器高于和 下面。

• 圖3： 以較小角度放置更多揚(yáng)聲器有助于消除音頻 可能發(fā)生的熱點(diǎn)，尤其是在軌道未正確混合或處理的情況下，或者如果音頻 轉(zhuǎn)換器無(wú)法正確處理環(huán)繞聲。（來源：Zern Liew/Shutterstock.com）*

我們應(yīng)該注意，來自立體聲捕獲的源轉(zhuǎn)換器可以處理立體聲音頻信號(hào)以創(chuàng)建 合成多揚(yáng)聲器環(huán)繞聲信號(hào)。這演示了數(shù)字信號(hào)處理如何分離 源位置主要來自立體聲源。最好的解決方案是在3D麥克風(fēng)中捕獲聲音 配置，然后以相同的 3D 揚(yáng)聲器配置播放。然而，這是繁瑣和困難的， 當(dāng)信號(hào)處理做出良好的近似時(shí)，大多數(shù)不會(huì)達(dá)到這些水平。

這始終是最好的方法嗎？信號(hào)處理能否用更少的聲音欺騙我們敏銳發(fā)展的聽覺 揚(yáng)聲器，還是我們會(huì)繼續(xù)創(chuàng)造聲音的墻壁和天花板？

• 圖4： 越多越好。表演者習(xí)慣了過高的 揚(yáng)聲器和放大器。在大型戶外環(huán)境中，這可能是必要的。但是你真的想要墻嗎 聲音？或者在某些時(shí)候，您是否意識(shí)到更好的聲音比更大的聲音更好？（資料來源： Tommistock/Shutterstock.com）*

面向?qū)ο蟮囊纛l

沉浸式音頻的最新實(shí)現(xiàn)來自杜比全景聲（Dolby Atmos），專為劇院設(shè)計(jì) 應(yīng)用。到目前為止，已經(jīng)對(duì)近5，000個(gè)劇院進(jìn)行了改造，以使用64個(gè)揚(yáng)聲器來利用這一點(diǎn) 最新的音頻聆聽體驗(yàn)。因此，它支持多達(dá) 128 個(gè)通道的廣泛陣列，并且可以 配備全帶寬、低頻低音揚(yáng)聲器和低音炮，以及高頻高音揚(yáng)聲器。

與常規(guī)音頻不同，Atmos（以及競(jìng)爭(zhēng)對(duì)手索尼） 360標(biāo)準(zhǔn)）使用音頻對(duì)象的概念。視聽接收器 （AVR） 將自動(dòng)知道 揚(yáng)聲器的數(shù)量、類型和位置，并對(duì)每個(gè)音頻對(duì)象的頻譜進(jìn)行處理 化妝、振幅位置、速度和方向。但是，它不僅僅是音頻。對(duì)象包含元數(shù)據(jù) 這有助于對(duì)象音頻呈現(xiàn)器 （OAR） 使對(duì)象處于運(yùn)動(dòng)狀態(tài)。在 128 個(gè)通道中，有 10 個(gè)用于 環(huán)境詞干和其他 118 個(gè)可用于音頻對(duì)象。

并非每個(gè)通道都是揚(yáng)聲器。聲道信息對(duì)應(yīng)對(duì)象，對(duì)象音頻可處理和 與其他對(duì)象音頻組合，以適當(dāng)?shù)募?jí)別定向到每個(gè)揚(yáng)聲器。這取決于 AVR 使用元數(shù)據(jù)實(shí)時(shí)處理信號(hào)，以執(zhí)行聲音的實(shí)時(shí)混合和分配。

可以想象，它不像立體聲，您只需放置幾個(gè)揚(yáng)聲器，然后就可以 聽。對(duì)于 Atmos 和許多環(huán)繞聲和 3D 音響系統(tǒng)，必須放置揚(yáng)聲器，然后校準(zhǔn)為 音景的準(zhǔn)確部分。普通家庭不會(huì)使用所有128個(gè)頻道。標(biāo)準(zhǔn)似乎是一個(gè) 用于家庭影院實(shí)施的 34 揚(yáng)聲器布置。

Atmos不是全新的。它于2012年在洛杉磯的一家劇院首次用于迪士尼電影首映式。 從那時(shí)起，大型劇院、IMAX、天文館、音樂劇、戲劇和其他聲音應(yīng)用推動(dòng)了它的發(fā)展。 成為用于為新電影和活動(dòng)捕獲音頻的事實(shí)標(biāo)準(zhǔn)。Atmos還使用天花板揚(yáng)聲器來 創(chuàng)建完整的聲音半球，使其更容易實(shí)時(shí)處理，同時(shí)提供來自上方的聲音。

曾經(jīng)，Atmos對(duì)于普通發(fā)燒友來說過于精致和昂貴，但現(xiàn)在它正在進(jìn)入 對(duì)于有空間和預(yù)算讓他們的朋友贊嘆不已的愛好者來說，這是擁有的領(lǐng)域。它也相當(dāng)高 在極客指數(shù)上。

如果您已經(jīng)為其他環(huán)繞聲技術(shù)咬緊牙關(guān)，則可以獲得杜比全景聲轉(zhuǎn)換器 并仍然使用您現(xiàn)有的揚(yáng)聲器和放大器。但是，您將需要更多，包括天花板揚(yáng)聲器。 轉(zhuǎn)換器將采用杜比 5.1 并通過 17 揚(yáng)聲器環(huán)繞聲 7.4.1 實(shí)現(xiàn)進(jìn)行轉(zhuǎn)換。

值得注意的是，環(huán)繞揚(yáng)聲器的另一種方法是條形音箱。條形音箱技術(shù) 各種形式越來越受歡迎。降低成本、設(shè)置簡(jiǎn)單、功耗更低、 更少的電纜和更小的尺寸推動(dòng)了這項(xiàng)技術(shù)的發(fā)展，即使我們向前發(fā)展也是如此。

相控陣垂直條形音箱已經(jīng)證明了它們能夠很好地模擬完整的音頻頻譜 清晰和分離。使用它們的音樂家會(huì)告訴您帶有六英寸揚(yáng)聲器的條形音箱柱 為低音炮應(yīng)用提供 18 英寸揚(yáng)聲器的聲音清晰度。這應(yīng)該引起一些人的注意。作為一個(gè) 因此，水平條形音箱和基于條形音箱的混合系統(tǒng)（包括遠(yuǎn)程揚(yáng)聲器）受到許多人的歡迎 家庭影院和工作室。

上下增強(qiáng)了這一點(diǎn)，側(cè)向揚(yáng)聲器使聲音反射到墻壁和天花板上 表面，似乎來自聽眾的上方或后面?，F(xiàn)代特斯拉Model 3使用前部 條形音箱技術(shù)作為其 15 揚(yáng)聲器音頻系統(tǒng)的一部分，以吹捧環(huán)繞聲和身臨其境的音頻功能。轉(zhuǎn) 關(guān)閉 Model 3 的后置揚(yáng)聲器，并通過信號(hào)處理和混響進(jìn)入沉浸式音頻模式，以顯示其 能力。那些嘗試過這種咒罵聲音的人是從后面?zhèn)鱽淼?。反饋好壞參半，很多人不喜歡 效果。評(píng)論家贊揚(yáng)和批評(píng)這項(xiàng)技術(shù)，許多評(píng)論家提到不同的 音樂類型有效，不適用于條形音箱風(fēng)格的沉浸式實(shí)現(xiàn)。這是有道理的，因?yàn)?再現(xiàn)的質(zhì)量將取決于錄音工程師的混音技術(shù)。這里的進(jìn)步將意味著 精確的上下沉浸式聲音技術(shù)幾乎無(wú)需落地?fù)P聲器即可實(shí)現(xiàn)。

捕獲與渲染

沉浸式視頻體驗(yàn)（如游戲）在大多數(shù)情況下使用創(chuàng)建的環(huán)境。這些是 3D 結(jié)構(gòu) 具有表面渲染和指定的物理屬性?？梢圆东@和數(shù)字化的真實(shí)視頻條帶 拼接在一起以形成包含上方和下方圖像的全景視圖。

身臨其境的體驗(yàn)（例如在國(guó)家公園中漫步）可以集成豐富的視覺效果，并且可以 通過預(yù)先錄制的剪輯的組合合成或創(chuàng)建。它們可以以3D聲音進(jìn)行音頻捕獲 系統(tǒng)并用作沉浸式體驗(yàn)的一部分。就像由頭部跟蹤控制的視頻一樣，音頻必須 也可以通過頭部跟蹤控制。例如，面對(duì)潺潺的小溪聽起來與面對(duì)潺潺的小溪大不相同。 遠(yuǎn)離它，如果聲音沒有跟蹤，就會(huì)缺乏身臨其境的體驗(yàn)。

幸運(yùn)的是，您不必發(fā)明自己的 3D 音頻捕獲來達(dá)到身臨其境的目的。音頻領(lǐng)導(dǎo)者喜歡 Sennheiser使用分段軸和數(shù)字工具捕捉專業(yè)真正的全向麥克風(fēng) 高度定向的聲音（ 圖5 ）。AMBEO VR 麥克風(fēng)包含多個(gè)易感寬帶 環(huán)繞聲配置中的麥克風(fēng)元件。DearVR微處理軟件可以渲染 定向音頻以饋送標(biāo)準(zhǔn)環(huán)繞聲配置。

• 圖5： 沉浸式音頻捕捉技術(shù)，如Sennheiser AMBEO VR 麥克風(fēng)允許數(shù)字音頻引擎根據(jù)極坐標(biāo)大小和方向呈現(xiàn)音景。 數(shù)字求和可以創(chuàng)建組合不同距離的多個(gè)聲源的復(fù)合音頻。 （來源：森海塞爾）*

為此，音頻引擎需要知道您的頭部方向和運(yùn)動(dòng)。使用耳機(jī)，這很容易 今天的標(biāo)準(zhǔn)。頭部跟蹤內(nèi)置于視頻渲染。但是如何創(chuàng)建一個(gè)身臨其境的頭部 使用僅限于兩只耳朵的耳機(jī)的基于位置的音頻系統(tǒng)？微型揚(yáng)聲器可以放置在 耳朵周圍的耳機(jī)，模仿環(huán)繞聲體驗(yàn)。對(duì)于大多數(shù)應(yīng)用，立體聲就足夠了， 但它不會(huì)與真實(shí)的環(huán)繞聲處于同一水平。

非娛樂應(yīng)用

雖然大多數(shù)沉浸式音頻和視頻技術(shù)將用于娛樂，但也有專業(yè)的 使用。例如，產(chǎn)品設(shè)計(jì)工程可以從沉浸式技術(shù)（視頻和音頻）中受益。從 從視頻角度來看，可以虛擬地構(gòu)建、渲染和 檢查。像噴氣發(fā)動(dòng)機(jī)這樣的沉浸式生成組件可以被構(gòu)造、推入和檢查 查看齒輪和渦輪機(jī)是否對(duì)齊。世界另一端的維修技術(shù)人員可以通過 工廠專家沉浸在制造環(huán)境中。

即使是沉浸式音頻在工程應(yīng)用中也很有幫助。設(shè)計(jì)汽車的工程團(tuán)隊(duì)可以傾聽 到發(fā)動(dòng)機(jī)和變速箱噪聲的渲染模擬。內(nèi)部環(huán)境控制，如氣流， 振動(dòng)和振蕩可以從虛擬設(shè)計(jì)中提取。窗戶可以設(shè)計(jì)和測(cè)試為： 消除當(dāng)我們以正確的方式搖下車窗時(shí)仍然發(fā)生在新車上的砰砰聲振蕩 以合適的速度定位。

在所有情況下，沉浸式體驗(yàn)都包括音頻。但是，并非每種情況都需要環(huán)繞聲，并且 模擬環(huán)繞聲可能就足夠了，至少在有人解決在 雙耳耳機(jī)。