創(chuàng)建一個音樂世界 - “Shapesong”是什么？如何利用CPU制作沉浸式VR環(huán)境

3. 創(chuàng)建一個音樂世界

虛擬現(xiàn)實(shí)要求的幀率達(dá)到90fps，或者說每幀11毫秒。與之相比，傳統(tǒng)體驗(yàn)的幀率為30FPS，而且在特定位置低于30FPS也不會造成重大影響。但虛擬現(xiàn)實(shí)卻非如此。VR實(shí)際上需要渲染兩個版本的場景，一個左眼一個右眼。盡管要求存在一定的例外，而且存在可以利用的輔助技巧，但毫無疑問的是VR對計(jì)算的要求十分嚴(yán)格。

我們?yōu)椤癝hapesong”設(shè)計(jì)了一系列特定的功能，而這對VR系統(tǒng)提出了更加嚴(yán)格的性能要求。從技術(shù)的角度來看，“Shapesong”是數(shù)字音頻工作站 （DAW） 和游戲在虛擬環(huán)境中的結(jié)合。這三者均對CPU提出了巨大的計(jì)算負(fù)擔(dān)。下面我們不妨來看看“Shapesong”中完全依賴于CPU性能的部分。

3.1 音頻處理

作為一款音樂游戲，“Shapesong”需要處理大量的音頻。除了對環(huán)境，玩家和UI聲音進(jìn)行基準(zhǔn)渲染以外，我們還會在不同時(shí)間段播放與樂器相關(guān)的聲音。事實(shí)上，多個樂器的平均音頻處理負(fù)載是基準(zhǔn)（只演奏一件樂器時(shí)）的20倍。

這是樂器的幕后工作原理。如果你希望在樂器上演奏一個聲音（或者說一個音符），你需要播放這個音符的音頻片段。從某些方面來說，完整的鋼琴包含88個可以在特定時(shí)間內(nèi)彈奏的不同琴鍵（或者說音符）。如果你在“Shapesong”中彈奏類似的虛擬樂器，你最多可以同時(shí)播放88個不同的音頻片段。然而，這是假設(shè)了每個音符在同一時(shí)間段只彈奏一個活動音符（或者說聲音），但對“Shapesong”而言情況并不總是如此。

除了基于音頻片段的樂器演奏方法外，我們還可以通過另一種方法來演奏樂器：聲音合成。但聲音合成不能代替采樣（sample），而且這需要獨(dú)特的處理負(fù)載。我們希望“Shapesong”能夠支持兩種方法，從而在彈奏音樂時(shí)可以實(shí)現(xiàn)最大的靈活性。

3.2 環(huán)境效果

我在上文已經(jīng)提到，我們希望在“Shapesong”中實(shí)現(xiàn)視覺和音樂表演的結(jié)合，從而實(shí)現(xiàn)全新的音樂體驗(yàn)。所以，播放的音樂需要與環(huán)境中的視覺效果保持同步。

大多數(shù)人認(rèn)為游戲或體驗(yàn)中的所有圖形都是由GPU渲染，但實(shí)際上CPU圖形渲染管道上扮演十分重要的角色，因?yàn)槔L制調(diào)用是由CPU所執(zhí)行。繪制調(diào)用本質(zhì)上是指CPU確定圖形任務(wù)并將其發(fā)送到GPU的過程。總的來說，當(dāng)存在需要繪制到屏幕的獨(dú)特任務(wù)時(shí)，系統(tǒng)將需要CPU執(zhí)行繪制調(diào)用。

在Unity中，“Shapesong”引擎和繪制調(diào)用在一個名為“批量處理”的流程中得到了優(yōu)化。批量處理采集相似的繪制調(diào)用，將它們聚集到單個調(diào)用，然后再發(fā)送至GPU，這能夠極大地節(jié)省計(jì)算時(shí)間。但Unity只有在特定條件下才會對調(diào)用執(zhí)行批量處理，而其中一個條件是所有對象都共享相同的材料。另一個條件則是批量處理對象必須全部靜止，不能夠改變位置或以任何方式運(yùn)動。對于靜態(tài)環(huán)境而言（比方說共享相同材料的200棵樹），批量處理的效果非常優(yōu)秀。但如果你希望每一顆樹都對玩家輸入或音樂演奏產(chǎn)生獨(dú)特的響應(yīng)，批量處理將無法起到相同的作用。

無論虛擬世界是否需要響應(yīng)音樂，這對創(chuàng)建栩栩如生的虛擬世界而言提出了巨大的挑戰(zhàn)。如果無法移動或改變某個場景中的對象，我們應(yīng)該如何令這個場景變得栩栩如生呢？現(xiàn)實(shí)情況是，你不得不權(quán)衡需要進(jìn)行生動演示的部分，而且在實(shí)現(xiàn)方式上發(fā)揮自己的創(chuàng)意（這也是游戲開發(fā)所普遍面臨的一個長期問題）。正如我在前文所說，傳統(tǒng)體驗(yàn)和下一代體驗(yàn)的區(qū)別在于用戶的期待。

3.3 物理對象

要實(shí)現(xiàn)一個栩栩如生的虛擬世界，我們不僅需要在環(huán)境中添加動畫，我們還要根據(jù)大家早已習(xí)以為常的物理定律來設(shè)計(jì)動畫。事實(shí)上，你甚至可以認(rèn)為當(dāng)前的VR系統(tǒng)不是真正的VR系統(tǒng)，它們只是疊加了一層虛擬世界的增強(qiáng)虛擬。為什么這么說呢？因?yàn)楸M管在VR中看到了虛擬環(huán)境，但我們依然站在物理世界中，受所有物理世界的自然規(guī)律所束縛。重點(diǎn)是，如果你希望創(chuàng)建一個無縫的自然體驗(yàn)，同時(shí)不破壞這種幻覺，你將需要確保虛擬世界的物理與現(xiàn)實(shí)世界相匹配。

我們希望在“Shapesong”中創(chuàng)建一種自然的體驗(yàn)，能夠支持用戶利用環(huán)境中的對象進(jìn)行演奏，并以此來探索音樂環(huán)境。例如，當(dāng)用戶撿起一塊石頭并在池塘上打水漂時(shí)，我們希望石頭滑過水面時(shí)會播放音符；或者說當(dāng)用戶往下拍球時(shí)，球體下落時(shí)會出現(xiàn)音高的變化。這樣做的目的是，以一種不令人膽怯的方式來鼓勵非專業(yè)人士進(jìn)行音樂探索。

盡管在游戲引擎中啟用物理并非是難于登天，但成本極其高昂，對CPU資源的消耗也十分可觀。物理系統(tǒng)不僅需要逐幀計(jì)算受物理約束的對象的新位置，同時(shí)還需要檢測對象與其余環(huán)境的接觸。隨著這種物理支持的對象和相接觸對象的數(shù)量增多，成本也將隨之增加。

3.4 表演錄制

令“Shapesong”與眾不同的一點(diǎn)是，用戶可以自行錄制表演。我們希望表演錄制能夠充分利用VR及其運(yùn)行系統(tǒng)的功能。以往在通過數(shù)字音頻工作站錄制音樂時(shí)，你只能捕捉彈奏的音符，系統(tǒng)不能捕捉手指演奏琴鍵的動作，也無法捕捉頭部的擺動。但音樂的重點(diǎn)不僅只是你所彈奏的音符，你所彈奏的方式同樣是十分重要的組成部分。

我們記錄了用戶的所有輸入，并將它們制作成一段可以通過虛擬化身實(shí)現(xiàn)的動畫。當(dāng)用戶錄制一次表演的時(shí)候，他們基本上是克隆自己在特定時(shí)間段內(nèi)的活動。對于彈奏樂器，這意味著克隆你在演奏音樂時(shí)的一切行為。對于其他，這意味著克隆你與環(huán)境的交互，你的跳舞，或者僅僅只是打招呼這一動作。

盡管錄制一場表演不會消耗太多的資源，但播放表演卻會恰恰相反，尤其在以表演規(guī)模進(jìn)行播放時(shí)。例如，一首歌的某一節(jié)中可能同時(shí)彈奏了四種或五種樂器，而這期間可能同時(shí)包含一定的視覺表演，如跳舞或與環(huán)境中對象進(jìn)行交互。因此，用戶在典型演奏中的任意時(shí)刻可能會播放10個或以上的演奏錄制。每一個角色都有三個部分需要錄制：左手，右手和頭部。我們同時(shí)追蹤了角色所握持的對象，以及這些對象的狀態(tài)。在典型環(huán)境中，播放的對象或?qū)傩钥傆?jì)至少有100個，而每一幀都需要對它們進(jìn)行處理。