VR最偉大？五感相通 這是一場人機(jī)交互的盛宴

什么是真實？在電影黑客帝國中，電腦接管了人類的視覺、聽覺、嗅覺、觸覺等訊號，讓人們從出生開始就生活在虛擬世界中卻渾然不知。這雖然是科幻片，但令人浮想聯(lián)翩。

2014年，F(xiàn)acebook20億美金收購了Ocumulus Rift。同年Google I/O，Google發(fā)布了Cardboard，一款利用廉價紙板和手機(jī)屏幕就可以實現(xiàn)虛擬現(xiàn)實的DIY設(shè)備。2015年初，Microsoft公開了一款介于虛擬與增強現(xiàn)實之間的頭戴設(shè)備HoloLens，現(xiàn)場演示十分驚艷。此外各大公司與游戲廠商都紛紛在虛擬現(xiàn)實（Virtual Reality，簡稱VR）領(lǐng)域布局，眾多初創(chuàng)公司也在摩拳擦掌，頓時，VR成為炙手可熱的話題。雖然黑客帝國中描述的故事不太可能在現(xiàn)實發(fā)生，但VR以及VR所帶來的全新體驗已然走進(jìn)了尋常百姓家，為人津津樂道。

VR最偉大？的地方在于其構(gòu)造簡單，成本低廉，幾乎每個人都可以自己動手制作！比如Google最近發(fā)布的Cardboard，利用手機(jī)屏幕作為顯示器，利用普通紙板作為機(jī)身，利用透鏡聚焦圖像，利用一個小磁鐵作為控制開關(guān)，利用手機(jī)上的傳感器（比如陀螺儀，加速度計）作為頭部控制，利用手機(jī)上的APP來顯示不同的內(nèi)容和場景制作。整套成本不超過1美元！

圖1 人眼的Field of View (FoV, 視場）通?？梢赃_(dá)到180度。而普通相機(jī)的視角最多只能到達(dá)150度。寬闊的視場更能讓人具有身臨其境的代入感。圖中所示水平視場約135度，垂直視場約60度

然而，逼真的VR效果仍然亟待很多最新科技來幫助實現(xiàn)。懷著好奇心，我們來探討VR背后的黑科技。接下來主要從感官世界（視覺，聽覺，嗅覺，觸覺），以及人機(jī)交互的角度討論如何建造黑客帝國，實現(xiàn)身臨其境的體驗。同時分析黑科技背后的產(chǎn)業(yè)趨勢和機(jī)遇。

感官世界

目前大部分的VR設(shè)備主要側(cè)重在重構(gòu)視覺與聽覺，然而這僅僅是虛擬現(xiàn)實技術(shù)中的冰山一角。想象你住在北京的胡同里，卻可以戴著VR頭盔游覽意大利佛羅倫薩街角的一家水果店。你看到水果店周圍的古樸建筑，水果店主人向顧客微笑，并不寬闊的街道上車水馬龍人來人往，街旁小販快樂的叫賣聲傳進(jìn)你的耳朵，這時你嗅到了新鮮水果的清香，于是你伸出手，竟可以觸摸到水果，感覺這般真實。不僅如此，圖象，聲音，氣味，紋理的感覺，都隨著你的移動而變化，仿佛親臨佛羅倫薩。

最近看到一些嘗試模擬多種感官的VR設(shè)備，比如[1][5]。除了基本的視聽功能以外，這些設(shè)備可以傳遞氣味、風(fēng)、熱、水霧、以及震動。此類設(shè)備的用戶體驗在目前仍然有待提高，技術(shù)上并不完善。然而在學(xué)術(shù)界，相關(guān)的研究已經(jīng)持續(xù)了好幾十年。下面我們來細(xì)數(shù)VR背后的黑科技。

圖2 通過分屏顯示左右眼不同內(nèi)容獲得圖像的縱深感。系統(tǒng)參數(shù)包括視場大小，屏幕分辨率，透鏡焦距，雙眼間距，眼睛到透鏡距離等。一般來說，視場越寬，視覺代入感越強。但是過寬的視場會造成圖像扭曲以及像素被放大。所以需要綜合考慮系統(tǒng)設(shè)計。

視覺

一般認(rèn)為人的大腦的三分之二都用于視覺相關(guān)的處理，那么VR首先要解決的就是如何逼真地呈現(xiàn)圖景來欺騙大腦。目前的主要的解決方案是通過融合左眼和右眼的圖像來獲得場景的縱深感。其原理主要是通過將三維場景分別投影到人的左、右兩眼，形成一定的視差，再通過人的大腦自動還原場景的三維信息。這里涉及幾個主要參數(shù)：Field of View (視場）決定了一次能呈現(xiàn)多少場景，又分為垂直視場和水平視場。通常水平視場越寬越好（比如接近180度），垂直視場在90度左右。

屏幕分辨率則決定了細(xì)節(jié)的逼真度。所謂視網(wǎng)膜屏幕，就是說屏幕像素相對于觀看距離來說是如此之高，以至于人的肉眼無法分辨曲線是連續(xù)的還是像素化的。高像素對于逼真的VR體驗至關(guān)重要。值得注意的是，視場和屏幕分辨率通常成反比關(guān)系。寬視場可以通過透鏡的設(shè)計來實現(xiàn)。然而過寬的視場會導(dǎo)致場景的邊緣扭曲，同時像素被放大。設(shè)計上通常要平衡這兩點。延遲則決定了系統(tǒng)響應(yīng)速度。一般來說24幀每秒的幀速要求系統(tǒng)延遲小于50毫秒，甚至更多。

另外還有一些物理參數(shù)比如雙眼間距，透鏡的焦距，眼睛到透鏡距離等（見圖3），需要綜合考慮。對于虛擬場景的重現(xiàn)，主要是通過計算機(jī)圖形學(xué)對合成物體作逼真的渲染，然后分別投影到頭盔佩戴者的左右眼來實現(xiàn)。而對于真實場景的重現(xiàn)來說，側(cè)重于如何采集現(xiàn)場畫面，并且完整地記錄下場景的幾何信息。這個可以通過體感相機(jī)（比如Microsoft Kinect）或者相機(jī)陣列進(jìn)行(如圖4所示）。比如說Google今年推出的Jump [6] 就采用了16臺GoPro來制作虛擬場景。

圖3 利用間隔一個頭部距離的一對麥克風(fēng)可以忠實地記錄從聲音源到雙耳的傳遞過程

聽覺

聲音配合畫面才能淋漓盡致地展現(xiàn)現(xiàn)場效果。最簡單的方法就是直接從手機(jī)播放聲音。

然而一般的聲音錄制方法并不能還原完整的環(huán)境三維信息。而三維聲音，也稱為虛擬聲(virtual acoustics)、雙耳音頻(binaural audio)，則利用間隔一個頭部寬度的兩個麥克風(fēng)同時錄制現(xiàn)場聲音。該方法可以完整地保存聲音源到雙耳的信號幅度以及相位的差別（如圖3所示），讓聽眾仿佛置身現(xiàn)場一般。筆者曾試用過這套系統(tǒng)，音質(zhì)極佳，令人震撼。

頗有意思的是，麥克風(fēng)的外圍竟有人耳的造型以及由類似皮膚的材料構(gòu)成，這樣可以最大限度地保存外部聲音導(dǎo)入人耳的整個過程。更有甚者（如圖4所示），有人構(gòu)建了三維聲音陣列，可以將360度全景聲音全部錄入，然后通過頭部的轉(zhuǎn)動選擇性地播放出來。

虛擬聲的最佳應(yīng)用是專門為某個佩戴者量身定制聲音，這樣可以最大限度地高保真地還原音樂的現(xiàn)場感受。對于一般使用者來說，因為個體的差異（比如頭部寬度，耳朵形狀等），虛擬聲的實際效果略有不同，難以達(dá)到最佳播放狀態(tài)。需要根據(jù)特定場景通過電腦合成聲音。理論上，如果洞悉了三維場景以及材料性質(zhì)，計算機(jī)就可以模擬各類事件發(fā)生的聲音并將它合成在頭盔或VR盒子里播放。聲音合成的過程中基于物體間的距離，頭部的朝向等來模擬真實環(huán)境播放出的聲音。

圖4 左圖為3Dio公司的三維音頻輸入設(shè)備 右圖進(jìn)一步將8臺麥克風(fēng)做成360度陣列用以VR展示

嗅覺

如何讓VR盒子帶來“暗香浮動月黃昏”的感受？嗅覺雖然并不是VR必須的輸入信號，但能夠極大程度豐富VR的體驗。將嗅覺嵌入到影片里的嘗試可以追溯到半個多世紀(jì)前（比如Smell-o-Vision)。而通過電子調(diào)控方式實現(xiàn)氣味合成也已經(jīng)有好幾十年歷史，比較著名的比如iSmell公司。

簡單的思路是這樣子的：合成氣味的方式通常是由一堆塞滿了香料的小盒子組成，也被稱作氣味工廠。每一個小盒子可以單獨地被電阻絲加熱并散發(fā)出對應(yīng)的氣味。同時加熱多個小盒子就可以將不同的氣味混在一起（如圖5）。[1] 就宣稱采用了擁有7個小盒子的氣味工廠來合成氣味。

氣味合成這項技術(shù)距離實際應(yīng)用還有一段距離，主要難點在于如何精確地采集、分析、以及合成環(huán)境中的任意氣味。簡單的實現(xiàn)，比如釋放焰火、花香、雨露等一些基本環(huán)境味道，早已經(jīng)應(yīng)用在5D、7D電影中。而復(fù)雜的合成，比如巴黎某商店特有的氣味，目前還難以做到。

其中，還牽涉到需要經(jīng)常更換氣味盒子的問題，日常使用并不方便。筆者介紹嗅覺在VR中的實踐只為拋磚引玉?；蛟S在不久的未來會有更加實用地調(diào)配和模擬氣味的方法可供頭戴設(shè)備使用。

圖5 將氣味香料放在不同的小盒子里通過單獨加熱來釋放和混合

觸覺

觸覺（haptics）可以將虛擬的對象實物化，不僅看得見，還能“摸得著”。如何模擬不同物體的觸感是一個非常熱門的研究課題。各種模擬觸感的方法也層出不窮。

最簡單的觸感可以通過不同頻率的器件震動來實現(xiàn)，條件是設(shè)備與皮膚相接觸，通過縱向和橫向的特定頻率與持續(xù)的振動來模擬各種材料以及特殊條件之下的觸感。比如說，手機(jī)振動就是一種基本的觸感激發(fā)方式。再比如最新款的蘋果筆記本配備有震蕩反饋的觸控板，可以根據(jù)手指壓力的大小自動調(diào)整電流來控制振蕩頻率以及幅度。更為復(fù)雜地，可以根據(jù)屏幕顯示的內(nèi)容實時地調(diào)整震蕩波形來實現(xiàn)不同材質(zhì)觸感的反饋。類似的原理也可以在VR中實現(xiàn)，比如將觸感裝置嵌入到游戲手柄內(nèi)。這樣就可以根據(jù)畫面以及手勢動作來模擬各類物體不同的觸摸感覺。

除了手柄以外，甚至可以隔空體驗觸感。比如UltraHaptics [2]，通過聚焦超聲波到人的皮膚來實現(xiàn)“隔空打耳光”的功能。其原理是通過超聲波相位整列聚焦聲音到空間中的某一個點形成振動，示意圖見圖6左。再比如迪士尼的Aireal [3]，可以通過精確地壓縮和釋放空氣產(chǎn)生空氣漩渦（vortex ring）來“打擊”到皮膚表面（見圖6右）。雖然實現(xiàn)隔空振動的原理不同，兩者都使用了體感相機(jī)來捕捉手的位置并作定點的“打擊”。

最新研究中，日本科學(xué)家提出了利用激光鐳射來觸發(fā)空氣中定點的等離子體，既可以用來作全息顯示，又可以通過激光鐳射的激發(fā)產(chǎn)生觸感。演示十分驚艷（見圖7，參見 [4]）。

圖6 左：Ultrahaptics [2] 通過相位陣列聚焦超聲波到空間任意點產(chǎn)生振動，并可以調(diào)整頻率和節(jié)奏產(chǎn)生不同的觸感。右：迪士尼的Aireal項目 [3] 通過遠(yuǎn)距離發(fā)送空氣漩渦波撞擊皮膚產(chǎn)生各種觸感。兩個項目都使用了體感相機(jī)（Kinect）來識別定位手的位置。前者通過相位調(diào)控電子地調(diào)整波束方向，后者通過馬達(dá)機(jī)械調(diào)整空氣漩渦的發(fā)送朝向。

人機(jī)交互

聊完豐富多彩的感官世界，我們來看看VR中的控制部分。一般的VR頭盔擁有豐富的傳感器比如前置相機(jī)、陀螺儀、加速度計、感光器、近距探測器。也可以添加諸如心率監(jiān)控、眼球跟蹤等傳感裝置。傳感器的這類應(yīng)用賦予了VR設(shè)備許多新穎的功能以及交互體驗。

頭部控制

最常用的莫過于頭部控制，主要利用陀螺儀來檢測頭部的二維旋轉(zhuǎn)角度，并對屏幕的顯示內(nèi)容作相應(yīng)調(diào)整。絕大部分的VR盒子都能實現(xiàn)這個基本功能。

手勢控制

手勢控制可以大大增強互動性與娛樂性，對于游戲玩家尤其重要。手勢控制主要分成兩類：第一類是通過穿戴類似wii控制器的手套或手柄來實現(xiàn)手勢的識別；第二類則直接利用頭盔上的外置相機(jī)通過計算機(jī)視覺的方法來識別和跟蹤手勢。對于后者，往往需要類似Kinect這樣的深度相機(jī)才能準(zhǔn)確地識別手勢。LeapMotions, SoftKinetics等公司在VR手勢控制上已經(jīng)有不少成熟的demo。一般來說，使用深度相機(jī)可以比較準(zhǔn)確地定位手的具體位置，穩(wěn)定性較好。

圖7 在SIGGRAPH 2015的展示中，一組日本科學(xué)家 [4] 演示了如何利用激光鐳射在空氣中激發(fā)等離子體來作全息顯示以及產(chǎn)生觸感。

眼球控制

想象三維場景隨著你的眼睛轉(zhuǎn)動而改變！比如Kickstart上的FOVE [5] 嘗試的正是使用眼球跟蹤技術(shù)來實現(xiàn)VR游戲的交互。眼球跟蹤技術(shù)在VR盒子或者頭盔上并不難實現(xiàn)，一般需要在盒子或者頭盔內(nèi)部裝載一到兩個朝向眼睛的紅外相機(jī)即可。除了基本的眼球追蹤之外，還可以識別特定的眨眼動作用來控制屏幕等。 除了游戲控制之外，眼球跟蹤還有很多其他應(yīng)用。比如可以模仿人眼的生物學(xué)特性，僅僅將圖像聚焦放在眼球關(guān)注的地方，而將圖像其余部分動態(tài)模糊掉，讓三維影像顯示變得更加真實，同時有效地聚焦圖像，還能省電 （見圖8）。

心率控制

有一句話說得好：玩得就是心跳！心跳可以反映人的當(dāng)前狀態(tài)，比如興奮、恐懼、放松、壓力。檢測VR使用者當(dāng)前的生理狀態(tài)可以動態(tài)地調(diào)整影像內(nèi)容以及音效來實現(xiàn)一些超現(xiàn)實效果。比如說，當(dāng)心跳較快即人處于興奮狀態(tài)時，可以動態(tài)地調(diào)高圖像播放速率來匹配人目前的運動節(jié)奏，讓運動來得更猛烈一些。也可以利用負(fù)反饋的調(diào)整讓人迅速平靜下來，幫助更好的休息或者冥想。實現(xiàn)心率監(jiān)測有多種方式，比如蘋果手表使用的是紅綠兩種光譜的近距探測器來監(jiān)測心跳速率。心率監(jiān)測器可以結(jié)合手柄置于手腕之內(nèi)，或者置于頭盔之中。通常的問題是該心率探測器不能有效地和皮膚緊密貼著，因而一些運動帶來的微微移動會帶來讀數(shù)的不準(zhǔn)。心率控制在VR目前的應(yīng)用中并不多見，任然屬于比較新穎的項目。

意念控制

筆者寫這個話題是有所猶豫的，因為意念控制技術(shù)目前仍然非常原始，一般只是利用電極讀取頭部血流變化，通過機(jī)器學(xué)習(xí)的手段來匹配特定的讀數(shù)特征變化。在此不詳述。

圖8 從左到右: 頭部控制，手勢識別和控制，眼球跟蹤。它們各自作為VR的輸入方式，方便交互

小結(jié)

“你選擇紅色藥丸還是藍(lán)色藥丸？”，影片黑客帝國拋出了這樣一個令人深思的問題。筆者相信，VR技術(shù)可以幫助人們更好地體驗真實的世界。技術(shù)上而言，從感官到人機(jī)交互仍然充滿很多想象空間與實際問題，亟待人們創(chuàng)新地去解決。相信隨著VR技術(shù)的深入發(fā)展和普及，人們的生活體驗會變得更加豐富多彩，從此不必再受時空拘束。