淺談VR中輸入和輸出技術

近年來計算機的發(fā)展趨勢之一是形態(tài)的多樣化與應用情境的復雜化，自然交互（natural interaction）日益成為人機交互的重要發(fā)展方向之一。虛擬現(xiàn)實（Virtual Reality，VR）是新興計算機形態(tài)之一，是自然交互的重要組成部分。2010年以來，隨著Oculus、HTC Vive、Google Glass、PsvR、Micro soft hololens等商用頭戴式顯示設備（Head- Mounted Display，HMD）的發(fā)行，虛擬現(xiàn)實、增強現(xiàn)實（Augmented Reality，AR）技術逐漸進入人們的日常生活。

在應用方面，除了常見的VR游戲、VR視頻以外，VR和AR技術在教育、軍事、醫(yī)療、商業(yè)等領域也有著廣泛應用。由此，人們對VR技術產(chǎn)生了不同于以往桌面顯示設備的需求，比如，高性能的VR系統(tǒng)應具有沉浸感、想象性和交互性特點（Immersion， Imagination， Interaction，3I）。這些需求促進了VR技術的發(fā)展。當然，作為一種新的人機交互形式，VR交互中還存在一些問題，需要我們注意并加以預防。下面就讓大家和小編一起看看VR技術的新發(fā)展吧。

1. VR中輸出技術的發(fā)展

與傳統(tǒng)的桌面顯示設備類似，視覺仍然是VR中輸出信息的主要模態(tài)，但也有不同于桌面顯示設備的需求，如分辨率及像素密度、近眼顯示、視場角（Field of view，F(xiàn)OV）等。另外，為了增強沉浸感、提高VR交互的自然性，對于VR環(huán)境中其他模態(tài)（聽覺、觸覺）的信息呈現(xiàn)也有區(qū)別于傳統(tǒng)桌面顯示設備的需求。

（1）視覺

VR中的視覺顯示至少在兩方面與傳統(tǒng)的桌面顯示不同：第一，顯示屏（鏡片）與人眼的距離更近；第二，兩塊鏡片呈現(xiàn)的內(nèi)容不同，通過雙眼視差給人提供立體感。因為顯示屏與眼睛距離更近，對于同等質量的顯示屏，在VR中更容易觀察到像素點，畫質感相對粗糙、不真實，進而影響呈現(xiàn)效果。

我們研究發(fā)現(xiàn)，在普通分辨率的液晶顯示器、VR、AR上完成相同的閱讀任務，在VR上準確接收到的信息量大約是液晶顯示器的79%，在AR上準確接收的信息量大約是液晶顯示器的85%。

如果在液晶顯示器、VR、AR上完成相同的快速閱讀任務，被試者在選擇選項時，在VR和AR上需要多花費約10%的時間，即反應更慢；如果想要在VR設備上得到相同的閱讀績效，VR設備需要配備不低于3K分辨率的顯示屏。除了分辨率以外，3D文字、AR環(huán)境中的文字疊加背景也會影響VR和AR設備的閱讀績效。

在VR、AR環(huán)境中，用戶不再受物理顯示設備的范圍限制，可以在虛擬環(huán)境中同時放置多個窗口，如何設計多窗口布局將會影響交互的效率。我們研究發(fā)現(xiàn)，設計多窗口布局時需要關注切換距離與路徑，有中心布局（C-type）適用于低頻切換任務，無中心布局（NC-type）適用于高頻切換任務。

我們優(yōu)先推薦橫向布局，重視滿意度時推薦縱向布局，重視績效時推薦斜向布局。新的VR設備已經(jīng)在提高分辨率上取得了一些進展。HTC最新推出的Vive pro，組合分辨率達到了2880×1600，已經(jīng)接近3K分辨率。實驗室的原型機最高分辨率已經(jīng)達到8K。

（2）聽覺

在以桌面顯示器為主流顯示設備的時代，聽覺可以通過耳機呈現(xiàn)立體聲音效，來模擬環(huán)境中不同位置的聲音。在VR中，因為視覺信息可以以立體、360度環(huán)繞的形式呈現(xiàn)，所以視聽整合（audio visual Integration）變得更加重要。視聽整合對呈現(xiàn)虛擬環(huán)境中物體的深度信息具有重要作用。

研究者將3D聲音信息作為主要線索來幫助使用者判斷物體的距離遠近，發(fā)現(xiàn)隨距離變化而調節(jié)聲音大小的3D信息能有效幫助使用者判斷物體距離，這種線索也能有效幫助使用者完成目標搜索任務。我們的研究發(fā)現(xiàn)，VR環(huán)境中的視聽整合對于深度線索的影響也體現(xiàn)在視聽不一致時，人們對視覺刺激的距離會偏向于聽覺刺激。我們的另一項研究發(fā)現(xiàn)VR動態(tài)背景下聽覺信息影響視覺搜索：當不同方位的聽覺信息影響覺察任務的反應時，如果聽覺信息與視覺目標的空間位置一致，則反應更快。

（3）觸覺

傳統(tǒng)的桌面顯示設備一般沒有觸覺顯示，人們在日常人機交互中接觸的觸覺信息主要是手機的震動。觸覺信息對于視覺有障礙人群具有特殊意義。有一系列為特殊用戶群體設計的觸覺顯示設備，如Braille Display。觸力覺人機交互對于保證VR系統(tǒng)的3I特性至關重要，但是現(xiàn)階段的主流VR系統(tǒng)中觸力覺反饋仍然非常有限，成為制約VR交互發(fā)展的瓶頸。

手和皮膚是人們的主要觸覺感覺器官，相應地，VR配套的觸力覺設備主要有手套和全身穿戴設備兩大類。其中手套設備更重視真實感的重現(xiàn)以及雙向信息流動，而全身穿戴設備專注于提供更好的沉浸感。例如電影《頭號玩家》中的男主角穿戴的就是一套覆蓋全身的觸力覺系統(tǒng)。由開源VR平臺High Fidelity與觸覺設備公司NeoSensory合作開發(fā)的觸覺夾克exoskin，其beta版設備帶有32個感覺馬達，覆蓋上肢和主要軀干部位。Tesla Suit的全身穿戴設備融全身觸力覺反饋、溫度變化反饋、動作捕捉系統(tǒng)于一體，力圖為用戶提供VR環(huán)境中的真實感與沉浸感。

（4）多模態(tài)融合

為了實現(xiàn)真正的自然交互，VR系統(tǒng)不僅要提供高質量的視、聽、觸覺信息，還需要不同模態(tài)信息之間有效協(xié)同，避免互相干擾，力求達到融合、互補。我們研究發(fā)現(xiàn)，（1）在每次呈現(xiàn)1bit信息的情況下，視、聽、觸模態(tài)呈現(xiàn)信息的效果沒有顯著差異；在每次呈現(xiàn)2-4bit信息的情況下，視覺呈現(xiàn)信息的效果明顯優(yōu)于聽覺和觸覺。（2）聽覺最適合呈現(xiàn)的信息形式是時間的長短，觸覺最適合呈現(xiàn)的信息形式是方位信息。（3）在快速連續(xù)呈現(xiàn)信息的條件下，多模態(tài)冗余信息沒有表現(xiàn)出相對于單模態(tài)的增益效果（multi-sensory enhancement）。在VR環(huán)境中，除了視聽整合，還要求實現(xiàn)視聽觸整合：同一物體的視、聽、觸的信息要在空間和時間維度上都保持一致，才能實現(xiàn)讓人滿意的整合效果。

2. VR中輸入技術的發(fā)展：

設計師和工程師自計算機誕生以來，從未停止對更加自然的交互形式的探索。從最早的穿孔卡開始，經(jīng)過鍵盤鼠標，再到觸摸板和觸摸屏，交互方式在不斷進化。VR、AR的出現(xiàn)讓計算機顯示從有限尺寸的屏幕發(fā)展到?jīng)]有實體屏幕，這也要求我們進一步去發(fā)現(xiàn)新的交互方式。

（1）動作捕捉

動作捕捉技術，即以某種分辨率捕捉對象的大規(guī)模運動，在VR交互中也扮演著重要角色。動作捕捉主要有電磁、機械、聲學、光學和慣性式運動捕捉。其中，光學運動捕捉系統(tǒng)會監(jiān)視、跟蹤捕捉對象上的特定光點。

慣性式動作捕捉系統(tǒng)，如Xsens MVN和3DSuit，主要通過把慣性傳感器設備（如加速度計、磁感應計和陀螺儀等）固定在重要節(jié)點上來實現(xiàn)。算法上的新進展，如機會計算模型（opportunistic computing model）、類增量隨森林、深度學習等方法可以有效提高動作識別精度，對于大規(guī)模數(shù)據(jù)的泛化能力也得到了提高。

（2）移動

移動是非常重要的交互，但是現(xiàn)實世界的空間往往是有限的，為了實現(xiàn)在虛擬空間中的無限移動，讓用戶在虛擬環(huán)境中可以不受限制地行走，還需要外接設備—例如萬向跑步機。

萬向跑步機利用動作捕捉技術，將用戶的行走、轉向等產(chǎn)生的動作轉化成用戶在虛擬環(huán)境中的化身的相應運動，讓用戶感覺自己在走動，但實際上是原地踏步。其他類似的外接設備使得VR效果更逼真，比如商場中常見的蛋椅9DVR、VR多人聯(lián)機產(chǎn)品、迷你VR綜合樂園、移動VR體驗館等。

（3）手勢、眼動、腦電

VR/AR交互的主要輸入方式包括語音、手勢、控制器（手柄）以及傳統(tǒng)的鍵盤鼠標等，另外還有正在發(fā)展中的眼動、腦電等輸入形式。AR眼鏡，如HoloLens，支持簡單的手勢交互。更專業(yè)主流的手勢識別設備主要有Leap Motion。另外，在VR、AR中輸入文本是一個難題，設備自帶的輸入方式效率非常低。一些新的輸入技術可以提高VR、AR中的文本輸入效率，如頭動輸入、空中打字、單維手勢輸入等。

用眼動來實現(xiàn)交互，通過捕捉眼球的運動，計算出注視點，并配合眨眼等動作實現(xiàn)對設備的操控。Google Glass就可以靠眼動來操控，而在HoloLens和配合手機使用的VR設備（如Google Cardboard）中，眼動技術仍然是一個難點，目前只能通過頭動來操控。將腦電技術應用于VR，通過便攜式腦電設備收集腦電信號，并由特定算法將生理信號識別為意圖（如情緒識別）并實現(xiàn)對其他設備的控制最終以腦機接口的形式進行意圖的輸入，也是發(fā)展方向之一。

3. VR在社交領域的發(fā)展

演化中的合作關系奠定了人類的社會屬性。VR技術的發(fā)展，必定會影響人們的社交形態(tài)。作為一種新興的媒體，VR環(huán)境既更新了媒體傳播的形式又豐富了媒體展示的內(nèi)容。兩方面的發(fā)展讓虛擬環(huán)境下的社交形態(tài)更加多樣化，但可能引發(fā)一些新的問題。社會交往中，個人的身份構建（identity construction）是一個核心問題。在虛擬社交環(huán)境中，一個人可以體驗不同的身份，這種身份可能是跨職業(yè)跨年齡、跨性別甚至是跨物種的。不受限制的身份跨越，會引發(fā)大量的倫理問題。

除此之外，多樣的身份體驗也會直接對個人的自我認知造成影響，反向作用于真實世界的社交行為，并有可能刺激多重人格的差異化發(fā)展。在虛擬世界中，社交環(huán)境是虛構的，但用戶是真實的，虛擬社交會直接影響現(xiàn)實社會。因此，虛擬社交中的成人因素和暴力因素需要被妥善監(jiān)管?，F(xiàn)有的媒體研究表明，影視作品中的成人因素和暴力因素會對觀影者造成較大的影響，而VR環(huán)境中沉浸感更強，這類影響將進一步擴大。不受規(guī)范的虛擬社交很大可能導致現(xiàn)實世界中的反社會行為，這對于青少年可能更為嚴重。

虛擬世界的社交是會促進人們的社會交往還是會導致更嚴重的社會孤立呢？從好的方面講，對于不能進行面對面交流的情況，相比于傳統(tǒng)媒體，VR可以提供的信息更加豐富。除了圖像、語音之外，交流中重要的肢體接觸、環(huán)境烘托都成為了可能。虛擬社交能很好地作為真實社交的補充。但是，過分沉迷于虛擬社交，可能會導致對真實社交的忽略，造成社會孤立。

這一現(xiàn)象在社交媒體出現(xiàn)后已有體現(xiàn)，而沉浸感更強的VR社交有可能將這個問題放大。虛擬世界也可以發(fā)展親社會的社交：通過虛擬社交的方式增強使用者的同理心、同情心以及合作精神，改善他們在真實社交場景中的表現(xiàn)。總的來說，VR技術會帶來社交方式的變革。這種變革是一把雙刃劍，它具體會產(chǎn)生怎樣的影響還要取決于人們的使用方式，規(guī)則的健全程度等因素。