VR、AR和MR的關(guān)鍵技術(shù)和體系結(jié)構(gòu)

虛擬現(xiàn)實(shí)VR一般指一種技術(shù)，它仿真真實(shí)和虛擬世界，使人類沉浸地融入一個(gè)三維空間，產(chǎn)生有立體感的視覺、聽覺、觸覺甚至嗅覺，在一個(gè)確定范圍內(nèi)非常類似于真實(shí)世界。它有三個(gè)特征(3R):實(shí)時(shí)渲染( Real time)、真實(shí)空間(Real space)和真實(shí)交互(Real Interaction)。

數(shù)字化的巨浪把數(shù)字革命從我們的真實(shí)世界活動(dòng)引入到了虛擬世界。除了通信、購物、學(xué)習(xí)、生產(chǎn)、游戲、交友外，人們發(fā)微信、玩網(wǎng)游、看3D影視等，消耗在虛擬世界的時(shí)間在逐步超過在真實(shí)世界的時(shí)間。

VR技術(shù)依靠其沉浸感把人類推高到虛擬環(huán)境的一個(gè)高境界。HMD ( Head Mounted Display，即頭戴式顯示器(俗稱頭盔)，結(jié)合跟蹤系統(tǒng)使得沉浸容易實(shí)現(xiàn)，大大推動(dòng)了虛擬現(xiàn)實(shí)的發(fā)展，應(yīng)用紛紛涌現(xiàn)，令人眼花繚亂。隨著發(fā)展，AR和MR成了虛擬現(xiàn)實(shí)的新寵。

1、VR

關(guān)于VR有不同的定義:虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，它利用計(jì)算機(jī)生成一種模擬環(huán)境，是一種多源信息融合的、交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。

虛擬現(xiàn)實(shí)VR一般指一種技術(shù)，它仿真真實(shí)和虛擬世界，使人類沉浸地融入一個(gè)三維空間，產(chǎn)生有立體感的視覺、聽覺、觸覺甚至嗅覺，在一個(gè)確定范圍內(nèi)非常類似于真實(shí)世界。它有三個(gè)特征(3R)，即實(shí)時(shí)渲染( Real time)、真實(shí)空間(Real space)和真實(shí)交互(Real Interaction)。

幾十年來，VR在游戲、影視、專業(yè)學(xué)習(xí)與訓(xùn)練、旅游、制造、軍事等各個(gè)方面極大地影響了人類。近年來，隨著HMD的普及和遠(yuǎn)程通信技術(shù)的發(fā)展，距離已經(jīng)不成問題，在真實(shí)環(huán)境中融入虛擬現(xiàn)實(shí)獲得了人們的青睞，從而誕生了增強(qiáng)現(xiàn)實(shí)(AR)。進(jìn)一步，技術(shù)的發(fā)展使得真實(shí)環(huán)境和虛擬環(huán)境可以更好地融合，人類可以靈活地游走于虛、實(shí)環(huán)境，從而混合現(xiàn)實(shí)(MR)大大發(fā)展，以至于Microsoft號稱其Hololen、系統(tǒng)只聚焦于混合現(xiàn)實(shí)。

2、AR

什么是增強(qiáng)現(xiàn)實(shí)(AR)，百度百科和維基百科說:增強(qiáng)現(xiàn)實(shí)技術(shù)是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像、視頻、3D模型的技術(shù)，這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)。

增強(qiáng)現(xiàn)實(shí)技術(shù)AR，以一種鮮活的直接或間接視點(diǎn)交互物理真實(shí)環(huán)境，其中的成分已獲“增強(qiáng)”，增強(qiáng)效果借助于計(jì)算機(jī)生成或真實(shí)世界傳感輸入，諸如聲音、視頻、圖形或GPS數(shù)據(jù)等。

顯然，VR本身是基于個(gè)人計(jì)算機(jī)誕生的，而增強(qiáng)現(xiàn)實(shí)和參與者的現(xiàn)實(shí)環(huán)境相關(guān)，因此可以說是面向移動(dòng)計(jì)算的。

3、MR

混合現(xiàn)實(shí)MR有時(shí)也稱hybrid reality，它把真實(shí)世界和虛擬世界合成在一起，產(chǎn)生一個(gè)新的環(huán)境，使之形象化，物理和數(shù)字對象共存，實(shí)時(shí)的交互?；旌犀F(xiàn)實(shí)不僅僅發(fā)生在真實(shí)世界或虛擬世界，而且把現(xiàn)實(shí)和虛擬現(xiàn)實(shí)融合到了一起，借助于沉浸技術(shù)包容了增強(qiáng)現(xiàn)實(shí)和增強(qiáng)虛擬。

圖1 從現(xiàn)實(shí)到虛擬和從虛擬到現(xiàn)實(shí)

如圖1所示，橫向兩端分別是真實(shí)(環(huán)境)和虛擬(環(huán)境)，從左往右，對真實(shí)世界略有修改的狀態(tài)稱為放大現(xiàn)實(shí)(Amplified Reality)。放大現(xiàn)實(shí)意味著借用計(jì)算手段將物理對象的性質(zhì)予以充實(shí)。AR是關(guān)于如何讓用戶感知真實(shí)，放大現(xiàn)實(shí)則是影響用戶感知真實(shí)。

這里，出現(xiàn)了新的中間狀態(tài)—Mediated reality(姑且稱為“間接現(xiàn)實(shí)”)。這里還出現(xiàn)了增強(qiáng)虛擬AV ( Augmented Virtuality，指的是從一個(gè)虛擬世界看真實(shí)世界。因這兩個(gè)已不常用，我們這里不再贅述。

我們關(guān)注的是其中的3點(diǎn):VR,AR和MR。我們在廣義上把VR,AR和MR統(tǒng)稱為虛擬現(xiàn)實(shí)(VR)。下面就以VR統(tǒng)稱它們。

虛擬現(xiàn)實(shí)的歷史與由來:Virtual Reality這個(gè)詞是由美國計(jì)算機(jī)科學(xué)工作者Jaron Lanier在上世紀(jì)80年代末引入的。但是，追溯起來，虛擬現(xiàn)實(shí)的歷史要悠久得多。我們列出一張表，見表1。

表1 虛擬現(xiàn)實(shí)發(fā)展史

到了21世紀(jì)，計(jì)算設(shè)施和智能手機(jī)越來越強(qiáng)大、高清晰度顯示和3D圖像能力劇增，VR迅速發(fā)展。各種頭盔(如Google Cardboard , Samsung galaxy Gear , Oculus Rift , HTC vive)的問世，大幅推動(dòng)了VR的發(fā)展。

云計(jì)算又使得基于云端的VR應(yīng)用紛紛涌現(xiàn)，AR和MR成了主流。一些IT尤其是軟件界巨頭，如Google ,Apple和Microsoft開始競相大力布局AR和MR，構(gòu)建自己的VR生態(tài)系統(tǒng)。

以Microsoft為例，2015年1月，微軟對Microsoft HoloLens混合現(xiàn)實(shí)設(shè)備的能力進(jìn)行了發(fā)布和展示。它可以無縫地把全息對象集成到用戶世界，有時(shí)難以區(qū)分自己是在現(xiàn)實(shí)世界還是虛擬世界。微軟在做一個(gè)大布局，就像當(dāng)年Apple開發(fā)智能手機(jī)iPhone一樣，開放接口，讓基于HoloLens平臺的新應(yīng)用不停地由獨(dú)立開發(fā)者開發(fā)出來，共享這個(gè)大餅。

若干關(guān)鍵技術(shù)支持

虛擬現(xiàn)實(shí)涉及技術(shù)很多，限于篇幅，這里聚焦于其中的一部分。首先討論VR建模方法與技術(shù)，因?yàn)榻Ｊ翘摂M現(xiàn)實(shí)的關(guān)鍵核心之一。

虛擬現(xiàn)實(shí)建模

虛擬現(xiàn)實(shí)建模即3D對象建模，這些對象將在真實(shí)世界和虛擬世界里交互。建模是VR的基礎(chǔ)之一，它包括一系列方法。

1、場景展現(xiàn)建模方法

虛擬現(xiàn)實(shí)系統(tǒng)首先需要一個(gè)場景及其展現(xiàn)，需要建立一個(gè)虛擬與真實(shí)融通的場景，并有效地展現(xiàn)。相關(guān)的建模問題包括:

1)基于深度區(qū)域圖像的建模:

(1)區(qū)域圖像獲取與登錄;

(2)3D模型表面重構(gòu);

(3)3D模型修補(bǔ)。

2)基于圖像的建模方法:

(1)基于單個(gè)圖像的幾何模型重構(gòu);

(2)采用立體視覺和結(jié)構(gòu)光照方法幾何模型重構(gòu);

(3)使用先驗(yàn)知識重構(gòu)風(fēng)景;

(4)基于輪廓線的幾何模型重構(gòu)。

3)材質(zhì)光照建模方法:

(1)體光照建模方法(Volume Illumination modelling method);

(2)活勝變化建模(Active alteration model;

(3)變密度傳播模型( Varying density emission model;

(4)材質(zhì)分類與混合模型( Material classification&hybrid model)。

4)領(lǐng)域建模方法(Filed modelling method):

(1)矢量場(Vector field;

(2)標(biāo)量場(Scalar field。

2、行為建模方法

虛擬現(xiàn)實(shí)環(huán)境中活動(dòng)對象(如人、車)建模尤其是其行為建模也是VR的關(guān)鍵，其中，常用的方法有:

(1)自主對象的主要類型( Main types of autonomous objects)方法;

(2}基于有限狀態(tài)自動(dòng)機(jī)的建模方法;

(3)面向建模方法的專家系統(tǒng);

(4)基于智能代理的建模方法;

(5)聚合與分解模型 ( Aggregation and disaggregation model)。

3、虛實(shí)結(jié)合建模

AR和MR需要虛實(shí)結(jié)合的場景，虛實(shí)結(jié)合建模是一個(gè)大挑戰(zhàn)。涉及的建模問題包括:

(1)虛實(shí)合成場景中真實(shí)環(huán)境信息的獲取與表示;

(2)虛實(shí)間3D登錄和存儲方法;

(3)虛實(shí)間禍合處理方法;

(4)虛實(shí)合成方法。

4、基于物理的建模方法

1)剛體建模方法:

(1)剛體運(yùn)動(dòng)仿真;

(2)碰撞檢測;

(3)連接性和限制性建模。

2)柔性物體建模方法:

(1)離散顆粒建模;

(2)連續(xù)性建模方法;

(3)柔性物體碰撞檢測。

3)虛擬人體運(yùn)動(dòng)建模方法:

(1)運(yùn)動(dòng)數(shù)據(jù)采集(Acquisition of motion data)

(2)運(yùn)動(dòng)數(shù)據(jù)處理(Treatment of motion data)

(3)運(yùn)動(dòng)控制(Motion control)

計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)動(dòng)畫

視覺是人感知世界的第一感覺，因此虛擬現(xiàn)實(shí)中涉及的一個(gè)關(guān)鍵技術(shù)是計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)動(dòng)畫技術(shù)。

這里涉及的技術(shù)有數(shù)學(xué)問題、3維建模和影像渲染問題等。數(shù)學(xué)指的是坐標(biāo)系統(tǒng)、向量和轉(zhuǎn)換矩陣，用于表示可視化、3D對象動(dòng)畫、特征描述等。3D建模是借助于幾何描述為實(shí)際物體對象構(gòu)建一個(gè)特定的3D形象;渲染借助于光照模型、燈光、色彩和紋理演繹3D模型。

大部分虛擬世界是動(dòng)態(tài)的，隨時(shí)間變化的，物件在其中運(yùn)動(dòng)、旋轉(zhuǎn)和變化，因此需要計(jì)算機(jī)動(dòng)畫技術(shù)的支持。計(jì)算機(jī)動(dòng)畫的主要目標(biāo)是合成期望的運(yùn)動(dòng)效果。

虛擬現(xiàn)實(shí)系統(tǒng)的體系結(jié)構(gòu)

虛擬現(xiàn)實(shí)系統(tǒng)的體系結(jié)構(gòu)也是一個(gè)技術(shù)難點(diǎn)。

目前常用的體系結(jié)構(gòu)大多數(shù)由本地部署的，陸續(xù)地往基于云計(jì)算的發(fā)展。

一個(gè)模擬駕駛虛擬現(xiàn)實(shí)系統(tǒng)如圖2所示。

圖2 一個(gè)模擬駕駛系統(tǒng)

討論基于Microsoft的HoloLens開發(fā)MR系統(tǒng)，給出開發(fā)一個(gè)混合現(xiàn)實(shí)系統(tǒng)的必要軟、硬件要求:一臺PC，參數(shù)要求是:Windows 10 64bit ( Windows ,Mac OS or Linux ) ; 30GB可用硬盤空間;RAM 6 GB ; CPU處理能力。推薦Intel Core i5或Core i7處理器(或類似性能);GPU( Graphics Processing Unit)或圖形卡。

如果使用HoloLens仿真器，推薦的最小系統(tǒng)要求是:操作系統(tǒng)64bit Windows 10 Pro/Enterprise/Education Edition;CPU至少4核;8 GB RAM;BIOS必須支持和能夠基于硬件的虛擬化;二級地址轉(zhuǎn)換技術(shù)(SLAT)和基于硬件的數(shù)據(jù)執(zhí)行保護(hù)(DEP ) ; DirectX 11.0及以上的GPU, WDDM 1.2或更高版的驅(qū)動(dòng)。其他還有專用硬件要求:HoloLens , Emulator或其他類似硬件。建模則可以使用一些3D建模軟件，如Unity Technologies公司的Unity。

感知技術(shù)

1、視覺

計(jì)算機(jī)的顯示技術(shù)經(jīng)歷了顯像管CRT,液晶LC D等時(shí)代，期間，等離子顯示也曾流行，但目前基本上有LCD占據(jù)主流。

虛擬現(xiàn)實(shí)的顯示目前有HMD頭盔、投影和桌面顯示三種主要方式，最受青睞的是HMD。

大部分HMD有一個(gè)或兩個(gè)帶透鏡的小顯示器，顯示單元可以使用CRT , LCD , LCos或OLED技術(shù)。顯示器有鏡頭和半透明反光鏡，封裝在一起。許多HMD配有耳機(jī)(或喇叭)，以便視頻和音頻一起輸出。有的HMD是一個(gè)復(fù)雜的感知和計(jì)算系統(tǒng)，以Microsoft的HoloLens為例:它擁有3個(gè)處理器—CPU,GPU,HPU(holographic processing unit);Inertial Measurement Unit(IMU)—加速度傳感器、陀螺儀、磁力計(jì);攝像機(jī)一一一5個(gè)可見波長攝像機(jī)、一個(gè)遠(yuǎn)紅外攝像機(jī);一個(gè)遠(yuǎn)紅外激光投影器;麥克風(fēng)等等。

為了發(fā)揮自己潛力，HMD和跟蹤器配合在一起，探測角度、方向甚至是位置的變化，以便在計(jì)算機(jī)里控制VR應(yīng)用，按特定實(shí)踐渲染成虛擬場景。

在醫(yī)療外科應(yīng)用中，還使用了X射線視像，和傳統(tǒng)視像合成在一起。傳統(tǒng)的HMD可以提供大多數(shù)沉浸感，但還有不足，主要如顯示粒度、視角大小等。

2、聽覺

聲音是我們?nèi)粘Ｉ铙w驗(yàn)的一部分，從中獲取大量信息。聲音來自不同空間位置，我們生活中感知的是空間聲音。如何在虛擬環(huán)境里構(gòu)建空間聲音一個(gè)重要挑戰(zhàn)。

聲音在虛擬顯示系統(tǒng)中扮演著不同角色，如:

1)補(bǔ)充信息:聲音可以提供較僅有視覺外補(bǔ)充的、更豐富的信息。少許的回聲和反響都可使人的大腦對關(guān)注對象的方位和距離，以及環(huán)境大小和背景有新的認(rèn)識。

2)可供選擇的反饋:聲音反饋可以提升用戶接口(例如可以用聲音指示用戶命令的確認(rèn)或選擇的對象)。

3)可供選擇的交互模式:聲音是一種有效的通信通道。語音識別和語音合成可以有效地提升VR效果。

涉及的問題如空間聲音的記錄與再生和空間聲音合成等?？臻g聲音合成包括處理聲音信號以生成逼真的聲音，描述真實(shí)聲音場景:聲源的位置、方位，室內(nèi)還是曠野，等等。還有的問題如聲音渲染。聲音渲染大多用于為動(dòng)畫生成同步聲道，為場景里的每個(gè)對象通過創(chuàng)建有特征音色的空間聲音。聲源可以通過采樣或合成實(shí)現(xiàn)。

VR里的聲音系統(tǒng)需要滿足如下需求:

1) 3D定位:精確地定位虛擬聲源。

2)音響仿真:音響空間仿真是再現(xiàn)真實(shí)環(huán)境的基本要素，要能反映出房間的大小，墻面的特點(diǎn)等。

3)速度和效能:在空間聲音的物理性質(zhì)的精確仿真和聲音實(shí)時(shí)有效生成間往往存在矛盾，因此一般需要有個(gè)折衷。同時(shí)，實(shí)現(xiàn)虛擬環(huán)境還需要一定數(shù)目的虛擬聲源。大多數(shù)重要的聲音現(xiàn)象可以用計(jì)算機(jī)引擎仿真。值得注意的一個(gè)挑戰(zhàn)是如何在任意虛擬位置將聲源映射到一定數(shù)目的喇叭，而其實(shí)際位置又受到VR系統(tǒng)安裝時(shí)的物理設(shè)置所限制。

3、觸覺

目前的大多數(shù)VR應(yīng)用提供視覺和聽覺反饋，較少涉及力反饋。但是，很多VR應(yīng)用，迫切需要涉及觸覺和肌肉運(yùn)動(dòng)知覺，給人“接觸”虛擬物體的能力。觸摸是人的一種重要感覺，其中包括皮膚接觸和肌肉運(yùn)動(dòng)觸覺等。典型的觸覺感知設(shè)備和技術(shù)如:

1)數(shù)據(jù)手套(Data Gloves)手是人觸摸的一個(gè)主要輸入通道，是通過觸摸感知和操縱外部環(huán)境的主要接口。因此，手套形式的VR設(shè)備被大量設(shè)計(jì)和開發(fā)出來。這類手套里納入了大量的傳感器，用于獲取手指彎曲等身體數(shù)據(jù)。內(nèi)置磁性或慣性的運(yùn)動(dòng)跟蹤器( motion tracker)用于獲取全方位的手套位置與旋轉(zhuǎn)數(shù)據(jù)。有的還有響應(yīng)激勵(lì)設(shè)施，用于反映用戶在虛擬現(xiàn)實(shí)應(yīng)用中的反應(yīng)，例如在手指關(guān)節(jié)處內(nèi)置可充氣氣囊，在用戶接觸虛擬物體時(shí)，彎曲手指或握拳時(shí)適時(shí)將小氣囊充氣，用戶感知?dú)饽覊毫?，虛擬環(huán)境逼真仿真出握到虛擬物體的感覺。市場上已有豐富的數(shù)據(jù)手套產(chǎn)品，如CyberGlove,SDT Data Glove。它們擁有豐富的傳感功能，藍(lán)牙接口，開發(fā)SDI等。

2)觸覺演繹和渲染觸覺演繹和渲染指的是通過用戶和虛擬物體的交互，計(jì)算和產(chǎn)生出響應(yīng)力的過程。

一般有2類渲染算法:

(1) 3-DOF觸覺演繹:這類算法考慮和虛擬物體的單個(gè)接觸點(diǎn)場景，只有3個(gè)自由度(3 DOF)，只能在3D空間里變化位置。

(2) 6-DOF觸覺演繹:這類算法以6自由度抓住的物體:解決位置和轉(zhuǎn)動(dòng)問題，觸覺的反饋既有位置還有力矩。觸覺渲染接口也值得一提，觸覺渲染接口負(fù)責(zé)產(chǎn)生機(jī)械信號刺激人的肌肉和觸摸通道，讓人理解感知和在現(xiàn)實(shí)環(huán)境里作出響應(yīng)動(dòng)作。觸覺接口的目標(biāo)是通過再生虛擬物體的物理特征便于操縱虛擬物體。一般可將這類接口分為被動(dòng)觸覺接口、主動(dòng)觸覺接口和混合觸覺接口三類。被動(dòng)觸覺接口只能針對用戶運(yùn)動(dòng)施加阻力。主導(dǎo)觸覺接口使用激勵(lì)器，有提供能量的能力，這類激勵(lì)器可以是電動(dòng)馬達(dá)、水力系統(tǒng)、壓電裝置等?；旌嫌|覺接口則同時(shí)使用主動(dòng)和被動(dòng)激勵(lì)器。

虛擬現(xiàn)實(shí)系統(tǒng)工程與軟件框架

如何構(gòu)建一個(gè)VR系統(tǒng)

開發(fā)和運(yùn)維一個(gè)VR系統(tǒng)并不容易，需要許多領(lǐng)域的深度知識，涵蓋傳感和跟蹤技術(shù)、立體顯示、多模態(tài)交互和處理、計(jì)算機(jī)圖形學(xué)和幾何建模、動(dòng)態(tài)和物理仿真、性能調(diào)節(jié)等。和其他軟件系統(tǒng)比較，新的特點(diǎn)是:(1)實(shí)時(shí)性性能要求;(2)對象外觀和物理性質(zhì)建模問題，還要包括其行為特征;(3)根據(jù)不同任務(wù)和輸入/輸出設(shè)備，不同風(fēng)格和形態(tài)的交互技術(shù)。同時(shí)VR面臨的是一個(gè)多目標(biāo)決策的復(fù)雜問題，這些目標(biāo)還很可能是矛盾的。

構(gòu)建一個(gè)VR系統(tǒng)往往需要分步和迭代實(shí)現(xiàn)。第一步需要分析對虛擬體驗(yàn)的需求，初略描述完整的流程和情景結(jié)構(gòu)，包括時(shí)間和交互條件。還需要估算基本的輸入/輸出設(shè)施或必要的計(jì)算能力。在需求分析基礎(chǔ)上，需要對主要虛擬對象建模。要使用CAD軟件常常還需要建立幾何形態(tài)，開發(fā)人員使用圖形/VR庫函數(shù)(例程)對行為特征進(jìn)行編程。虛擬對象和其他成分要組織起來構(gòu)成一幕幕場景，編程后的場景要渲染，以高幀率(如20 Hz)顯示給用戶，保證對象動(dòng)畫的平滑性。系統(tǒng)中常用特定的VR傳感器和顯示設(shè)備作為接口。通過一步一步的精細(xì)化，系統(tǒng)逐步到達(dá)用戶要求。

VR軟件應(yīng)當(dāng)?shù)绞椒植介_發(fā)。最初的迭代應(yīng)聚焦于常規(guī)視圖，如需求分析，描述對象和特征，定義分層、全局系統(tǒng)行為、用戶任務(wù)建模和總體系統(tǒng)體系。下一步更多涉及VR相關(guān)的視野，對性能目標(biāo)、計(jì)算模塊逐步細(xì)化。我們可以簡述如下:

算法1 VR軟件開發(fā)算法

(1)腳本設(shè)計(jì)/需求分析

(2)對象/全局行為/系統(tǒng)結(jié)構(gòu)“場景”建模

①系統(tǒng)概要設(shè)計(jì)/修改需求

②系統(tǒng)設(shè)計(jì)

③系統(tǒng)仿真與驗(yàn)證，性能調(diào)節(jié)，過程分配

(3)性能/任務(wù)分解/交互模型/信息、功能、行為模型精細(xì)化

(4)實(shí)現(xiàn)呈現(xiàn)/特效

虛擬現(xiàn)實(shí)系統(tǒng)工程

VR/AR/MR開發(fā)是一種特殊的系統(tǒng)工程，我們這里稱為虛擬現(xiàn)實(shí)系統(tǒng)工程，對此，從3個(gè)方面討論:交互設(shè)計(jì)、軟件設(shè)計(jì)和實(shí)現(xiàn)、虛擬現(xiàn)實(shí)應(yīng)用。

1、交互設(shè)計(jì)

學(xué)者提出了一個(gè)基于混合對象的集成框架:將MR中出現(xiàn)的對象稱為(虛/實(shí))混合對象，分析混合對象的內(nèi)涵特征和外延特征，從而給出了一些方法，如:

(1)一種迭代的用戶為中心的設(shè)計(jì)方法;

(2)嵌入式MR環(huán)境。

針對虛擬現(xiàn)實(shí)系統(tǒng)工程，還討論了若干特殊設(shè)計(jì)問題，如提出一個(gè)面向工程的軟硬件協(xié)調(diào)設(shè)計(jì)方法;在設(shè)計(jì)結(jié)構(gòu)中，討論了基于模型的方法，使用傳統(tǒng)的基于模型轉(zhuǎn)換方法，從概念模型逐步演化和求精，最后實(shí)現(xiàn)軟件的方法。

2、生命周期

和所有軟件系統(tǒng)一樣，VR系統(tǒng)也有其生命周期。VR系統(tǒng)的生命周期管理也是一個(gè)挑戰(zhàn)。

應(yīng)用

VR不只是在游戲娛樂中找到用武之地，其應(yīng)用的領(lǐng)域很廣，主要應(yīng)用在健康、教育、娛樂、文化、工業(yè)和軍事等領(lǐng)域。

健康科學(xué)

虛擬現(xiàn)實(shí)技術(shù)廣泛應(yīng)用在健康領(lǐng)域，如外科、康復(fù)等。

1、虛擬外科

虛擬細(xì)幕)凳集擬現(xiàn)實(shí)應(yīng)用的一個(gè)熱門課題，很多系統(tǒng)被開發(fā)出來。手術(shù)前的準(zhǔn)備往往可以用一個(gè)VR系統(tǒng)來實(shí)現(xiàn)。這樣的系統(tǒng)讓外科醫(yī)生在一個(gè)虛擬環(huán)境里熟悉和改進(jìn)技能，大大有利于真實(shí)手術(shù)過程。

2、虛擬康復(fù)和治療

虛擬現(xiàn)實(shí)也可用來基于物理治療的康復(fù)處理。用于康復(fù)的VR系統(tǒng)集成觸覺和先進(jìn)傳感技術(shù)，識別運(yùn)動(dòng)模式、開發(fā)仿真任務(wù)(治療練習(xí))和診斷。一般通過立體顯示、力反饋設(shè)備、現(xiàn)代傳感技術(shù)實(shí)現(xiàn)的。診斷則通過收集數(shù)據(jù)、導(dǎo)入醫(yī)院檢測和基于人工智能模型實(shí)現(xiàn)的。

3、心理治療

心理治療中使用虛擬現(xiàn)實(shí)也很有用。例如，對于孤獨(dú)癥兒童而言，直接將其置于人群中可能兒童會(huì)不適應(yīng)。使用VR技術(shù)，讓他/她在虛擬人群中先熟悉起來，在逐步讓其真正融入人群會(huì)更有利。

4、虛擬解剖

虛擬解剖也是VR的典型應(yīng)用，借助于VR技術(shù)，醫(yī)學(xué)學(xué)生可以很直觀地掌握解剖技術(shù)、了解人體結(jié)構(gòu)，很好解決解剖對象短缺困境的問題。

工業(yè)制造業(yè)應(yīng)用

計(jì)算機(jī)在產(chǎn)品開發(fā)中廣泛使用，計(jì)算機(jī)輔助設(shè)計(jì)(CAD)、計(jì)算機(jī)輔助制造(CAM)、計(jì)算機(jī)輔助裝配規(guī)劃(CAAP )等是產(chǎn)品生命周期里廣泛使用的計(jì)算機(jī)系統(tǒng)。VR技術(shù)的應(yīng)用大大提高CAD/CAM處理能力。圖3展示VR在產(chǎn)品設(shè)計(jì)中的應(yīng)用。

在裝配和運(yùn)維中虛擬現(xiàn)實(shí)技術(shù)也廣泛應(yīng)用。1990年，波音公司啟動(dòng)777飛機(jī)的研制工作，生產(chǎn)過程采用了大量全新的航電、飛控、起落架等設(shè)計(jì)，需要在飛機(jī)上安裝大量的長捆航空線束。這些航空線束僅擔(dān)負(fù)著傳統(tǒng)的輸配電功能，還擔(dān)負(fù)這各類系統(tǒng)的信息傳輸功能。線束的安裝位置必須準(zhǔn)確快速，一方面保證各類線束之間彼此不產(chǎn)生干擾，另一方面也要避免被外界的信號干擾或者干擾外界的信號。

為了準(zhǔn)確地安裝這些復(fù)雜的線束，1990年，波音的兩位工程師，Thomas Caudell和David Mizell，提出了使用一種抬頭透視裝置。利用這個(gè)裝置，安裝工人在工作過程中，按照他們現(xiàn)在所處的位置以及頭部朝向，系統(tǒng)依據(jù)數(shù)字CAD圖，自動(dòng)生成虛擬圖像，疊加到工人們視野中的真實(shí)場景里。工人們可以方便地按照透視的虛擬線路指導(dǎo)，進(jìn)行各類航空線束的安裝。通過這么一個(gè)裝置，可以輕而易舉地提高安裝線束的效率同時(shí)減少安裝線束的錯(cuò)誤。增強(qiáng)現(xiàn)實(shí)這個(gè)詞也產(chǎn)生于此，描述這種在真實(shí)場景下，按照用戶看到的物體以及他們的位置和頭部朝向，自動(dòng)疊加虛擬內(nèi)容的這種技術(shù)。Thomas和David把他們的設(shè)想寫成論文，發(fā)表在1992年的第25屆系統(tǒng)科學(xué)國際會(huì)議上。

軍事應(yīng)用

虛擬現(xiàn)實(shí)在軍事上的應(yīng)用由來已久。表1中例舉的Ivan Sutherland的項(xiàng)目支持就來自美國國防部DARPA。戰(zhàn)場的態(tài)勢感知(Situation Awareness)是軍事上的重要問題。大量偵察到的信息，無論來自衛(wèi)星、雷達(dá)、傳感設(shè)備，還是飛機(jī)偵察等，需要收集起來、融合到一起，借助于3D技術(shù)和虛擬現(xiàn)實(shí)技術(shù)就可以把戰(zhàn)場環(huán)境虛擬地再現(xiàn)出來，有利于指揮和作戰(zhàn)。

培訓(xùn)也是虛擬現(xiàn)實(shí)技術(shù)在軍事上的重要應(yīng)用。飛機(jī)駕駛、導(dǎo)彈操控、軍艦操作往往可以借助于VR技術(shù)部分實(shí)現(xiàn)，從而減少成本，避免新手初操作時(shí)容易發(fā)生的事故。其他還有:戰(zhàn)士的單兵作戰(zhàn)系統(tǒng)、飛行員的駕駛系統(tǒng)等。

VR的其他應(yīng)用，如教育、文化、旅游、BIM等，讀者可能已很熟悉，限于篇幅，本文不再贅述。

趨勢、發(fā)展和挑戰(zhàn)

虛擬現(xiàn)實(shí)發(fā)展迅速，從資本市場看:2017年8月9日蜜蜂網(wǎng)發(fā)布《2017年上半年VR/AR投融資報(bào)告》稱:全球VR/AR行業(yè)投資總額超過21.63億美元。其中，國內(nèi)VR/AR行業(yè)投資總額超過5.2億美元;國外投資總額超過16.4億美元。半年里，發(fā)生投資事件126起，其中國內(nèi)為60起，國外為84起。這些投資主要集中在技術(shù)、硬件、游戲、平臺、教育、建筑和行業(yè)應(yīng)用等領(lǐng)域。其中，技術(shù)、硬件、游戲是投資熱點(diǎn)。騰訊2016發(fā)布年全球首份AR行業(yè)報(bào)告:到2017年，AR市場將增長至52億美元。IDC發(fā)布報(bào)告:全球范圍內(nèi)AR和VR市場的收入預(yù)計(jì)將在接下來四年內(nèi)翻倍，甚至更多。所有在AR/VR產(chǎn)品和服務(wù)上的花費(fèi)預(yù)計(jì)會(huì)從2017年的114億美元上漲至2021年的2150億美元，年增長率達(dá)到113.2%。面臨大好機(jī)會(huì)，我們也面臨新的挑戰(zhàn)。

首先，鑒于虛擬現(xiàn)實(shí)的3R要求，對處理器的要求很高。芯片(CPU,GPU和HPU)及其集成能力的需求十分迫切。感知技術(shù)/激勵(lì)技術(shù)包括硬件和軟件需要進(jìn)一步的發(fā)展。這里，我們僅從軟件角度看，我們的機(jī)遇和挑戰(zhàn)包括:

(1) VR建模技術(shù)。前面描述了VR建模技術(shù)的需求，目前尚有很多工作需要去做。

(2) VR開發(fā)方法。和大家習(xí)慣的軟件開發(fā)有很大不同的是，VR是一個(gè)軟硬件融合對策系統(tǒng)，需要軟硬件協(xié)同設(shè)計(jì)和開發(fā)，相應(yīng)的開發(fā)方法有待研究和深化。

(3)大數(shù)據(jù)處理能力。VR系統(tǒng)中涉及大量感知數(shù)據(jù)，實(shí)時(shí)采集、融合、處理和分析這些數(shù)據(jù)需要專門的算法。

(4)人工智能。傳統(tǒng)的VR演化為AR和MR，其關(guān)鍵在于大數(shù)據(jù)處理與AI技術(shù)，而面向AR和MR的算法與技術(shù)研究尚在初級階段。

(5)情景感知計(jì)算能力。作為一種計(jì)算形態(tài)，情景感知計(jì)算具有適應(yīng)性、反應(yīng)性、相應(yīng)性、就位性、情景敏感性和環(huán)境導(dǎo)向性的特征，這就是VR系統(tǒng)所必須的更是需要突破的。

審核編輯：郭婷