一文匯總增強(qiáng)現(xiàn)實的關(guān)鍵技術(shù)

跟蹤注冊技術(shù)

對于增強(qiáng)現(xiàn)實系統(tǒng)來說，一個重要的任務(wù)就是實時、準(zhǔn)確地獲取當(dāng)前攝像機(jī)位置和姿態(tài)，判斷虛擬物體在真實世界中的位置，進(jìn)而實現(xiàn)虛擬物體與真實世界的融合。其中攝像機(jī)位姿的獲取方法即為跟蹤注冊技術(shù)。從具體實現(xiàn)上來說，跟蹤注冊技術(shù)可以分為3類：基于傳感器的跟蹤注冊技術(shù)、基于計算機(jī)視覺的跟蹤注冊技術(shù)及綜合視覺與傳感器的跟蹤注冊技術(shù)。

1）基于傳感器的跟蹤注冊技術(shù)

基于傳感器的跟蹤注冊技術(shù)主要通過硬件傳感器，如磁場傳感器、慣性傳感器、超聲波傳感器、光學(xué)傳感器、機(jī)械傳感器等對攝像機(jī)進(jìn)行跟蹤定位。

磁場傳感器根據(jù)磁發(fā)射信號與磁感應(yīng)信號之間的耦合關(guān)系獲得被測物體的空間方向信息，根據(jù)接收器的磁通量獲得接收器和信號源之間的相對位置信息。這類設(shè)備一般較為輕巧，但環(huán)境中的金屬物質(zhì)會對磁場傳感器產(chǎn)生干擾，進(jìn)而影響跟蹤注冊的準(zhǔn)確性。慣性傳感器一般包括陀螺儀和加速度計等。陀螺儀可以用來測量物體的運動方向；加速度計可以用來測量物體的加速度。兩者相結(jié)合就可以獲得物體的位置和方向。超聲波傳感器跟蹤根據(jù)不同聲源發(fā)出的超聲波到達(dá)目標(biāo)的時間差、相位差和聲壓差實現(xiàn)跟蹤注冊。這類方法受外界環(huán)境影響較大。光學(xué)傳感器通過分析接收到的反射光的光信號實現(xiàn)跟蹤注冊。機(jī)械傳感器根據(jù)機(jī)械關(guān)節(jié)的物理連接來測量運動攝像機(jī)的位姿。綜合來看，基于傳感器的跟蹤注冊技術(shù)算法簡單，獲取速度快，但設(shè)備較為昂貴，且容易受外界環(huán)境的影響。

2）基于計算機(jī)視覺的跟蹤注冊技術(shù)

近年來圖像處理與計算機(jī)視覺發(fā)展較快，一些較為成熟的技術(shù)已被應(yīng)用于增強(qiáng)現(xiàn)實系統(tǒng)的跟蹤注冊中。基于計算機(jī)視覺的跟蹤注冊技術(shù)通過分析處理拍攝到的圖像數(shù)據(jù)信息識別和定位真實場景環(huán)境，進(jìn)而確定現(xiàn)實場景與虛擬信息之間的對應(yīng)關(guān)系。該方法一般只需要攝像機(jī)拍攝到的圖像信息，對硬件要求較低。

在實現(xiàn)方式上，基于計算機(jī)視覺的跟蹤注冊方法可分為基于人工標(biāo)志的方法和基于自然特征的方法。

基于人工標(biāo)志的方法一般將包含有特定人工標(biāo)志的物體放置在真實場景中，通過對攝像機(jī)采集到的圖像中的已知模板進(jìn)行識別獲得攝像機(jī)位姿，之后經(jīng)過坐標(biāo)系的變換即可將虛擬物體疊加到真實場景中?；谌斯?biāo)志的方法最具代表性的是ARToolkit和ARTag。ARToolkit通過使用人工標(biāo)志實現(xiàn)了快速準(zhǔn)確的跟蹤注冊，但其在遮擋敏感；ARTag采用數(shù)字編碼的方式在一定程度上增加了對遮擋的處理能力。圖1展示了ARToolkit 中人工標(biāo)志示例。圖2展示了ARTag中的人工標(biāo)志示例。

圖1 ARToolkit人工標(biāo)志示例

圖2 ARTag人工標(biāo)志示例

基于自然特征的方法通過提取圖像中的特征點，并計算場景中同一個三維點在二維圖像上的對應(yīng)關(guān)系，優(yōu)化獲得三維點在世界坐標(biāo)系中的位置以及攝像機(jī)的位姿。近年來，隨著計算機(jī)視覺與人工智能的發(fā)展，同時定位與地圖構(gòu)建（simultaneous localization and mapping，SLAM）受到了人們的廣泛關(guān)注。這類方法在跟蹤注冊的同時構(gòu)建場景地圖，具有運算速度快、精度較高的優(yōu)點?；谧匀惶卣鞯姆椒ú恍枰藶榈卦谡鎸崍鼍碍h(huán)境增加額外的信息，只需要跟蹤視頻中捕獲的場景中的自然特征，并經(jīng)過一系列幾何變換即可實現(xiàn)場景的跟蹤注冊。相比基于人工標(biāo)志的方法，這類方法更簡單、方便，但自然特征數(shù)目與跟蹤效果的不穩(wěn)定將對系統(tǒng)的運算速度和精度造成較大影響。

3）綜合視覺與傳感器的跟蹤注冊技術(shù)

在一些增強(qiáng)現(xiàn)實的應(yīng)用場景，基于計算機(jī)視覺與基于傳感器的方法均不能獲得理想的跟蹤效果，因此，研究者綜合考慮二者的優(yōu)缺點，將二者結(jié)合起來，以獲得更優(yōu)的跟蹤注冊效果。香港科技大學(xué)沈劭劼課題組提出的視覺慣性導(dǎo)航（visual-inertial navigation system，VINS）系統(tǒng)將視覺與陀螺儀和加速度計信息深度融合，在無人機(jī)和手持移動設(shè)備上均獲得了較好的跟蹤注冊效果；蘋果公司推出的ARKit和Google公司推出的ARCore增強(qiáng)現(xiàn)實軟件平臺分別支持iOS和Android操作系統(tǒng)，為移動端智能設(shè)備上的增強(qiáng)現(xiàn)實應(yīng)用提供了無限可能。圖3展示了在ARKit和ARCore平臺上開發(fā)的移動設(shè)備上的增強(qiáng)現(xiàn)實應(yīng)用示例。

圖3 增強(qiáng)現(xiàn)實應(yīng)用示例

顯示技術(shù)

增強(qiáng)現(xiàn)實技術(shù)的最終目標(biāo)是為用戶呈現(xiàn)一個虛實融合的世界。因此，顯示技術(shù)是增強(qiáng)現(xiàn)實系統(tǒng)中的重要組成部分。目前，常用的顯示設(shè)備有頭戴式顯示設(shè)備、計算機(jī)屏幕顯示設(shè)備、手持式移動顯示設(shè)備及投影顯示設(shè)備等。

1）頭戴式顯示設(shè)備

由于增強(qiáng)現(xiàn)實系統(tǒng)要求用戶可以觀察到現(xiàn)實世界的實時影像，頭戴式顯示設(shè)備主要是透視式頭盔顯示器。這類設(shè)備的主要功能是將用戶所在環(huán)境中的真實信息與計算機(jī)生成的虛擬信息融合，按真實環(huán)境的表現(xiàn)方式可將其分為視頻透視式頭盔顯示器和光學(xué)透視式頭盔顯示器。

視頻透視式頭盔顯示器通過頭盔上一個或多個攝像機(jī)來獲取真實世界的實時影像，利用其中的圖像處理模塊和虛擬渲染模塊進(jìn)行融合，最終將虛實融合后的效果在頭盔顯示器上顯示出來。

微軟推出的Hololens增強(qiáng)現(xiàn)實眼鏡采用全息技術(shù)，結(jié)合多個傳感器，將虛擬內(nèi)容投射成全息影像，實現(xiàn)虛實融合。這款眼鏡內(nèi)部集成了中央處理器（CPU）、圖形處理器（GPU）和全息處理器（HPU），不需要連接任何其他設(shè)備就可以實現(xiàn)與現(xiàn)實世界的交互。Meta公司推出的Meta2同樣是一款高沉浸感的增強(qiáng)現(xiàn)實眼鏡，其較Hololens 具有更大的視場角，但追蹤保真度仍有待優(yōu)化，且在使用過程中需要連接電腦進(jìn)行計算。圖4為Hololens增強(qiáng)現(xiàn)實眼鏡與Meta2增強(qiáng)現(xiàn)實眼鏡外觀。

圖4 Hololens增強(qiáng)現(xiàn)實眼鏡（a）與Meta2增強(qiáng)現(xiàn)實眼鏡（b）

光學(xué)透視式頭戴顯示器根據(jù)光的反射原理，通過多片光學(xué)鏡片的組合，為用戶產(chǎn)生虛擬物體和真實場景相互融合的畫面。與視頻透視式頭盔顯示器相比，光學(xué)透視式頭盔顯示器在顯示增強(qiáng)畫面時，不需要經(jīng)過圖像融合的過程，用戶看到的影像就是當(dāng)前的真實場景與虛擬信息的疊加。

Google公司推出的Google Glass是一款光學(xué)透視式頭盔顯示器，其經(jīng)過光學(xué)放大后將數(shù)據(jù)通過棱鏡顯示給用戶（圖5（a））。Google Glass可以通過聲音控制，實現(xiàn)拍照、視頻通話、全球定位系統(tǒng)（GPS）定位、文字處理、收發(fā)郵件等多種功能。Magic Leap公司發(fā)布了一款基于光場的頭戴式增強(qiáng)現(xiàn)實設(shè)備Magic Leap One（圖5（b））。這款設(shè)備利用外部攝像頭和計算機(jī)視覺處理器實時追蹤用戶位置，同時在追蹤過程中可以不斷調(diào)整雙眼的焦距，并將包含有深度信息的圖像通過光場顯示器顯示出來。

圖5 Google Glass（a）與Magic Leap One（b）

2） 計算機(jī)屏幕顯示設(shè)備

計算機(jī)屏幕顯示設(shè)備作為傳統(tǒng)的輸出設(shè)備一般具有較高的分辨率，且體積較大。在增強(qiáng)現(xiàn)實應(yīng)用中，這類設(shè)備更適用于將精細(xì)虛擬物體渲染并疊加于室內(nèi)或大范圍場景中。由于這類設(shè)備沉浸感較弱，但價格較低，一般適用于低端或多用戶的增強(qiáng)現(xiàn)實系統(tǒng)。

3）手持式移動顯示設(shè)備

手持式移動顯示設(shè)備是一類允許用戶手持的顯示設(shè)備。近年來智能移動終端發(fā)展迅速，現(xiàn)有的智能手持設(shè)備大都配備了攝像頭、全球定位系統(tǒng)（GPS）和陀螺儀、加速度計等多種傳感器，更具備了高分辨率的大顯示屏，這為移動增強(qiáng)現(xiàn)實提供了良好的開發(fā)平臺。與頭盔式顯示設(shè)備相比，手持式移動顯示設(shè)備一般體積較小、重量較輕，便于攜帶，但沉浸感較弱，同時由于硬件的限制，不同設(shè)備的計算性能參差不齊。目前，隨著iOS系統(tǒng)下的增強(qiáng)現(xiàn)實平臺ARKit和Android系統(tǒng)下的增強(qiáng)現(xiàn)實平臺ARCore的發(fā)布，后續(xù)的多數(shù)新款智能移動終端將支持增強(qiáng)現(xiàn)實技術(shù)。

4）投影顯示設(shè)備

投影顯示設(shè)備可以將增強(qiáng)現(xiàn)實影像投影到大范圍環(huán)境，滿足用戶對大屏幕顯示的需求。由于投影顯示設(shè)備生成圖像的焦點不會隨用戶視角發(fā)生變化，其更適用于室內(nèi)增強(qiáng)現(xiàn)實環(huán)境。微軟研究院的RoomAlive項目將Kinect、投影儀、攝像機(jī)和計算機(jī)結(jié)合起來，通過構(gòu)建房間的三維圖像將虛擬影像投影到整個房間，同時通過定位用戶位置實現(xiàn)與虛擬世界的交互。

人機(jī)交互技術(shù)

增強(qiáng)現(xiàn)實系統(tǒng)的目標(biāo)是構(gòu)建虛實融合的增強(qiáng)世界，使用戶能夠在現(xiàn)實世界中感受到近乎真實的虛擬物體，并提供人與這一增強(qiáng)的世界交互。在這一過程中，人機(jī)交互方式的好壞很大程度上影響了用戶的體驗。一般來說，傳統(tǒng)的交互方式主要有鍵盤、鼠標(biāo)、觸控設(shè)備、麥克風(fēng)等，近年來還出現(xiàn)了一些更自然的基于語音、觸控、眼動、手勢和體感的交互方式。

1）基于傳統(tǒng)的硬件設(shè)備的交互技術(shù)

鼠標(biāo)、鍵盤、手柄等是增強(qiáng)現(xiàn)實系統(tǒng)中常見的交互工具，用戶可以通過鼠標(biāo)或鍵盤選中圖像中的某個點或區(qū)域，完成對該點或區(qū)域處虛擬物體的縮放、拖拽等操作。這類方法簡單易于操作，但需要外部輸入設(shè)備的支持，不能為用戶提供自然的交互體驗，降低了增強(qiáng)現(xiàn)實系統(tǒng)的沉沒感。

2）基于語音識別的交互技術(shù)

語言是人類最直接的溝通交流方式。語言交互信息量大，效率高。因此，語音識別也成為了增強(qiáng)現(xiàn)實系統(tǒng)中重要的人機(jī)交互方式之一。近年來，人工智能的發(fā)展及計算機(jī)處理能力的增強(qiáng)，使得語音識別技術(shù)日趨成熟并被廣泛應(yīng)用于智能終端上，其中最具代表性的是蘋果公司推出的Siri和微軟公司推出的Cortana，它們均支持自然語言輸入，通過語音識別獲取指令，根據(jù)用戶需求返回最匹配的結(jié)果，實現(xiàn)自然的人機(jī)交互，很大程度上提升了用戶的工作效率。

3）基于觸控的交互技術(shù)

基于觸控的交互技術(shù)是一種以人手為主的輸入方式，它較傳統(tǒng)的鍵盤鼠標(biāo)輸入更為人性化。智能移動設(shè)備的普及使得基于觸控的交互技術(shù)發(fā)展迅速，同時更容易被用戶認(rèn)可。近年來，基于觸控的交互技術(shù)從單點觸控發(fā)展到多點觸控，實現(xiàn)了從單一手指點擊到多點或多用戶的交互的轉(zhuǎn)變，用戶可以使用雙手進(jìn)行單點觸控，也可以通過識別不同的手勢實現(xiàn)單擊、雙擊等操作。

4）基于動作識別的交互技術(shù)

基于動作識別的交互技術(shù)通過對動作捕獲系統(tǒng)獲得的關(guān)鍵部位的位置進(jìn)行計算、處理，分析出用戶的動作行為并將其轉(zhuǎn)化為輸入指令，實現(xiàn)用戶與計算機(jī)之間的交互。微軟公司的Hololens采用深度攝像頭獲取用戶的手勢信息，通過手部追蹤技術(shù)操作交互界面上的虛擬物體。Meta公司的Meta2與Magic Leap公司的Magic Leap One同樣允許用戶使用手勢進(jìn)行交互。這類交互方式不但降低人機(jī)交互的成本，而且更符合人類的自然習(xí)慣，較傳統(tǒng)的交互方式更為自然、直觀，是目前人機(jī)交互領(lǐng)域關(guān)注的熱點。

5）基于眼動追蹤的交互技術(shù)

基于眼動追蹤的交互技術(shù)通過捕獲人眼在注視不同方向時眼部周圍的細(xì)微變化，分析確定人眼的注視點，并將其轉(zhuǎn)化為電信號發(fā)送給計算機(jī)，實現(xiàn)人與計算機(jī)之間的互動，這一過程中無需手動輸入。Magic Leap 公司的Magic Leap One在眼鏡內(nèi)部專門配備了用戶追蹤眼球動作的傳感器，以實現(xiàn)通過跟蹤眼睛控制計算機(jī)的目的。
責(zé)任編輯人：CC