2019年5月12日,Unity在上海舉行了Unite Shanghai 2019,會(huì)上Unity大中華區(qū)商務(wù)經(jīng)理肖蓓蓓女士與HTC VIVEPORT中國(guó)區(qū)負(fù)責(zé)人謝禮安共同宣布Unity與HTC達(dá)成VIVEPORT VR內(nèi)容分發(fā)平臺(tái)合作。
謝禮安表示,“從去年開始,HTC便開始與愛奇藝、創(chuàng)維、大朋等一體機(jī)達(dá)成VIVEPORT平臺(tái)合作。截止目前,VIVEPORT平臺(tái)用戶基數(shù)已有三到四倍的增長(zhǎng),所以我們希望有更多的開發(fā)者往VR方向發(fā)展,此次與Unity合作,就是給未來開發(fā)提供更好的工具,降低分發(fā)困難和時(shí)間成本?!?/p>
在隨后的時(shí)間,Vive中國(guó)區(qū)開發(fā)者關(guān)系及內(nèi)容團(tuán)隊(duì)負(fù)責(zé)人袁東為我們講述了以及Vive平臺(tái)的最新技術(shù)以及ViveSDK的沉浸式SDK的具體功能。
以下為演講內(nèi)容整理:
“今天,我想跟大家分享的是Vive的SDK,HTC在全世界能夠制作出世界上最驚艷VR的設(shè)備,同樣我們想把最先進(jìn)的VR技術(shù)帶給開發(fā)者,讓開發(fā)者能制作出更驚艷的內(nèi)容。在現(xiàn)在社會(huì)中,產(chǎn)品的體驗(yàn)是勝于產(chǎn)品的本身的,為了能有更多沉浸的體驗(yàn),以下我將給大家介紹Vive SDK的沉浸四大功能。”
音效
提起VR,大家的第一感受是視覺,其次便是音效體驗(yàn)。Vive提供的3DSP技術(shù)能夠幫助開發(fā)者更好的去渲染音效,特別提供高精度的聲音模擬,傳統(tǒng)的錄制過程中會(huì)使有兩個(gè)麥克風(fēng)來錄制自然界的聲音,但將這運(yùn)用到VR中是遠(yuǎn)遠(yuǎn)不夠的。
其中影響人類聽覺的因素有非常多,除了距離這一因素,其實(shí)人的耳廓、耳道,甚至你的衣服的材質(zhì)都會(huì)影響你聲音的體驗(yàn),所以我們提供比較高精度的,讓大家在錄制中能夠更有觀感體驗(yàn)。
Hi-Res 3D是耳機(jī)中高保真度的評(píng)判標(biāo)準(zhǔn)之一,而我們提供的SDK便采用第三階的Hi-Res。我們以每五度是一個(gè)度量單位,并且提供方向設(shè)定,同時(shí)我們也提供了3D Audio中有物理疊加的體驗(yàn),以及聲音衰減等。
例如在虛擬環(huán)境中,雙方隔著一堵墻,那么我們可以通過3D Audio模擬出隔絕,聲音阻隔的效果。
混合現(xiàn)實(shí)
下面重點(diǎn)介紹一下XR Engine,這個(gè)工具是對(duì)虛擬和現(xiàn)實(shí)世界的感知和理解體現(xiàn)。這個(gè)演示的RD,能夠很好的展示我們現(xiàn)階段XR達(dá)到的成績(jī),通過HTC Vive Pro的攝像頭,能讓用戶在虛擬現(xiàn)實(shí)中看到現(xiàn)實(shí)的場(chǎng)景。
RD展示的效果便是在XR狀態(tài)下,在現(xiàn)實(shí)世界中打開了一個(gè)隧道,而這一連接虛擬世界和現(xiàn)實(shí)的隧道,可以讓你在這兩個(gè)世界來回的走動(dòng),而且可以把一個(gè)物體從一個(gè)世界扔到另一個(gè)世界,這個(gè)過程還有碰撞的反饋,是不是很像哆啦A夢(mèng)的夢(mèng)幻體驗(yàn)?
如果開發(fā)者有一臺(tái)Grght Eye和Left Eye的話,那么開發(fā)者可以嘗試使用我們提供SEE-Through功能進(jìn)行開發(fā),這是一個(gè)很有趣的過程。
值得一提的是,用戶在使用SEE-Through功能跟真實(shí)世界中交互體驗(yàn)時(shí),我們可以獲取用戶的場(chǎng)景深度信息,這可以輔助開發(fā)者做出非常有意思的Demo。
而這一過程所需的便是3D Reconstruction,它能把現(xiàn)實(shí)的場(chǎng)景在虛擬中重現(xiàn),從而重塑一個(gè)交互場(chǎng)景。
SRWorks SDK,它的功能就是感知現(xiàn)實(shí)世界。我們?cè)谧鯯rworksSDK的時(shí)候,主要的方向是為開發(fā)者提供更高精度的Mesh。所以我們提供的Mesh是通用的OPG文件,開發(fā)者首先做了可以生成OPJ的文件,再將這個(gè)打到具體的項(xiàng)目中,這時(shí),開發(fā)者就能發(fā)現(xiàn)它有許多非常優(yōu)秀的屬性可以幫助你進(jìn)行開發(fā)。
當(dāng)你在使用設(shè)備掃描場(chǎng)景時(shí),就SrworksSDK會(huì)讀取物品的形狀。而你只要根據(jù)這些信息,去設(shè)計(jì)有趣的內(nèi)容就行了。也就是說我們可以實(shí)時(shí)的掃出整個(gè)世界,每一楨的疊加,可以真實(shí)的和世界做互動(dòng),這樣你就可以實(shí)時(shí)的做一些反饋,這個(gè)非常有意思。
要做到實(shí)時(shí)反饋,便需要AI.Vision,它是你的AI認(rèn)知工具。我們可以通過學(xué)習(xí),將攝像頭前面的物體進(jìn)行感知識(shí)別。2D的方面它能識(shí)別9類的物體,舉例說明,當(dāng)你在VR中玩《Beat Saber》的時(shí)候,有人走到你面前,這時(shí)Vision就會(huì)有提醒的在畫面中給予提醒,以此避免發(fā)生一些危險(xiǎn)的事情。
交互
我相信大家很多人,在第一次體驗(yàn)VR的內(nèi)容中,可能第一個(gè)內(nèi)容可能是深海奇遇,當(dāng)你站再一個(gè)沉浸甲板的時(shí)候,你可能看到海底混沌海水的時(shí)候,你第一個(gè)反應(yīng)是伸出雙手感知世界,這是人跟世界最自然的一種接觸,就是通過雙手。
我們北京的研究團(tuán)隊(duì)一直致力于這種交互的研究,這一交互系統(tǒng),可以在MR環(huán)境下提供最基本的左手跟右手的識(shí)別,我們?cè)谝换A(chǔ)上定義了五種手勢(shì),未來也會(huì)有更多的手勢(shì)可以識(shí)別出來。此外它能夠提供手的骨骼信息(2D、3D),大約有21個(gè)點(diǎn)。
這是我們一個(gè)工程師在演示Demo,他的雙手被識(shí)別出來,而且每個(gè)手的關(guān)節(jié),21個(gè)點(diǎn)清晰的識(shí)別出來,而且是實(shí)時(shí)的。我們單個(gè)攝像頭提供3D信息,是有一點(diǎn)困難,所以暫時(shí)使用Vive,是不支持3D的信息捕捉。此外,移動(dòng)設(shè)備VIVE FOCUS,因?yàn)橐惑w機(jī)算力的受限,目前也沒法達(dá)到這一效果,但在未來,我們也會(huì)提供勢(shì)骨骼捕捉支持。
我們的SDK支持最流行的Native Library、Java AAR Plugin等,這些工具都可以開發(fā)出內(nèi)容。我們有一個(gè)應(yīng)用叫VivePaper,通過這個(gè)應(yīng)用可以利用手勢(shì),用最自然的方式讀你想要看的雜志和書籍。
為了讓開發(fā)者更加清楚的了解用戶的行為,我們?cè)O(shè)計(jì)了SRAnipal工具。這是Eye tracking(眼球追蹤技術(shù)),這個(gè)技術(shù)可以能追蹤開發(fā)者眼球注視的點(diǎn)。這時(shí),我們可以通過SRAnipal來清楚的了解到用戶在內(nèi)容體驗(yàn)的整個(gè)過程中所關(guān)注的點(diǎn)。
此外我們支持Lip tracking(嘴唇捕捉),通過外置設(shè)備我們可以通過嘴唇來識(shí)別出不同的表情。同時(shí)還有Movement tracking(運(yùn)動(dòng)追蹤)和shape tracking(形狀捕捉),我相信聽到這里在座的人應(yīng)該會(huì)很開心,因?yàn)槲覀冋诔?a target="_blank">黑客帝國(guó)》的方向發(fā)展。
SRanipal,我們想感知用戶的表達(dá),還有預(yù)測(cè)他,現(xiàn)在我們能夠提供的是Movement tracking和shape tracking,我相信在座的人應(yīng)該很開心,像《黑客帝國(guó)》,我們朝著這個(gè)一步一步做。未來會(huì)我們還會(huì)識(shí)別出更多的自然界的形態(tài),包括光照。例如開燈、關(guān)燈,光照燈源的方向等,將環(huán)境中的信息,反饋到XR中。
WAVE平臺(tái)
下面我向大家介紹ViveWAVE平臺(tái),現(xiàn)在市面有400個(gè)不同的平臺(tái)和不同種類的VR設(shè)備。對(duì)于開發(fā)者來講,這么多的設(shè)備,他們就會(huì)有很多的抱怨,相信不少開發(fā)者都有做內(nèi)容Porting(移植)的煩惱,尤其做安卓的開發(fā)者。因?yàn)闃I(yè)界缺乏這樣的標(biāo)準(zhǔn),所以我們的WAVE平臺(tái)很希望能成為像Unity一樣的多平臺(tái)支持,可以不用很多的優(yōu)化,你只需要關(guān)注的就是把你的精力用在創(chuàng)造更加驚艷的內(nèi)容上,這是我們的愿望和夢(mèng)想。
這是WAVE的Scope,如果你是第三方的兼容硬件的開發(fā)者,你可以用DEVICE MAKER,做開發(fā)。這個(gè)是WAVE的DIAGRAM,它是一個(gè)Base在安卓的平臺(tái)上,但是是可以安裝的平臺(tái),只要你是符合我們標(biāo)準(zhǔn)的安卓的設(shè)備,就可以安裝WAVE。
值得一提的是,WAVE的Main Features是高階的開發(fā)工具。使用Single pass rendering 以后,能夠?qū)崿F(xiàn)雙眼的楨級(jí)渲染。畫面的渲染會(huì)以用戶的注視點(diǎn)來進(jìn)行取舍,以高分辨率去渲染關(guān)注點(diǎn),而用戶沒有關(guān)注到的畫面會(huì)以一個(gè)比較低的分辨率來進(jìn)行渲染。
通過以上所述的SDK和VIVEPORT兩種方式,可以幫助用戶生成最后的content,且這一結(jié)果不會(huì)受到盜版的影響。
我的分享就到這里,非常感謝大家對(duì)Vive還有VIVEPORT的支持,在此也呼吁大家通過developer.vive.com去下載我們的開發(fā)平臺(tái)。到時(shí),我們都會(huì)有專家的解答和及時(shí)的解答。
-
VR技術(shù)
+關(guān)注
關(guān)注
2文章
225瀏覽量
18699 -
SDK
+關(guān)注
關(guān)注
3文章
1015瀏覽量
45609 -
VIVE
+關(guān)注
關(guān)注
0文章
38瀏覽量
15948
原文標(biāo)題:【技術(shù)干貨】Vive SDK四大功能詳解
文章出處:【微信號(hào):vrtuoluo,微信公眾號(hào):VR陀螺】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論