對(duì)于VR/AR設(shè)備來(lái)說(shuō),顯示技術(shù)和內(nèi)容生態(tài)可能是最為重要的兩個(gè)元素,但同樣不可忽視的還有設(shè)備中集成的一系列傳感器。這些傳感器的存在是設(shè)備交互的關(guān)鍵,而VR/AR的本質(zhì)其實(shí)就是人機(jī)交互的創(chuàng)新,沒(méi)有了這些傳感器,這些虛擬現(xiàn)實(shí)與尋常的顯示設(shè)備并無(wú)二致,毫無(wú)創(chuàng)新性可言。那么如今的VR/AR設(shè)備中,有哪些傳感器正在頻繁露面呢?我們不妨以在游戲VR設(shè)備上玩轉(zhuǎn)市場(chǎng)的索尼為例。
圖像傳感器
索尼在前不久發(fā)布了PSVR2,并聲稱支持了注視點(diǎn)渲染技術(shù)。這種渲染技術(shù)專注于渲染人注視點(diǎn)范圍內(nèi)的場(chǎng)景,通過(guò)降低周邊視覺(jué)的成像質(zhì)量來(lái)降低設(shè)備負(fù)載。畢竟VR/AR設(shè)備說(shuō)到底還是移動(dòng)設(shè)備,其功耗和性能都相對(duì)有限,但在這樣的定位下,VR/AR往往需要更高的幀數(shù)。況且與人眼一樣,我們其實(shí)無(wú)需對(duì)視覺(jué)死角內(nèi)的場(chǎng)景付出過(guò)多關(guān)注,所以注視點(diǎn)渲染技術(shù)減輕GPU負(fù)擔(dān)的方案正在席卷整個(gè)業(yè)界。
那么這一技術(shù)是如何實(shí)現(xiàn)的呢?答案就是眼動(dòng)追蹤。眼動(dòng)追蹤有多種實(shí)現(xiàn)手段,但對(duì)于VR/AR設(shè)備來(lái)說(shuō),該技術(shù)主要利用光源對(duì)眼鏡進(jìn)行照射來(lái)產(chǎn)生反射,并使用圖像傳感器來(lái)采集光源在角膜和瞳孔上的反射,從而通過(guò)角度等參數(shù)來(lái)計(jì)算眼動(dòng)的向量,最終判斷人的視線方向。
Tobii Eye Tracker 5 / Tobii
比如Tobii的眼動(dòng)儀就采用了近紅外光源,并利用兩個(gè)圖像傳感器、先進(jìn)的圖像處理算法和三維眼球模型來(lái)計(jì)算眼睛和視線的位置。而索尼的PSVR2也配備了兩個(gè)紅外攝像頭,分別完成兩個(gè)眼睛的眼動(dòng)追蹤,另有四個(gè)攝像頭來(lái)完成控制器與頭顯的跟蹤。
眼動(dòng)追蹤不僅可以用于注視點(diǎn)渲染,也為VR/AR創(chuàng)造了另一重?cái)?shù)據(jù)輸入,這對(duì)于游戲或者視頻內(nèi)容的創(chuàng)作者來(lái)說(shuō),也就多了一重交互方式,方便他們用眼動(dòng)數(shù)據(jù)來(lái)創(chuàng)造面部表情追蹤、注視反饋和視線鎖定目標(biāo)等功能。
運(yùn)動(dòng)傳感器
為了進(jìn)一步提升沉浸感,VR/AR設(shè)備中往往還加入了陀螺儀、磁力計(jì)和加速度計(jì)等運(yùn)動(dòng)傳感器,陀螺儀主要用于確定角度和姿勢(shì)輸入,而磁力計(jì)主要用磁場(chǎng)強(qiáng)度等參數(shù)來(lái)定位設(shè)備位置,而加速度計(jì)則顧名思義用來(lái)測(cè)量加速度。這些傳感器不僅分布在頭戴設(shè)備上,也集成在了控制器上。
運(yùn)動(dòng)傳感器完成姿勢(shì)識(shí)別 / 索尼
索尼在去年底公開(kāi)了一份專利,其中就提到了如何用這些運(yùn)動(dòng)傳感器來(lái)完成人體姿勢(shì)的識(shí)別匹配。索尼稱目前許多定位方案需要攝像頭或激光之類(lèi)的視覺(jué)追蹤,所以除了頭戴設(shè)備和控制器上的傳感器以外,還需要在使用區(qū)域內(nèi)部署額外的距離傳感器,且中間不能存在障礙物。
PSVR2 Sense控制器 / 索尼
而索尼的這項(xiàng)專利減少了追蹤設(shè)備的數(shù)量,僅使用頭顯和控制器上的運(yùn)動(dòng)傳感器就能重構(gòu)真實(shí)的人體模型。該技術(shù)根據(jù)陀螺儀、磁力計(jì)和加速度計(jì)的數(shù)據(jù)來(lái)在數(shù)據(jù)庫(kù)中找到正確的匹配,最終確定姿勢(shì)和動(dòng)作。不過(guò)從索尼的PSVR2和PSVR2 Sense控制器的規(guī)格來(lái)看,兩者仍然在采用三軸陀螺儀+三軸加速度計(jì)的六軸運(yùn)動(dòng)感知系統(tǒng)。
BMX160絕對(duì)方向傳感器 / 博世
當(dāng)然了,目前更常見(jiàn)的是IMU和絕對(duì)方向傳感器這樣的高集成方案,比如博世的BMI270和BMX160。BMX絕對(duì)方向傳感器集成了一個(gè)3軸數(shù)字加速度計(jì)、16位數(shù)字陀螺儀和地磁傳感器,即便在三者同時(shí)運(yùn)行時(shí)也只有1585μA的低功耗,非常適合作為AR/VR可穿戴設(shè)備的傳感器融合方案。
小結(jié)
傳感器其實(shí)本來(lái)就是針對(duì)特定工作而生的元件,如今在元宇宙概念為AR/VR煥發(fā)的第二春下,專為虛擬現(xiàn)實(shí)場(chǎng)景準(zhǔn)備的傳感器也將迎來(lái)新一輪爆發(fā)式增長(zhǎng)??紤]到還有蘋(píng)果、微軟和騰訊等大廠的入局,及時(shí)把握這一輪增長(zhǎng),AR/VR與傳感器廠商都能從中獲益。
圖像傳感器
索尼在前不久發(fā)布了PSVR2,并聲稱支持了注視點(diǎn)渲染技術(shù)。這種渲染技術(shù)專注于渲染人注視點(diǎn)范圍內(nèi)的場(chǎng)景,通過(guò)降低周邊視覺(jué)的成像質(zhì)量來(lái)降低設(shè)備負(fù)載。畢竟VR/AR設(shè)備說(shuō)到底還是移動(dòng)設(shè)備,其功耗和性能都相對(duì)有限,但在這樣的定位下,VR/AR往往需要更高的幀數(shù)。況且與人眼一樣,我們其實(shí)無(wú)需對(duì)視覺(jué)死角內(nèi)的場(chǎng)景付出過(guò)多關(guān)注,所以注視點(diǎn)渲染技術(shù)減輕GPU負(fù)擔(dān)的方案正在席卷整個(gè)業(yè)界。
那么這一技術(shù)是如何實(shí)現(xiàn)的呢?答案就是眼動(dòng)追蹤。眼動(dòng)追蹤有多種實(shí)現(xiàn)手段,但對(duì)于VR/AR設(shè)備來(lái)說(shuō),該技術(shù)主要利用光源對(duì)眼鏡進(jìn)行照射來(lái)產(chǎn)生反射,并使用圖像傳感器來(lái)采集光源在角膜和瞳孔上的反射,從而通過(guò)角度等參數(shù)來(lái)計(jì)算眼動(dòng)的向量,最終判斷人的視線方向。
Tobii Eye Tracker 5 / Tobii
比如Tobii的眼動(dòng)儀就采用了近紅外光源,并利用兩個(gè)圖像傳感器、先進(jìn)的圖像處理算法和三維眼球模型來(lái)計(jì)算眼睛和視線的位置。而索尼的PSVR2也配備了兩個(gè)紅外攝像頭,分別完成兩個(gè)眼睛的眼動(dòng)追蹤,另有四個(gè)攝像頭來(lái)完成控制器與頭顯的跟蹤。
眼動(dòng)追蹤不僅可以用于注視點(diǎn)渲染,也為VR/AR創(chuàng)造了另一重?cái)?shù)據(jù)輸入,這對(duì)于游戲或者視頻內(nèi)容的創(chuàng)作者來(lái)說(shuō),也就多了一重交互方式,方便他們用眼動(dòng)數(shù)據(jù)來(lái)創(chuàng)造面部表情追蹤、注視反饋和視線鎖定目標(biāo)等功能。
運(yùn)動(dòng)傳感器
為了進(jìn)一步提升沉浸感,VR/AR設(shè)備中往往還加入了陀螺儀、磁力計(jì)和加速度計(jì)等運(yùn)動(dòng)傳感器,陀螺儀主要用于確定角度和姿勢(shì)輸入,而磁力計(jì)主要用磁場(chǎng)強(qiáng)度等參數(shù)來(lái)定位設(shè)備位置,而加速度計(jì)則顧名思義用來(lái)測(cè)量加速度。這些傳感器不僅分布在頭戴設(shè)備上,也集成在了控制器上。
運(yùn)動(dòng)傳感器完成姿勢(shì)識(shí)別 / 索尼
索尼在去年底公開(kāi)了一份專利,其中就提到了如何用這些運(yùn)動(dòng)傳感器來(lái)完成人體姿勢(shì)的識(shí)別匹配。索尼稱目前許多定位方案需要攝像頭或激光之類(lèi)的視覺(jué)追蹤,所以除了頭戴設(shè)備和控制器上的傳感器以外,還需要在使用區(qū)域內(nèi)部署額外的距離傳感器,且中間不能存在障礙物。
PSVR2 Sense控制器 / 索尼
而索尼的這項(xiàng)專利減少了追蹤設(shè)備的數(shù)量,僅使用頭顯和控制器上的運(yùn)動(dòng)傳感器就能重構(gòu)真實(shí)的人體模型。該技術(shù)根據(jù)陀螺儀、磁力計(jì)和加速度計(jì)的數(shù)據(jù)來(lái)在數(shù)據(jù)庫(kù)中找到正確的匹配,最終確定姿勢(shì)和動(dòng)作。不過(guò)從索尼的PSVR2和PSVR2 Sense控制器的規(guī)格來(lái)看,兩者仍然在采用三軸陀螺儀+三軸加速度計(jì)的六軸運(yùn)動(dòng)感知系統(tǒng)。
BMX160絕對(duì)方向傳感器 / 博世
當(dāng)然了,目前更常見(jiàn)的是IMU和絕對(duì)方向傳感器這樣的高集成方案,比如博世的BMI270和BMX160。BMX絕對(duì)方向傳感器集成了一個(gè)3軸數(shù)字加速度計(jì)、16位數(shù)字陀螺儀和地磁傳感器,即便在三者同時(shí)運(yùn)行時(shí)也只有1585μA的低功耗,非常適合作為AR/VR可穿戴設(shè)備的傳感器融合方案。
小結(jié)
傳感器其實(shí)本來(lái)就是針對(duì)特定工作而生的元件,如今在元宇宙概念為AR/VR煥發(fā)的第二春下,專為虛擬現(xiàn)實(shí)場(chǎng)景準(zhǔn)備的傳感器也將迎來(lái)新一輪爆發(fā)式增長(zhǎng)??紤]到還有蘋(píng)果、微軟和騰訊等大廠的入局,及時(shí)把握這一輪增長(zhǎng),AR/VR與傳感器廠商都能從中獲益。
聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
傳感器
+關(guān)注
關(guān)注
2542文章
50260瀏覽量
750157 -
vr
+關(guān)注
關(guān)注
34文章
9626瀏覽量
149830
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
游戲、AR和VR控制器中的位置檢測(cè)
電子發(fā)燒友網(wǎng)站提供《游戲、AR和VR控制器中的位置檢測(cè).pdf》資料免費(fèi)下載
發(fā)表于 09-05 11:05
?0次下載
XR與AR和VR的區(qū)別是什么
XR(Extended Reality,擴(kuò)展現(xiàn)實(shí))是一種將現(xiàn)實(shí)世界與虛擬世界相結(jié)合的技術(shù),它包括了AR(Augmented Reality,增強(qiáng)現(xiàn)實(shí))和VR(Virtual Reality,虛擬現(xiàn)實(shí)
增強(qiáng)現(xiàn)實(shí)技術(shù)(AR)和虛擬現(xiàn)實(shí)技術(shù)(VR)的區(qū)別?
攝像頭、傳感器等設(shè)備捕捉現(xiàn)實(shí)世界的信息,然后將其與計(jì)算機(jī)生成的虛擬信息相結(jié)合,從而為用戶提供一種增強(qiáng)的現(xiàn)實(shí)體驗(yàn)。AR技術(shù)可以應(yīng)用于各種領(lǐng)域,如游戲、教育、醫(yī)療、旅游等。 虛擬現(xiàn)實(shí)技術(shù)(VR)是一種通過(guò)計(jì)算機(jī)生成的三維環(huán)境,使用戶
DS-AR1A H00-CN-V1-開(kāi)環(huán)霍爾電流傳感器
電子發(fā)燒友網(wǎng)站提供《DS-AR1A H00-CN-V1-開(kāi)環(huán)霍爾電流傳感器.pdf》資料免費(fèi)下載
發(fā)表于 07-02 08:52
?0次下載
解鎖未來(lái),無(wú)線姿態(tài)傳感器如何革新動(dòng)作捕捉與VR體驗(yàn)
隨著科技的飛速發(fā)展,動(dòng)作捕捉和虛擬現(xiàn)實(shí)(VR)技術(shù)成為我們生活中的一部分,它們?yōu)槲覀儙?lái)了前所未有的沉浸式體驗(yàn)。而在這個(gè)變革之中,無(wú)線傳感器憑借其獨(dú)特的優(yōu)勢(shì),推動(dòng)這一技術(shù)革新的關(guān)鍵力量。 無(wú)線
用于水利工程系統(tǒng)方面的傳感器M-A542VR10
水利工程技術(shù)的不斷進(jìn)步,傳感器在工程監(jiān)測(cè)和管理中的應(yīng)用變得越來(lái)越重要。愛(ài)普生M-A542VR10傳感器憑借其卓越的性能和高可靠性,成為了水利工程領(lǐng)域的理想選擇。它
深入解析:人體傳感器、存在傳感器與場(chǎng)景存在傳感器的差異與應(yīng)用
場(chǎng)景存在傳感器比存在傳感器探測(cè)更精細(xì)化,存在傳感器比人體傳感器探測(cè)精度更高。
AR2020CSSC13SMTAH3-GEVB傳感器板數(shù)據(jù)手冊(cè)
電子發(fā)燒友網(wǎng)站提供《AR2020CSSC13SMTAH3-GEVB傳感器板數(shù)據(jù)手冊(cè).rar》資料免費(fèi)下載
發(fā)表于 05-06 17:37
?0次下載
AR0234CSSC00SUKAH3-GEVB傳感器板數(shù)據(jù)手冊(cè)
電子發(fā)燒友網(wǎng)站提供《AR0234CSSC00SUKAH3-GEVB傳感器板數(shù)據(jù)手冊(cè).rar》資料免費(fèi)下載
發(fā)表于 05-06 17:12
?0次下載
利用應(yīng)變傳感器陣列實(shí)現(xiàn)復(fù)雜的人體運(yùn)動(dòng)捕捉
基于柔性傳感器的運(yùn)動(dòng)捕捉技術(shù)在個(gè)性化醫(yī)療、人機(jī)交互、虛擬現(xiàn)實(shí)(VR)/增強(qiáng)現(xiàn)實(shí)(AR)等諸多領(lǐng)域中展現(xiàn)出巨大的發(fā)展?jié)摿Α?/div>
CMOS圖像傳感器的制造工藝
根據(jù)圖像傳感器的應(yīng)用和制造工藝,圖像傳感器可分為CCD圖像傳感器和CMOS圖像傳感器。 特別是CMOS圖像傳感器(CIS)不僅被搭載于數(shù)碼相
ar與vr的區(qū)別與聯(lián)系 ar和vr哪個(gè)更高級(jí)
AR(Augmented Reality,增強(qiáng)現(xiàn)實(shí))和VR(Virtual Reality,虛擬現(xiàn)實(shí))是現(xiàn)代科技領(lǐng)域中兩個(gè)頗受關(guān)注的概念,盡管它們都屬于虛擬現(xiàn)實(shí)的范疇,但是它們?cè)诩夹g(shù)的應(yīng)用和功能方面
Sheba面向AR/VR/XR推出MEMS自動(dòng)對(duì)焦緊湊型攝像頭
超低功耗傳感器位移(sensor-shift)自動(dòng)對(duì)焦技術(shù),為鏡頭設(shè)計(jì)提供了無(wú)與倫比的靈活性,能夠在不影響鏡頭品質(zhì)的情況下獨(dú)特地適應(yīng)大光圈光學(xué)元件,為消費(fèi)類(lèi)和企業(yè)級(jí)增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)/混合現(xiàn)實(shí)(AR/VR/XR)設(shè)備提供高質(zhì)量成
振動(dòng)傳感器M-A342VD10 、 M-A542VR10
M-A342VD10和M-A542VR10符合ISO 10816和ISO 20816電機(jī)評(píng)估標(biāo)準(zhǔn)。這兩款產(chǎn)品都是具有數(shù)字速度和位移輸出的三軸振動(dòng)傳感器,由于采用愛(ài)普生獨(dú)特的微加工技術(shù)生產(chǎn)的晶體振動(dòng)
發(fā)表于 01-12 11:38
?0次下載
評(píng)論