Valve新專利提出『基于眼動(dòng)追蹤的動(dòng)態(tài)渲染』解決方案

對于任何VR頭顯而言，能夠在用戶接近游玩區(qū)域邊界時(shí)發(fā)出警報(bào)提醒的防護(hù)系統(tǒng)非常重要，而各大頭顯廠商一直在這方面進(jìn)行探索和優(yōu)化，比如已經(jīng)申請過多份相關(guān)專利的微軟。

日前，美國專利商標(biāo)局又公布了這一主題的微軟專利申請，其名為“Transitioning Into A Vr Environment And Warning Hmd Users Of Real-World Physical Obstacles（過渡至VR環(huán)境并向頭顯用戶警告真實(shí)世界的物理障礙）”

在傳統(tǒng)的VR系統(tǒng)中，由于傳感器視場和實(shí)際物理空間限制，用戶需要首先劃定一個(gè)安全的游玩區(qū)域。對于虛擬現(xiàn)實(shí)世界，用戶有時(shí)候不一定愿意站在或坐在固定位置，而是選擇自由走動(dòng)，并在移動(dòng)時(shí)體驗(yàn)連續(xù)的虛擬環(huán)境。但是，用戶有可能會(huì)走出安全區(qū)域并撞

為了根據(jù)用戶頭部姿態(tài)渲染正確的場景，應(yīng)用程序接收用戶頭部預(yù)測姿態(tài)作為輸入。若使用光柵渲染，應(yīng)用程序只能接受單個(gè)姿態(tài)（基于單個(gè)目標(biāo)渲染時(shí)間）作為渲染相關(guān)幀的輸入。這意味著必須為用戶頭部的原始姿態(tài)預(yù)測選擇單個(gè)目標(biāo)渲染時(shí)間。

對于使用滾動(dòng)帶顯示驅(qū)動(dòng)技術(shù)的VR系統(tǒng)，一個(gè)選項(xiàng)是將中間一行像素被照亮的時(shí)間作為每幀的目標(biāo)渲染時(shí)間。盡管這種方法有望最小化整幀的二次投影調(diào)整總量，但不能減輕用戶在顯示器頂部和底部附近注意到的不必要抖動(dòng)偽影，因?yàn)橛脩舨⒉豢偸亲⒁曪@示面板的中間。事實(shí)上，當(dāng)使用VR頭顯時(shí)，用戶的眼睛會(huì)在顯示屏的頂部或底部徘徊。

對于上述的滾動(dòng)帶顯示驅(qū)動(dòng)技術(shù)，顯示面板的發(fā)光元件可以單獨(dú)尋址，使得發(fā)光元件的各個(gè)子集，以及因此像素的各個(gè)子集可以在照明時(shí)間段內(nèi)以滾動(dòng)的照明頻帶獨(dú)立且順序地被照亮。在一些實(shí)施例中，像素陣列和顯示面板的發(fā)光元件可以排列成行和列，但不一定是一個(gè)發(fā)光元件對應(yīng)于一個(gè)像素。在所述配置中，發(fā)光元件的單個(gè)行和/或單個(gè)列可以按順序?qū)ぶ?。作為以這種“滾動(dòng)”方式尋址發(fā)光元件的結(jié)果，對應(yīng)于這些可單獨(dú)尋址的發(fā)光元件子集的像素子集可以被獨(dú)立地“照明”。

針對這種情況，Valve向美國專利商標(biāo)局申請了一份名為“Dynamic Render Time Targeting Based On Eye Tracking（基于眼動(dòng)追蹤的動(dòng)態(tài)渲染時(shí)間確定）”的專利。

這家公司指出，當(dāng)對應(yīng)用程序渲染幀應(yīng)用大規(guī)模二次投影調(diào)整時(shí)，生成的二次投影幀將顯示諸如抖動(dòng)等不需要的視覺偽影。相比之下，當(dāng)對應(yīng)用程序渲染幀應(yīng)用小范圍的二次投影調(diào)整時(shí)，得到的二次投影幀將減輕所述的視覺偽影。所以，為了盡可能精確地進(jìn)行預(yù)測，并且在二次投影期間盡可能少地進(jìn)行調(diào)整，可以通過最小化對感興趣區(qū)域中的像素值進(jìn)行二次投影調(diào)整，從而改善用戶正在查看的感興趣區(qū)域中的圖像質(zhì)量。

在一個(gè)實(shí)施例中，帶有滾動(dòng)照明顯示面板的頭顯可以根據(jù)眼動(dòng)追蹤動(dòng)態(tài)地為給定幀設(shè)定渲染時(shí)間。利用所述方法，在圖像渲染期間對用戶正在查看的顯示器位置處的像素值應(yīng)用很少或不進(jìn)行二次投影調(diào)整，從而減輕“感興趣區(qū)域”中由二次投影的視覺偽影。

例如，頭顯的邏輯可以預(yù)測用戶在給定幀的照明時(shí)間內(nèi)查看的一個(gè)位置，確定對應(yīng)于預(yù)測位置的像素的單獨(dú)子集將被照亮的時(shí)間，預(yù)測頭顯在確定時(shí)間中的姿態(tài)，并將指示所述預(yù)測姿態(tài)的姿態(tài)數(shù)據(jù)發(fā)送到用于渲染幀的應(yīng)用程序。

通過追蹤用戶的眼睛，可以確定用戶在滾動(dòng)照明時(shí)間段內(nèi)查看顯示面板頂部內(nèi)的像素子集，這時(shí)頭顯系統(tǒng)的邏輯可以告知應(yīng)用程序根據(jù)用戶頭部姿態(tài)渲染場景。對于隨后的幀，可以根據(jù)眼動(dòng)追蹤預(yù)測用戶將在滾動(dòng)照明時(shí)間段內(nèi)查看顯示面板底部內(nèi)的像素子集，然后邏輯可以相應(yīng)地告訴應(yīng)用程序根據(jù)用戶頭部姿態(tài)來渲染場景。

所以，專利描述的技術(shù)并不總是在中間一行像素將照亮?xí)r渲染給定幀，而是根據(jù)用戶在圖像渲染期間查看顯示面板的位置預(yù)測來動(dòng)態(tài)地選擇下一幀的渲染時(shí)間。換言之，對于每個(gè)幀，頭顯系統(tǒng)的邏輯配置成告訴應(yīng)用程序要在什么時(shí)間點(diǎn)渲染“世界圖像”，而所述時(shí)間點(diǎn)是基于當(dāng)顯示所述世界圖像時(shí)用戶眼看的位置預(yù)測進(jìn)行選擇。

上現(xiàn)實(shí)物體，從而造成身體傷害或物品損壞。這時(shí)合適的防護(hù)系統(tǒng)系統(tǒng)顯得十分有必要。

對于名為“Transitioning Into A Vr Environment And Warning Hmd Users Of Real-World Physical Obstacles（過渡至VR環(huán)境并向頭顯用戶警告真實(shí)世界的物理障礙）”的專利申請，其主要描述的方法可用于向用戶提供對VR設(shè)備不可見的真實(shí)世界物理障礙的警告。

在一個(gè)實(shí)施例中，系統(tǒng)檢測頭顯的使用，并且識(shí)別接近頭顯距離閾值內(nèi)的一個(gè)或多個(gè)真實(shí)世界物理對象。隨后，獲取包括真實(shí)世界物理對象的虛擬表示的復(fù)制環(huán)境，并在VR顯示器中呈現(xiàn)。然后，復(fù)制的環(huán)境從顯示器中淡出離開，并在VR顯示器中呈現(xiàn)原有的VR環(huán)境。

簡單來說，當(dāng)VR頭顯用戶接近一張沙發(fā)時(shí)，系統(tǒng)將在VR視圖中納入包含沙發(fā)數(shù)字表示的畫面，并以此方式來告知提醒用戶。當(dāng)用戶遠(yuǎn)離沙發(fā)時(shí)，沙發(fā)數(shù)字表示將淡出離開顯示畫面，并恢復(fù)原有的VR視圖。

微軟指出，這樣的實(shí)施例可以允許真實(shí)世界和虛擬環(huán)境之間的自然平滑過渡，從而防止用戶迷失方向。

相關(guān)專利：Transitioning Into A Vr Environment And Warning Hmd Users Of Real-World Physical Obstacles

名為“Transitioning Into A Vr Environment And Warning Hmd Users Of Real-World Physical Obstacles（過渡至VR環(huán)境并向頭顯用戶警告真實(shí)世界的物理障礙）”的專利申請最初在2020年4月提交，并在日前由美國專利商標(biāo)局公布。