VR和MR技術(shù)的提升助于更完整的實(shí)景應(yīng)用情境

近年來VR虛擬實(shí)境與MR擴(kuò)增實(shí)境的應(yīng)用越來越受到重視，連智慧型手機(jī)在內(nèi)的行動(dòng)裝置，也能搭配簡易型頭戴式支架，作為VR、MR顯示器使用，不過由于行動(dòng)裝置效能低落的先天缺陷，讓使用者體驗(yàn)受到影響，于是Google研發(fā)了能夠犧牲些微畫質(zhì)卻大幅提升效能的演算法，來解決這個(gè)問題。

行動(dòng)裝置無法負(fù)荷運(yùn)算需求

由于VR虛擬實(shí)境與MR擴(kuò)增實(shí)等技術(shù)，會(huì)透過3D繪圖的方式建構(gòu)場景，讓使用者走入完整的虛擬場景，或?qū)⒉糠痔摂M場景融入到真實(shí)世界，如果想要提升VR或MR畫面的逼真度的話，勢必需要增加3D繪圖的細(xì)膩度，進(jìn)而增加對3D繪圖的效能需求。

為了要帶來充沛的3D繪圖效能，往往需要仰賴強(qiáng)悍的顯示卡或顯示晶片，這對于桌上型電腦或筆記型電腦還算是可以解決的問題，但是在智慧型手機(jī)或平板電腦等行動(dòng)裝置上，無論是顯示晶片晶片的尺寸、發(fā)熱量或是耗電量，都是無解的難題。

然而山不轉(zhuǎn)路轉(zhuǎn)，為了讓行動(dòng)裝置也能提供較佳的VR、MR體驗(yàn)，Google著手研發(fā)特殊的演算法，能夠?qū)⑦\(yùn)算資源集中投注在畫面中人眼比較敏銳的區(qū)域，讓該區(qū)域維持一定的畫質(zhì)，并降低其他區(qū)域的畫質(zhì)表現(xiàn)，如此一來就能在有限的運(yùn)算資源中，提升FPS效能表現(xiàn)，進(jìn)而帶來更出色的視覺感受。

▲雖然Google Cardboard等簡易型頭戴式支架，能讓智慧型手機(jī)作為VR、MR顯示器使用，但是繪圖效能始終是最大的問題之一。

省略人眼不敏感的部分

為了改善VR、MR的視覺體驗(yàn)，Google的研發(fā)團(tuán)隊(duì)針對人類視覺感官的特性，研發(fā)了對應(yīng)的演算法，能在低運(yùn)算需求與低耗電的前題下，依然能夠兼顧從內(nèi)容產(chǎn)制開始，一直到3D繪圖、資料傳輸、處理延遲、與真實(shí)物件互動(dòng)等環(huán)節(jié)，提供出色視覺體驗(yàn)。

在人類的視覺系統(tǒng)中，視網(wǎng)膜正中凹（Fovea Centralis）的功能能讓我們將視野正中央?yún)^(qū)域看得很清楚，并能降低大腦對于周圍視野區(qū)域的專注力，也就是說人類對于位在視野中央的物件有較外圍區(qū)域高的辨識(shí)能力。視網(wǎng)膜正中凹渲染（Foveated Rendering）就是利用這種視覺特性，藉由降低外圍區(qū)域繪制的解析度，來提升整體效能表現(xiàn)。

為了要達(dá)到這個(gè)目的，系統(tǒng)需要透過眼球追蹤功能，鎖定使用者的目光，以便推算出視覺的高敏銳（High Acuity）區(qū)域，讓該區(qū)域的畫面一直保持在高解析度狀態(tài)。反過來說，如果搭配視網(wǎng)膜正中凹渲染的系統(tǒng)不具備眼球追蹤功能，就需要繪制較大的高敏銳區(qū)域，來確保視覺體驗(yàn)。

在傳統(tǒng)的視網(wǎng)膜正中凹渲染繪圖技術(shù)中，大多將畫格緩沖區(qū)（Frame Buffer）的整個(gè)畫面切割為多個(gè)小區(qū)塊，然而在使用者轉(zhuǎn)動(dòng)頭部，或是畫面中景色產(chǎn)生移動(dòng)時(shí)，屬于低敏銳（Low Acuity）區(qū)域的部分在拼合的過程就會(huì)產(chǎn)生混疊（Aliasing）瑕疵，進(jìn)而影響視覺感受。

▲視網(wǎng)膜正中凹（圖中標(biāo)示Fovea的部分）能讓人類聚焦于視野中央。

▲左半部為一般繪圖方式，整個(gè)畫面皆為相同解析度，右半部為視網(wǎng)膜正中凹渲染，只有黃色框內(nèi)為正常解析度，周圍則為較低的解析度。（圖片來源：Google，下同）

▲左半部為一般繪圖方式，右半部為傳統(tǒng)視網(wǎng)膜正中凹渲染，畫面移動(dòng)時(shí)比較不滑順。（點(diǎn)此處觀看GIF動(dòng)態(tài)圖檔，檔案大小約8.3MB）

解決拼合瑕疵

混疊瑕疵會(huì)造成畫面移動(dòng)時(shí)閃爍或抖動(dòng)的情況，即便它產(chǎn)生在周圍區(qū)域上，使用者還是能夠輕易查覺到這類瑕疵，所以研發(fā)團(tuán)隊(duì)提出2種最佳化方式降低混疊瑕疵。

在相位排列渲染（Phase-Aligned Rendering）方式中，系統(tǒng)會(huì)強(qiáng)制將低敏銳區(qū)域與虛擬空間貼齊，而不是跟著使用者的頭部轉(zhuǎn)動(dòng)，如此一來當(dāng)使用者改變視角的時(shí)候，就比較不易察覺混疊瑕疵，讓低敏銳區(qū)域在升頻并投影至顯示器時(shí)，能夠發(fā)揮補(bǔ)償頭部轉(zhuǎn)動(dòng)的效果，降低畫面抖動(dòng)的情況。至于高敏銳區(qū)域則是采用傳統(tǒng)的繪制方式，并覆蓋到畫面的中央?yún)^(qū)域。然而這種方式的缺點(diǎn)就是，系統(tǒng)需要繪制更大放范圍的圖像（包含視野外的部分），造成能夠節(jié)省的運(yùn)算資源比較有限。

另一種方式則稱為保角渲染（Conformal Rendering），系統(tǒng)會(huì)根據(jù)使用者視點(diǎn)與物件之間的距離，動(dòng)態(tài)調(diào)整繪圖的解析度，越遠(yuǎn)的物件解析度越低（看起來也較模糊）。這樣的好處在于視覺感受與人類的經(jīng)驗(yàn)法則相近，而且畫面內(nèi)高、低敏銳區(qū)域的界線不會(huì)那么明顯，而且只需1次繪圖流程即可完成畫面繪制，能比相位排列渲染節(jié)省更多運(yùn)算資源，但其缺點(diǎn)就是在畫面邊緣的抖動(dòng)會(huì)比較明顯

▲相位排列渲染能夠有效降低畫面抖動(dòng)狀況。（點(diǎn)此處觀看GIF動(dòng)態(tài)圖檔，檔案大小約8.5MB）

▲保角渲染則有助于節(jié)省更多運(yùn)算資源。（點(diǎn)此處觀看GIF動(dòng)態(tài)圖檔，檔案大小約8.4MB）

頭戴式顯示器也有玄機(jī)

如果希望在傳輸影響的過程中節(jié)省頻寬，就能將畫面中人眼最敏感的部分以較高的資料流量傳輸，并將低其他區(qū)域的流量，如此一來就能省下一些頻寬。

另一方面，在一般情況下，頭戴式顯示器接收到畫面之后，還需要經(jīng)過校正透鏡造成的變型等處理步驟，然而透過視網(wǎng)膜正中凹渲染產(chǎn)生的畫面，也可以依照高、低敏銳區(qū)域的不同，分別施以不同精準(zhǔn)度的處理手續(xù)，例如在升頻之前先進(jìn)行校正，就能省下不少運(yùn)算資源。

▲將畫面依為人眼的敏感程度拆分為不同區(qū)塊，并分配不同的流量，就可以將傳輸頻寬花在刀口上。

▲以不同的精準(zhǔn)度處理畫面中的各區(qū)域，也能省下運(yùn)算資源。

研發(fā)團(tuán)隊(duì)表示他們在這種演算法中，考慮了許多對繪圖、處理、傳輸造成的影響，并希望有助于下一代輕量、省電、高解析度的VR、MR產(chǎn)品發(fā)展，并能在近期帶來更完整的應(yīng)用情境。