在移動VR中加速修正GPU桶形失真

在上一篇文章中，我討論了一個解決方案，即通過使用單個緩沖帶渲染減少VR中的延遲。我提到，VR對圖像質(zhì)量的要求相當(dāng)高，因為GPU相比傳統(tǒng)的移動應(yīng)用程序需要做更多的工作。

工作負(fù)載增加的其中一個原因是對象內(nèi)容需要進(jìn)行兩次渲染（每單位矩陣渲染一次）。另一個原因是GPU最后一次渲染使用了桶形失真過濾（每單位矩陣再渲染一次）。這使得圖像處理器的工作負(fù)荷特別大，因此我們需要思考良策以降低負(fù)荷。

為何使用透鏡？

您可能會有疑惑：當(dāng)今的移動設(shè)備功能已十分強(qiáng)大，為什么我們還需要這些學(xué)校里習(xí)得的老舊的光學(xué)技巧？

VR耳機(jī)使用透鏡有兩大主要原因：
1. 透鏡可以拓寬視野
2. 透鏡可以使屏幕與你的眼睛離得更近

例如，如果您的手機(jī)屏幕是11.5cm x 6.5cm，那么每只眼睛水平位置可視的屏幕寬度為5.75cm。由于屏幕與人臉非常靠近，因此相比人眼實際可視的寬度，這個寬度還遠(yuǎn)遠(yuǎn)不夠。在兩個屏幕之間放置一塊透鏡，那么不管是水平視角還是垂直視角，可視范圍均會增加。

使用透鏡，我們可以使虛擬世界比實際世界看起來大很多。

其次，有了透鏡，即使用戶的眼睛與屏幕非常接近，但其看到的屏幕效果比實際上的卻遠(yuǎn)很多，這樣使得用戶體驗更為輕松。

顯然，也存在一些缺陷。由于失真，圖像的某些部分將被壓縮，從而將失去一些信息；而剩下的部分則意味著要用更高的分辨率進(jìn)行填充。同時，透鏡導(dǎo)致的一些色差也需要被修正。

桶形失真

由于存在桶形失真，我們需要應(yīng)用反向轉(zhuǎn)換，這樣屏幕發(fā)出的光線才比較適宜。而這種轉(zhuǎn)換的完成主要取決于物理透鏡的設(shè)計。

在VR中，透鏡設(shè)計相當(dāng)復(fù)雜。Oculus Rift CV1是一款做的非常好的VR案例。顯然，所有這些設(shè)計的決策都會影響到修正圖像所需的算法。

桶形失真最常見的方法是使用。當(dāng)然，還有很多其他可用的失真模型——如使用多項式函數(shù)或曲線。一個常見的問題是創(chuàng)建的是非零逆函數(shù)（non-trival）。為簡單起見，我們將使用以下模型用于桶形失真，其逆函數(shù)可以進(jìn)行計算：

α定義了我們想要應(yīng)用的失真量，而α由理論透鏡設(shè)計進(jìn)行界定。p中的輸入值x和y在[-1, +1]之間是標(biāo)準(zhǔn)化的。

基于像素的修正 VS 基于網(wǎng)格的修正

一個方法便是，在顯示最后圖像之前，在后期處理片段著色器中進(jìn)行最后渲染的修正。假設(shè)將VR內(nèi)容渲染至每矩陣的幀緩沖對象（FBO）中。使用OpenGL ES 3.0，頂點(diǎn)著色器和片段著色器便如下所示：

#version 300 es
in highp vec4 posVtx;
uniform mat4 mvpM;

void main(void)
{
gl_Position = mvpM * posVtx;
}
#version 300 es
in highp vec2 texFrg;
out highp vec4 frgCol;
uniform highp vec2 centre;
uniform highp sampler2D texSampler;

void main(void)
{
highp vec4 col = vec4(0.0, 0.0, 0.0, 1.0); /* base colour */
highp float alpha = 0.2; /* lens parameter */
/* Left/Right eye are slightly off centre */
/* Normalize to [-1, 1] and put the centre to "centre" */
highp vec2 p1 = vec2(2.0 * texFrg - 1.0) - centre;
/* Transform */
highp vec2 p2 = p1 / (1.0 - alpha * length(p1));
/* Back to [0, 1] */
p2 = (p2 + centre + 1.0) * 0.5;
if (all(greaterThanEqual(p2, vec2(0.0))) &&
all(lessThanEqual(p2, vec2(1.0))))
{
col = texture(texSampler, p2);
}
frgCol = col;
}

centre 允許將失真集中的部分稍微移出FBO的中間位置，通常透鏡并不完全集中到屏幕的左邊或右邊。

這是我們可以使用的用來計算失真的最準(zhǔn)確的方法。不過就GPU的使用而言，這種方法的成本也非常高。由于我們僅處理6個點(diǎn)（兩個三角形到輸出一個矩形），因此頂點(diǎn)著色器運(yùn)行很快。另外，片段著色器需要在屏幕上為每個像素進(jìn)行轉(zhuǎn)換。所以對于1920 x 1080像素的顯示，要進(jìn)行2073600次運(yùn)算及紋理查找。

當(dāng)然，我們可以做得更好!每個程序員都知道，良好性能的關(guān)鍵在于預(yù)計算和近似值。如果觀察游戲的對象內(nèi)容，可以看到這些對象中有很多近似值。像級聯(lián)陰影貼圖那樣進(jìn)行陰影計算。不過在未來有了光線追蹤，這將得到極大的改善。