在移動VR中加速修正GPU桶形失真 - 全文

在上一篇文章中，我討論了一個解決方案，即通過使用單個緩沖帶渲染減少VR中的延遲。我提到，VR對圖像質量的要求相當高，因為GPU相比傳統(tǒng)的移動應用程序需要做更多的工作。

工作負載增加的其中一個原因是對象內容需要進行兩次渲染（每單位矩陣渲染一次）。另一個原因是GPU最后一次渲染使用了桶形失真過濾（每單位矩陣再渲染一次）。這使得圖像處理器的工作負荷特別大，因此我們需要思考良策以降低負荷。

為何使用透鏡？

您可能會有疑惑：當今的移動設備功能已十分強大，為什么我們還需要這些學校里習得的老舊的光學技巧？

VR耳機使用透鏡有兩大主要原因：
1. 透鏡可以拓寬視野
2. 透鏡可以使屏幕與你的眼睛離得更近

例如，如果您的手機屏幕是11.5cm x 6.5cm，那么每只眼睛水平位置可視的屏幕寬度為5.75cm。由于屏幕與人臉非?？拷?，因此相比人眼實際可視的寬度，這個寬度還遠遠不夠。在兩個屏幕之間放置一塊透鏡，那么不管是水平視角還是垂直視角，可視范圍均會增加。

使用透鏡，我們可以使虛擬世界比實際世界看起來大很多。

其次，有了透鏡，即使用戶的眼睛與屏幕非常接近，但其看到的屏幕效果比實際上的卻遠很多，這樣使得用戶體驗更為輕松。

顯然，也存在一些缺陷。由于失真，圖像的某些部分將被壓縮，從而將失去一些信息；而剩下的部分則意味著要用更高的分辨率進行填充。同時，透鏡導致的一些色差也需要被修正。

桶形失真

由于存在桶形失真，我們需要應用反向轉換，這樣屏幕發(fā)出的光線才比較適宜。而這種轉換的完成主要取決于物理透鏡的設計。

在VR中，透鏡設計相當復雜。Oculus Rift CV1是一款做的非常好的VR案例。顯然，所有這些設計的決策都會影響到修正圖像所需的算法。

桶形失真最常見的方法是使用。當然，還有很多其他可用的失真模型——如使用多項式函數或曲線。一個常見的問題是創(chuàng)建的是非零逆函數（non-trival）。為簡單起見，我們將使用以下模型用于桶形失真，其逆函數可以進行計算：

α定義了我們想要應用的失真量，而α由理論透鏡設計進行界定。p中的輸入值x和y在[-1, +1]之間是標準化的。

基于像素的修正 VS 基于網格的修正

一個方法便是，在顯示最后圖像之前，在后期處理片段著色器中進行最后渲染的修正。假設將VR內容渲染至每矩陣的幀緩沖對象（FBO）中。使用OpenGL ES 3.0，頂點著色器和片段著色器便如下所示：

#version 300 es
in highp vec4 posVtx;
uniform mat4 mvpM;

void main(void)
{
gl_Position = mvpM * posVtx;
}
#version 300 es
in highp vec2 texFrg;
out highp vec4 frgCol;
uniform highp vec2 centre;
uniform highp sampler2D texSampler;

void main(void)
{
highp vec4 col = vec4(0.0, 0.0, 0.0, 1.0); /* base colour */
highp float alpha = 0.2; /* lens parameter */
/* Left/Right eye are slightly off centre */
/* Normalize to [-1, 1] and put the centre to "centre" */
highp vec2 p1 = vec2(2.0 * texFrg - 1.0) - centre;
/* Transform */
highp vec2 p2 = p1 / (1.0 - alpha * length(p1));
/* Back to [0, 1] */
p2 = (p2 + centre + 1.0) * 0.5;
if (all(greaterThanEqual(p2, vec2(0.0))) &&
all(lessThanEqual(p2, vec2(1.0))))
{
col = texture(texSampler, p2);
}
frgCol = col;
}

centre 允許將失真集中的部分稍微移出FBO的中間位置，通常透鏡并不完全集中到屏幕的左邊或右邊。

這是我們可以使用的用來計算失真的最準確的方法。不過就GPU的使用而言，這種方法的成本也非常高。由于我們僅處理6個點（兩個三角形到輸出一個矩形），因此頂點著色器運行很快。另外，片段著色器需要在屏幕上為每個像素進行轉換。所以對于1920 x 1080像素的顯示，要進行2073600次運算及紋理查找。

當然，我們可以做得更好!每個程序員都知道，良好性能的關鍵在于預計算和近似值。如果觀察游戲的對象內容，可以看到這些對象中有很多近似值。像級聯(lián)陰影貼圖那樣進行陰影計算。不過在未來有了光線追蹤，這將得到極大的改善。

看著以上數字，很明顯我們需要在片段著色器之外進行轉換。我們可以使用多個矩形連接組成網格，而不是在顯示FBO時形成一個矩形。如果現在對網格進行預轉換，便可以得到以下信息：

這種方法的優(yōu)點是，在初始化時間以上工作只需要做一次。因為透鏡參數不會隨時間變化，因此我們可以反復利用每一幀上的網格。這是優(yōu)化的第一部分——預計算。

第二部分是近似值：在本例中，由網格分辨率對其進行定義。網格點之間可以進行插補。網格分辨率越低產生的圖像質量則越高，而網格分辨率越高則運行速度會越快。所以使用網格的優(yōu)勢在哪里呢？使用32 x 32像素的網格可以生成1920 x 1080像素的顯示：
(1920, 1080) / 32 = (60, 33.75)

因此，有2040個矩形和12240個點組成了頂點。頂點著色器要處理的是12240個點，而不是6個。不過，上述相同的頂點著色器也可以使用。可以簡化片段著色器，如下所示：
#version 300 es
in highp vec2 texFrg;
out highp vec4 frgCol;
uniform highp sampler2D texSampler;

void main(void)
{
highp vec4 col = vec4(0.0, 0.0, 0.0, 1.0); /* base colour */
if (all(greaterThanEqual(texFrg, vec2(0.0))) &&
all(lessThanEqual(texFrg, vec2(1.0))))
{
col = texture(texSampler, texFrg);
}
frgCol = col;
}

這還需要進行紋理查找，但可以避免轉換工作。我們節(jié)省了大量的功耗，且分辨率更高將節(jié)省更多的功耗。不過，在 PowerVR GPU上，還有另一大優(yōu)勢。由于頂點著色器在TA階段運行 (可以參考PowerVR架構一文)，它可以在3D階段獨立運行，而3D階段由于要進行光柵化，因此要執(zhí)行片段著色器。如果對象填充率有限，將有更多的空間可以確保按時完成對象的渲染。這里，我再次總結了全高清顯示節(jié)省功耗的示例：

接下來用一個視頻來展示這兩種方法：

可以找出不同之處么？我也找不出不同點。第一個渲染在片段著色器中進行了轉換，而第二個使用了預計算的網格。

質量評估

看看以上視頻，似乎近似法行之有效。但是千萬不要被我們的雙眼蒙蔽！讓我們嘗試進行量化。對于每一個近似，最重要（最困難）的部分是找到合適的參數。在我們的例子中，這個參數即網格的大小。我使用的網格大小是32 x 32像素，這個大小極好地權衡了輸出質量和速度。以下視頻展示的是使用160 x 160像素作為網格大小時的效果：

當立方體停止旋轉時，看看其左邊的部分，可以看到它是如何循著網格的軌跡。在矩形邊緣點之間，紋理的查找只是線性插補。另一個問題是動畫效果是搖擺的，因為它們不能遵循失真的曲線。所以，可以確定160 x 160像素不是最佳選擇。但看看靜態(tài)圖像，并將之與片段著色器制中的輸出轉換進行比較。首先，我為每個輸出圖像創(chuàng)建了向前轉換圖像(在軟件中完成，不借助GPU)。即，僅使用片段著色器時，輸出的網格大小為32px和160px。我還針對向前轉換圖像和原始非轉換圖像輸出的不同創(chuàng)建了差值圖像，如下左所示：

可以看到，在差值圖像中有更多紅色。但可以用數值進行表述。在視頻編解碼器的圖像對比中，PSNR值（峰值信噪比）是已知的標準。通過使用ImageMagick，并計算差值圖像和PSNR，可以得到:

PSNR值更高意味兩個圖像更接近?？梢郧宄乜吹剑褂?2px作為圖像的網格參數與使用片段渲染生成的圖像非常接近。

總結

透鏡修正是VR流水線一個至關重要的部分。通過使用正確的技巧，我們可以降低這個特定部分的GPU需求，并同時保持圖像的高質量。這使應用程序得以創(chuàng)建更豐富的對象或設備，以通過縮短喚醒GPU的時間，從而節(jié)省功耗。