基于在廣泛的計(jì)算平臺(tái)上進(jìn)行高效渲染的神經(jīng)場(chǎng)體系結(jié)構(gòu)

Neural Radiance Fields (NeRF) 通過合成 3D 場(chǎng)景新視角圖像展現(xiàn)出驚人的能力。然而，它們依賴于基于光線行進(jìn)的專門體積渲染算法，這些算法不符合廣泛部署的圖形硬件的能力。本文提出了一種基于紋理多邊形的新型 NeRF 表示法，它將 3D 場(chǎng)景轉(zhuǎn)化為一組多邊形。這種方法使用傳統(tǒng)的多邊形光柵化管道進(jìn)行渲染，提供了大規(guī)模的像素級(jí)并行性，可以在廣泛的計(jì)算平臺(tái)上實(shí)現(xiàn)交互式幀率。

1 前言

NeRF 是表示 3D 場(chǎng)景的方法，通過估計(jì)從任何位置和方向發(fā)射的密度和輻射的隱式函數(shù)，用于體積渲染框架生成新視角圖像。然而，傳統(tǒng)的 NeRF 實(shí)現(xiàn)的渲染過程太慢以至于無(wú)法進(jìn)行交互式可視化。本文提出了一個(gè)名為 MobileNeRF 的方法，將 NeRF 表示為一組紋理多邊形，利用現(xiàn)代圖形硬件的光柵化管道和 Z-buffer 實(shí)現(xiàn)像素級(jí)并行性，以實(shí)現(xiàn)交互式幀率渲染，并在 標(biāo)準(zhǔn)測(cè)試場(chǎng)景上優(yōu)于 SNeRG 10 倍，適用于各種常見移動(dòng)設(shè)備。

MobileNeRF 的貢獻(xiàn)如下：

在與最先進(jìn)的方法（SNeRG）具有相同輸出質(zhì)量的情況下，渲染速度提高了 10 倍；

通過存儲(chǔ)表面紋理而不是體積紋理，使用的內(nèi)存較少，使本文的方法能夠在具有有限內(nèi)存和功率的集成 GPU 上運(yùn)行；

可以在 Web 瀏覽器上運(yùn)行，并且與本文測(cè)試過的所有設(shè)備兼容，因?yàn)楸疚牡牟榭雌魇且粋€(gè) HTML 網(wǎng)頁(yè)；

允許對(duì)重建的對(duì)象/場(chǎng)景進(jìn)行實(shí)時(shí)操作，因?yàn)樗鼈兪呛?jiǎn)單的三角形網(wǎng)格。

2 相關(guān)背景

本文介紹了在視圖綜合方面的多種方法和技術(shù)，包括光場(chǎng)、幾何圖形、神經(jīng)網(wǎng)絡(luò)等。不同的方法有不同的優(yōu)勢(shì)和局限性，但是它們的共同目標(biāo)是實(shí)現(xiàn)高質(zhì)量的實(shí)時(shí)渲染。作者的方法通過緩存發(fā)射輻射來實(shí)現(xiàn)高質(zhì)量的視圖綜合，并且適用于低功率硬件上的實(shí)時(shí)渲染。同時(shí)，它不需要輸入重構(gòu)的3D幾何體。與現(xiàn)有的方法相比，作者的方法在低功率設(shè)備上具有更好的可用性。

3 方法

本文介紹了一種優(yōu)化表示以實(shí)現(xiàn)高效新視圖綜合的方法。該表示包含一個(gè)多邊形網(wǎng)格和紋理映射，采用兩階段延遲渲染過程來繪制圖像。該方法需要初始三維幾何體，并通過迭代過程中修改網(wǎng)格來進(jìn)行優(yōu)化。本文提出了一種離散表示來實(shí)現(xiàn)高效的新視圖綜合的方法。該方法通過渲染階段1和渲染階段2實(shí)現(xiàn)。作者采用三個(gè)訓(xùn)練階段來構(gòu)建本方法的離散表示。在最后的訓(xùn)練階段，作者提取了一個(gè)稀疏的多邊形網(wǎng)格，將不透明度和特征烘焙到紋理映射中，并存儲(chǔ)了神經(jīng)延遲著色器的權(quán)重。同時(shí)，作者提出了一種基于超采樣的簡(jiǎn)單且計(jì)算高效的抗鋸齒解決方案。由于采用標(biāo)準(zhǔn)的GPU光柵化管道，因此我們的實(shí)時(shí)渲染器只是一個(gè)HTML網(wǎng)頁(yè)。

3.1 Continuous training (Training Stage 1) - 連續(xù)訓(xùn)練（訓(xùn)練階段1

本文提出了一個(gè)新穎的渲染框架，構(gòu)建了一個(gè)以多邊形網(wǎng)格為基礎(chǔ)的渲染器，其中使用透明合成和神經(jīng)渲染器來產(chǎn)生高保真度的圖像。作者使用MLPs來表示網(wǎng)格中的顏色和不透明度，使用MLP的輸入來表示網(wǎng)格中的幾何完成，從而實(shí)現(xiàn)了從場(chǎng)景數(shù)據(jù)到圖像的連續(xù)訓(xùn)練。作者使用了加速格子來限制每條光線上的積分點(diǎn)數(shù)量，從而減少了渲染時(shí)間。與現(xiàn)有的渲染框架相比，作者的方法可以更好地處理反射，折射，陰影和非連續(xù)性的材料，并且對(duì)于多個(gè)數(shù)據(jù)集進(jìn)行了廣泛的實(shí)驗(yàn)和評(píng)估，結(jié)果表明它可以生成具有可比性的視圖。

3.2 Binarized training (Training Stage 2) - 二值化訓(xùn)練（訓(xùn)練階段2）

本文介紹了如何使用離散/分類不透明度來避免處理半透明物體時(shí)需要排序的問題。作者使用一個(gè)直通估計(jì)器優(yōu)化離散操作，并提出了一個(gè)聯(lián)合訓(xùn)練策略來同時(shí)訓(xùn)練連續(xù)模型和離散模型。離散模型的輸出輻射度由離散不透明度和顏色加權(quán)組成。最后，文章提到將進(jìn)行微調(diào)來優(yōu)化訓(xùn)練結(jié)果。

3.3 Discretization (Training Stage 3) - 交叉注意力實(shí)現(xiàn)可微分渲染

本文介紹了如何將離散/分類不透明度的表示轉(zhuǎn)換為顯式的多邊形網(wǎng)格，并將其存儲(chǔ)為紋理圖像。作者實(shí)驗(yàn)中使用的技術(shù)包括可見的四邊形的剪裁、尺寸調(diào)整和離散不透明度值和特征值的烘焙。值得注意的是，8位的量化精度在反向傳播中沒有被考慮到，但對(duì)渲染質(zhì)量的影響不大。

3.4 Anti-aliasing - 訓(xùn)練和損失函數(shù)

本文采用超采樣來實(shí)現(xiàn)抗鋸齒，并通過對(duì)特征進(jìn)行平均來避免每幀多邊形排序?？逛忼X的變化應(yīng)用于訓(xùn)練階段2中，最終作者平均子像素特征來獲得抗鋸齒表示并將其傳遞給神經(jīng)推遲著色器。

3.5 Rendering - 渲染

本文使用優(yōu)化的延遲渲染管線進(jìn)行渲染，包含兩個(gè)步驟：光柵化多邊形以及渲染紋理矩形并將其與特征圖像疊加。采用二進(jìn)制透明度的z-buffer使得多邊形不需要按照深度排序，且由于特征轉(zhuǎn)換的小型MLP可以在GLSL片元著色器中并行運(yùn)行，所以能夠在GPU上高度優(yōu)化，以實(shí)現(xiàn)在各種設(shè)備上以交互式幀速率運(yùn)行。

4 實(shí)驗(yàn)

MobileNeRF通過在三個(gè)數(shù)據(jù)集上進(jìn)行測(cè)試，包括NeRF合成的場(chǎng)景，LLFF前向場(chǎng)景和Mip-NeRF 360的無(wú)界戶外場(chǎng)景，證明了在各種場(chǎng)景和設(shè)備上表現(xiàn)良好。與SNeRG進(jìn)行比較顯示MobileNeRF可以在常見設(shè)備上實(shí)時(shí)運(yùn)行。詳細(xì)的消融研究進(jìn)一步研究了不同設(shè)計(jì)選擇的影響。

4.1 比較

本研究通過在各種設(shè)備上測(cè)試證明了MobileNeRF的出色性能和兼容性。在渲染質(zhì)量方面，使用PSNR、SSIM和LPIPS等指標(biāo)顯示本文的方法具有與SNeRG相近的圖像質(zhì)量，且優(yōu)于NeRF。此外，MobileNeRF需要的GPU內(nèi)存比SNeRG少5倍。渲染質(zhì)量在相機(jī)距離適當(dāng)?shù)那闆r下與SNeRG類似，但當(dāng)相機(jī)縮放時(shí)，SNeRG容易渲染過度平滑的圖像。三角形面不與實(shí)際物體表面對(duì)齊，因此需要更好的正則化損失或訓(xùn)練目標(biāo)來改善表面質(zhì)量。

4.2 消融研究

本文討論了在表中展示的消融研究，分析了在每個(gè)階段中各種修改對(duì)渲染效果的影響。在第一階段中，使用固定網(wǎng)格或不使用視角相關(guān)效果會(huì)顯著降低性能。在第二階段中，不進(jìn)行微調(diào)或僅使用二進(jìn)制不透明度會(huì)導(dǎo)致性能下降。在第三階段中，使用更大的紋理大小可以提高性能，但空間成本也會(huì)增加。超采樣步驟和小型MLP對(duì)性能影響最大。

5 總結(jié)

MobileNeRF介紹了一種可以在廣泛的計(jì)算平臺(tái)上進(jìn)行高效渲染的神經(jīng)場(chǎng)體系結(jié)構(gòu)，可以比之前的最新技術(shù)更快地生成同等質(zhì)量的圖像。然而，它存在一些限制，如估計(jì)的表面可能不準(zhǔn)確，它無(wú)法處理半透明和高光表面等。擴(kuò)展多邊形渲染管道可以解決這些問題，并將該架構(gòu)擴(kuò)展到快速訓(xùn)練的體系結(jié)構(gòu)這是未來工作的一個(gè)激動(dòng)人心的方向。