Nvidia 的下一代 DLSS 可能會(huì)利用 AI，實(shí)現(xiàn)全 AI 神經(jīng)渲染愿景

在 Computex 2024 的問(wèn)答環(huán)節(jié)中（由 More Than Moore 報(bào)道），Huang 回答了一個(gè)與 DLSS 相關(guān)的話題，他說(shuō)未來(lái)我們將看到純粹通過(guò) AI 創(chuàng)建的紋理和對(duì)象。Huang 還表示，AI NPC 也將純粹通過(guò) DLSS 生成。

JAEALOT

2024年6月20日

Nvidia 的 Jensen Huang 透露了這家市值萬(wàn)億美元的 GPU 公司計(jì)劃在未來(lái)的深度學(xué)習(xí)超級(jí)采樣 (DLSS) 迭代中做些什么。在 Computex 2024 的問(wèn)答環(huán)節(jié)中（由 More Than Moore 報(bào)道），Huang 回答了一個(gè)與 DLSS 相關(guān)的話題，他說(shuō)未來(lái)我們將看到純粹通過(guò) AI 創(chuàng)建的紋理和對(duì)象。Huang 還表示，AI NPC 也將純粹通過(guò) DLSS 生成。

使用 DLSS 生成游戲內(nèi)資產(chǎn)將有助于提升 RTX GPU 上的游戲性能。轉(zhuǎn)移到張量核心的工作將減少對(duì)著色器 (CUDA) 核心的需求，從而釋放資源并提高幀速率。Huang 解釋說(shuō)，他認(rèn)為 DLSS 可以自行生成紋理和對(duì)象并提高對(duì)象質(zhì)量，類(lèi)似于當(dāng)今 DLSS 升級(jí)幀的方式。

我們可能已經(jīng)接近 DLSS 技術(shù)的下一個(gè)迭代。Nvidia 已開(kāi)始研究一種新的紋理壓縮技術(shù)，該技術(shù)考慮了經(jīng)過(guò)訓(xùn)練的 AI 神經(jīng)網(wǎng)絡(luò)，以顯著提高紋理質(zhì)量，同時(shí)保留現(xiàn)代游戲類(lèi)似的視頻內(nèi)存 (VRAM) 需求。傳統(tǒng)的紋理壓縮方法的壓縮率限制為 8 倍，但 Nvidia 的新神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)可以將紋理壓縮到 16 倍。

這項(xiàng)技術(shù)應(yīng)該適用于黃仁勛關(guān)于通過(guò) DLSS 增強(qiáng)對(duì)象圖像保真度的討論。游戲中的對(duì)象只是包裹在 3D 空間中的紋理，因此這種紋理壓縮技術(shù)將不可避免地提高紋理質(zhì)量。

黃仁勛未來(lái)迭代 DLSS 更有趣的方面是游戲內(nèi)資產(chǎn)生成。Nvidia 的 DLSS3 幀生成技術(shù)的這一增強(qiáng)功能在真實(shí)幀之間生成幀以提高性能。資產(chǎn)生成比 DLSS3 幀生成更進(jìn)一步，游戲內(nèi)資產(chǎn)完全通過(guò) DLSS 從頭開(kāi)始生成。（DLSS 需要被告知在游戲世界中需要放置資產(chǎn)的位置以及需要渲染哪些資產(chǎn)，但它們將完全從頭開(kāi)始創(chuàng)建。）

Huang 還討論了圍繞 NPC 的 DLSS 的未來(lái)。Huang 不僅希望 DLSS 能夠生成游戲內(nèi)資產(chǎn)，而且還設(shè)想 DLSS 能夠生成 NPC。他舉了一個(gè)例子，視頻游戲中存在六個(gè)人；六個(gè)人中有兩個(gè)是真實(shí)角色，而其他四個(gè)則完全由 AI 生成。

這是對(duì) 2023 年演示的 Nvidia ACE 的回調(diào)。ACE 是一款游戲內(nèi) LLM，旨在讓 NPC 栩栩如生，結(jié)合游戲中另一個(gè)角色的用戶互動(dòng)，為他們提供獨(dú)特的對(duì)話和響應(yīng)。Nvidia 認(rèn)為 ACE（或某種未來(lái)形式）將在 PC 游戲中發(fā)揮重要作用，并成為 DLSS 不可或缺的一部分。