華南理工賈奎團(tuán)隊(duì)ICCV'23新作：支持重新照明、編輯和物理仿真

【導(dǎo)讀】來自華南理工大學(xué)的研究團(tuán)隊(duì)提出了一種基于文本驅(qū)動(dòng)的三維模型及材質(zhì)生成方法Fantasia3D，是第一個(gè)被接收的能夠產(chǎn)生逼真效果的AIGC3D工作。

受益于預(yù)訓(xùn)練的大型語言模型和圖像擴(kuò)散模型（Satble Diffusion等）的可用性，自動(dòng)化三維內(nèi)容生成近期取得了快速進(jìn)展。

現(xiàn)有的文本到三維模型的生成方法通常使用NeRF等隱式表達(dá)，通過體積渲染將幾何和外觀耦合在一起，但在恢復(fù)更精細(xì)的幾何結(jié)構(gòu)和實(shí)現(xiàn)逼真渲染方面存在不足，所以在生成高質(zhì)量三維資產(chǎn)方面效果較差。

在這項(xiàng)研究中，華南理工大學(xué)提出了一種用于高質(zhì)量文本到三維內(nèi)容創(chuàng)建的新方法Fantasia3D，關(guān)鍵之處在于對(duì)幾何和外觀進(jìn)行解耦的建模和學(xué)習(xí)。

項(xiàng)目地址：https://fantasia3d.github.io/

對(duì)于幾何學(xué)習(xí)，F(xiàn)antasia3D依賴于顯隱式結(jié)合的表達(dá)，并提出將渲染的表面法線圖編碼為Satble Diffusion的輸入；對(duì)于外觀建模，F(xiàn)antasia3D引入了空間變化的雙向反射率分布函數(shù)（BRDF）到文本生成三維模型的任務(wù)中，并學(xué)習(xí)生成表面的逼真渲染所需的表面材質(zhì)。

解耦框架兼容目前的圖形引擎，支持生成的三維資源的重新照明、編輯和物理仿真。

研究人員也進(jìn)行了全面的實(shí)驗(yàn)，展示了該方法在不同的文本到三維生成任務(wù)設(shè)置下相對(duì)于現(xiàn)有方法的優(yōu)勢(shì)。

模型效果

對(duì)于給定的文本，F(xiàn)antasia3D能夠生成具有不同拓?fù)湫螤畹娜S模型以及具有照片級(jí)真實(shí)感的渲染表面。

同時(shí)，如下圖1中右上角的獅子所示，由于使用了BRDF建模表面，F(xiàn)antasia3D能產(chǎn)生較強(qiáng)的金屬反射效果。

圖1：三維模型生成效果

同時(shí)，F(xiàn)antasia3D支持根據(jù)用戶給定的粗糙三維物體和文本進(jìn)行生成。

如下圖2所示，給定一個(gè)粗糙的三維模型，F(xiàn)antasia3D可將輸入的粗糙模型作為初始化生成三維模型，這種優(yōu)化方式可讓生成過程更加快速和穩(wěn)定，緩解文本到三維模型生成中的多面問題（Janus Problem）。

圖2：根據(jù)用戶給定的粗糙三維模型和文本進(jìn)行生成。

另外，不同于現(xiàn)有的基于隱式表達(dá)（NeRF等）的方法，F(xiàn)antasia3D采用了顯隱式相結(jié)合的表達(dá)，生成的3D資產(chǎn)可以很好地與現(xiàn)有的圖形渲染和仿真引擎相結(jié)合。

如下圖3 (a)(b) 所示，生成的三維模型可以導(dǎo)入Blender中進(jìn)行布料和軟體的物理仿真，圖3 (c) 則展示了用Blender替換生成材質(zhì)的實(shí)驗(yàn)結(jié)果。

圖3: 在Blender中進(jìn)行編輯。

如下圖4 (a) 所示，F(xiàn)antasia3D生成的模型還可在Blender中替換不同的光照，從而產(chǎn)生不同的渲染效果。

(b) 中展示了將Fantasia3D生成的物體插入其他場(chǎng)景中的能力，插入的物體能與原環(huán)境中的光照環(huán)境進(jìn)行交互，從而產(chǎn)生自然的反射效果。

圖4: 給生成物體進(jìn)行重新打光。

原理方法

Fantasia3D的方法概覽如下圖5所示。我們的方法可以根據(jù)文本提示生成解耦的幾何和外觀（見圖(a)），二者分別通過(b)幾何建模和(c)外觀建模生成。

在(b)中，我們采用DMTet作為我們的三維幾何表示，這里初始化為一個(gè)三維橢球體。

為了優(yōu)化DMTet的參數(shù)，我們將從DMTet提取的網(wǎng)格的法線貼圖（在早期訓(xùn)練階段還會(huì)同時(shí)使用物體掩碼）渲染為Stable Diffusion的形狀編碼。

在(c)中，對(duì)于外觀建模，我們引入了空間變化的雙向反射率分布函數(shù)（BRDF）建模，并學(xué)習(xí)預(yù)測(cè)外觀的三個(gè)分量（即kd、krm和kn）。幾何和外觀建模都由分?jǐn)?shù)蒸餾采樣損失函數(shù)（SDS loss）進(jìn)行監(jiān)督。

圖5: Fantasia3D流程圖。

總結(jié)

本文介紹了一種名為Fantasia3D的自動(dòng)化文本到三維生成的新方法，基于DMTet的混合表達(dá)，采用幾何和外觀的解耦建模和學(xué)習(xí)，能夠生成精細(xì)的表面和豐富的材質(zhì)/紋理。

對(duì)于幾何學(xué)習(xí)，研究人員提出將渲染的法線貼圖編碼，并將法線的形狀編碼作為預(yù)訓(xùn)練的Stable Diffusion的輸入。

對(duì)于外觀建模，引入了空間變化的BRDF到文本生成三維對(duì)任務(wù)中，從而實(shí)現(xiàn)對(duì)學(xué)習(xí)表面的逼真渲染所需的材質(zhì)的學(xué)習(xí)。

除了文本提示外，該方法還可以根據(jù)自定義的三維形狀來生成，這對(duì)用戶來說更加靈活，可以更好地控制生成的內(nèi)容。

另外，該方法還方便支持生成的三維資產(chǎn)的重新照明、編輯和物理仿真。