【導讀】來自華南理工大學的研究團隊提出了一種基于文本驅動的三維模型及材質生成方法Fantasia3D，是第一個被接收的能夠產生逼真效果的AIGC3D工作。

受益于預訓練的大型語言模型和圖像擴散模型（Satble Diffusion等）的可用性，自動化三維內容生成近期取得了快速進展。

現有的文本到三維模型的生成方法通常使用NeRF等隱式表達，通過體積渲染將幾何和外觀耦合在一起，但在恢復更精細的幾何結構和實現逼真渲染方面存在不足，所以在生成高質量三維資產方面效果較差。

在這項研究中，華南理工大學提出了一種用于高質量文本到三維內容創建的新方法Fantasia3D，關鍵之處在于對幾何和外觀進行解耦的建模和學習。

項目地址：https://fantasia3d.github.io/

對于幾何學習，Fantasia3D依賴于顯隱式結合的表達，并提出將渲染的表面法線圖編碼為Satble Diffusion的輸入；對于外觀建模，Fantasia3D引入了空間變化的雙向反射率分布函數（BRDF）到文本生成三維模型的任務中，并學習生成表面的逼真渲染所需的表面材質。

解耦框架兼容目前的圖形引擎，支持生成的三維資源的重新照明、編輯和物理仿真。

研究人員也進行了全面的實驗，展示了該方法在不同的文本到三維生成任務設置下相對于現有方法的優勢。

模型效果

對于給定的文本，Fantasia3D能夠生成具有不同拓撲形狀的三維模型以及具有照片級真實感的渲染表面。

同時，如下圖1中右上角的獅子所示，由于使用了BRDF建模表面，Fantasia3D能產生較強的金屬反射效果。

圖1：三維模型生成效果

同時，Fantasia3D支持根據用戶給定的粗糙三維物體和文本進行生成。

如下圖2所示，給定一個粗糙的三維模型，Fantasia3D可將輸入的粗糙模型作為初始化生成三維模型，這種優化方式可讓生成過程更加快速和穩定，緩解文本到三維模型生成中的多面問題（Janus Problem）。

圖2：根據用戶給定的粗糙三維模型和文本進行生成。

另外，不同于現有的基于隱式表達（NeRF等）的方法，Fantasia3D采用了顯隱式相結合的表達，生成的3D資產可以很好地與現有的圖形渲染和仿真引擎相結合。

如下圖3 (a)(b) 所示，生成的三維模型可以導入Blender中進行布料和軟體的物理仿真，圖3 (c) 則展示了用Blender替換生成材質的實驗結果。

圖3: 在Blender中進行編輯。

如下圖4 (a) 所示，Fantasia3D生成的模型還可在Blender中替換不同的光照，從而產生不同的渲染效果。

(b) 中展示了將Fantasia3D生成的物體插入其他場景中的能力，插入的物體能與原環境中的光照環境進行交互，從而產生自然的反射效果。

圖4: 給生成物體進行重新打光。

原理方法

Fantasia3D的方法概覽如下圖5所示。我們的方法可以根據文本提示生成解耦的幾何和外觀（見圖(a)），二者分別通過(b)幾何建模和(c)外觀建模生成。

在(b)中，我們采用DMTet作為我們的三維幾何表示，這里初始化為一個三維橢球體。

為了優化DMTet的參數，我們將從DMTet提取的網格的法線貼圖（在早期訓練階段還會同時使用物體掩碼）渲染為Stable Diffusion的形狀編碼。

在(c)中，對于外觀建模，我們引入了空間變化的雙向反射率分布函數（BRDF）建模，并學習預測外觀的三個分量（即kd、krm和kn）。幾何和外觀建模都由分數蒸餾采樣損失函數（SDS loss）進行監督。

圖5: Fantasia3D流程圖。

總結

本文介紹了一種名為Fantasia3D的自動化文本到三維生成的新方法，基于DMTet的混合表達，采用幾何和外觀的解耦建模和學習，能夠生成精細的表面和豐富的材質/紋理。

對于幾何學習，研究人員提出將渲染的法線貼圖編碼，并將法線的形狀編碼作為預訓練的Stable Diffusion的輸入。

對于外觀建模，引入了空間變化的BRDF到文本生成三維對任務中，從而實現對學習表面的逼真渲染所需的材質的學習。

除了文本提示外，該方法還可以根據自定義的三維形狀來生成，這對用戶來說更加靈活，可以更好地控制生成的內容。

另外，該方法還方便支持生成的三維資產的重新照明、編輯和物理仿真。