北京大学提出HoloDreamer，基于文本生成高质量3D场景

北京大学提出HoloDreamer，基于文本生成高质量3D场景

北京大学研究团队提出了一种名为HoloDreamer的创新框架，能够基于文本描述生成高质量的3D场景。这项技术在保持全局一致性和细节完整性方面取得了突破，为虚拟现实等领域带来了新的可能性。

背景与挑战

3D场景生成是计算机视觉领域的重要任务，特别是在VR等对3D场景有高需求的领域。虽然文本到图像扩散模型提供了强大的生成能力，但传统的基于outpainting的方法容易产生全局不一致的场景，限制了其广泛应用。

HoloDreamer的技术创新

北京大学团队提出的HoloDreamer框架通过以下创新解决了现有方法的局限：

1. 风格化的等矩形全景生成：利用文本到图像扩散模型直接生成360度等矩形全景。首先在全景数据库上微调扩散模型生成基本全景图，然后使用条件控制扩散模型进行风格转移和细节增强。

2. 3D高斯飞溅重建：选择3D高斯飞溅作为场景的3D表示，因为它具有表示高粒度细节的强大能力。提出了增强的两阶段全景重建流程：

• 预优化阶段：使用单目深度估计模型提供的深度先验对全景进行深度估计，将RGBD数据转换为点云并作为三维高斯的初始化。设计了两阶段3D高斯飞溅优化流程，通过多视图约束克服单一视点的限制。
• 最终优化阶段：使用2D补图模型填充场景中的缺失区域，实现最终重构场景的高完整性。

实验结果与应用前景

实验结果表明，HoloDreamer在生成全封闭场景时，在整体视觉一致性和协调性、重建质量和渲染鲁棒性方面均优于其他方法。这项技术不仅提高了视觉一致性和视觉协调性，还增强了场景的完整性和渲染的鲁棒性。

这项研究为将文本描述转换为复杂的、身临其境的、视觉上连贯的3D场景提供了全面的解决方案，代表了3D场景创建领域的重大进步。