问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

大规模3D场景2分钟生成效率提升30倍!中科院发布空间智能新框架

创作时间:
作者:
@小白创作中心

大规模3D场景2分钟生成效率提升30倍!中科院发布空间智能新框架

引用
1
来源
1.
https://www.taibo.cn/p/96685

近日,中国科学院自动化研究所和北京科技大学联合团队发布了一项重大科技创新成果——SceneX空间智能新框架。这一突破性技术能够根据简单的文字描述快速创建高质量、逼真的虚拟场景,将3D场景生成效率提升了30倍。

SceneX:开启高效、逼真场景生成新时代

SceneX以创新的方式打破传统局限,全面提升效率与真实感,主要包括两个核心模块:

  • PCGHub:通过集成多种程序化生成模块并封装为标准化API,PCGHub提供了一个灵活的平台,解决单一生成模块因固有算法和规则受限而导致的局限性,大幅扩展了资源生成的多样性和灵活性。

  • PCGPlanner:作为智能规划器,PCGPlanner高效协调PCGHub的资源完成场景生成。其全自动化流程包括场景分解、地形生成、资产生成与检索、资产放置等阶段。通过模块化设计,确保生成结果的连贯性与几何一致性。

相比传统方法需要数周完成的大规模场景建模,SceneX将时间压缩至数小时,同时支持通过简单的文字指令精确控制场景的细节。SceneX的跨模态协同能力,赋予场景生成前所未有的灵活性与可控性。


图3:SceneX框架通过四个阶段将用户文本输入转换为不同的3D场景:场景分解阶段、地形生成阶段、物体生成和检索阶段以及资产放置阶段

PCGHub:多样化程序化资产与布局生成平台

场景的多样性离不开资产的多样性。为此,PCGHub提供了一个集成丰富程序化生成模块和3D资产的平台,旨在解决传统方法的局限性并提升内容真实感。

PCGHub提供了172个涵盖自然环境、建筑等多领域的程序化资产,并配备了散射、网格、线性等多种灵活的布局生成器,使开发者能够轻松创建丰富多样的3D场景。


图4:不同场景下个性化编辑结果的可视化

这些资产可通过调整几何和材质参数实现多样化变化。从2,362个原始参数中提取了263个核心参数,并封装为标准化API,每个API配有详尽文档,包括功能描述和参数规格,方便用户调用和扩展。此外,PCGHub还包含11,284个高质量3D静态资产,极大地丰富了资源库的多样性。

PCGPlanner:智能场景生成与布局规划

PCGPlanner利用PCGHub提供的资源,实现高效的自动化场景生成。整个生成过程包括四个关键阶段:

  1. 场景分解:根据用户需求分析场景并列出所需资产;
  2. 地形生成:构建基础地形并应用适当的材质;
  3. 物体生成与检索:根据需求生成或导入场景所需的资产;
  4. 资产放置:根据不同的布局类型和程序化生成器,在场景中安排资产。

一系列实验验证了SceneX在质量、效率和场景编辑上的全方位优势。主要成果如下:

  • 在对场景质量进行评分时,邀请了用户和专业设计师参与测试。结果表明,SceneX生成的场景获得了用户和专家的一致认可,评分结果几乎持平。这意味着,无论是普通用户还是行业专家,都对SceneX生成的场景赞不绝口。

  • 通过提示词与场景匹配度评估,SceneX展现了卓越的语义理解和生成能力。无论是静谧的河边风光,还是繁华的城市景象,SceneX都能完美复现用户想象,实现「所见即所得」。

  • 实验结果显示,生成一片壮丽的自然景观只需要短短几分钟,打造一座大型城市也快得令人惊讶。


图6:大规模场景和城市生成结果

结语

SceneX框架展示了程序化内容生成与多Agent工作流结合的巨大潜力,为大规模场景生成提供了全新的解决方案。通过其强大的可控性和高质量的生成能力,SceneX为虚拟世界构建、游戏开发、影视制作等领域开辟了新的可能性。未来,SceneX将进一步优化生成过程,为用户提供更加高效便捷的场景生成体验。

项目网站:https://zhouzq1.github.io/SceneX/

论文链接:https://arxiv.org/abs/2403.15698

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号