迈向空间感知：从3D视觉到具身智能
迈向空间感知：从3D视觉到具身智能
在人工智能和机器人技术领域，3D视觉和空间感知是实现具身智能的关键技术。上海AI Lab与中国科学技术大学联合培养的博士生朱皓怡在这一领域取得了重要研究成果，提出了PonderV2、Point Cloud Matters和SPA框架等创新性方法，为机器人在复杂环境中的学习和泛化能力提供了新的解决方案。
研究背景与挑战
如何在复杂的3D环境中提升智能体的泛化能力并实现高效学习，是具身智能领域一项重要挑战。上海AI Lab联合中国科学技术大学、浙江大学等机构，针对这一挑战提出了一系列创新性研究成果。
PonderV2：3D视觉的通用预训练框架
PonderV2是一种用于3D视觉的通用点云预训练框架。该框架以神经渲染作为代理任务，具有深度理解和感知三维真实世界的能力。在预训练方面，具有以下四项核心优势：
- 统一的预训练方式
- 同时支持室内外场景3D任务
- 灵活支持多种输入模态
- 同时支持高层级语义和底层重建下游任务
在11项室内外基准的评测中，PonderV2超越了当前最先进的性能。相关论文成果已收录于TPAMI 2025顶刊。
Point Cloud Matters：观测空间对机器人学习的影响
不同观测空间对机器人学习有重要影响，RGB、RGB-D和点云是三种目前的主流模态。朱皓怡博士等研究人员提出OBSBench基准测试框架，并系统性地评估了三种观测空间在机器人学习任务中的表现，强调了3D空间意识在提升机器人学习性能和泛化能力中的关键作用。
通过在17个不同的接触丰富操作任务上使用Point Cloud数据集，研究证明基于点云的方法在性能上优于RGB和RGB-D方法，并且有助于提升零样本泛化能力。相关论文成果已收录于NeurIPS 2024顶会上。
SPA框架：提升3D空间感知能力
3D空间意识在具身表征学习中至关重要。朱皓怡博士等研究人员提出一种全新的3D空间感知表征学习框架SPA。该框架利用大规模多视角图进行可微分神经渲染，增强了传统视觉变换器（ViT）的内在空间理解能力。
相关团队还进行了最全面的具身表征学习评估，涵盖了268个任务，涉及8个模拟器和多种策略。实验结果表明，SPA在多项任务中均优于10种现有的最先进表征方法，所需的训练数据更少；且通过一系列真实世界实验，验证了SPA在实际场景中的有效性。
主要贡献者简介
朱皓怡是上海AI Lab与中国科学技术大学联合培养的博士生，师从王晓刚教授、欧阳万里教授和贺通教授。本科就读于上海交通大学人工智能班，期间在卢策吾教授和方浩树博士的指导下开展研究。研究方向包括具身智能、机器人操作与三维视觉，致力于探索人工智能在复杂环境中的学习能力及其在机器人领域的应用。曾在NeurIPS、TPAMI等顶级会议和期刊上发表了多篇高影响力论文，其中MineDojo获NeurIPS 2022杰出论文奖。
相关论文与项目
论文成果1
标题：《PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm》
链接：https://arxiv.org/abs/2310.08586
项目地址：https://github.com/OpenGVLab/PonderV2
收录情况：TPAMI 2025
论文成果2
标题：《Point Cloud Matters: Rethinking the Impact of Different Observation Spaces on Robot Learning》
链接：https://arxiv.org/abs/2402.02500
项目地址：https://github.com/HaoyiZhu/PointCloudMatters
收录情况：NeurIPS 2024
论文成果3
标题：《SPA: 3D Spatial-Awareness Enables Effective Embodied Representation》
链接：https://arxiv.org/abs/2410.08208
项目地址：https://haoyizhu.github.io/spa/