机器人导航能力受限？大模型多模态技术提供创新解决方案

机器人导航能力受限？大模型多模态技术提供创新解决方案

引用

腾讯

1.

https://new.qq.com/rain/a/20250120A08O7300?media_id=&openApp=false&suid=&web_channel=wap

机器人导航技术正迎来重大突破。香港科技大学（广州）李昊昂教授团队最新研究的视觉-语言导航技术，通过整合视觉信息和语言指令，为机器人提供了更加自然、智能、高效的导航与交互能力。

在服务机器人领域，这项技术展现出巨大潜力。机器人不仅能理解人类的语言指令，还能通过视觉数据识别关键信息，进而完成任务。例如，当接收到“走到客厅，把餐桌上的苹果拿给我”这样的指令时，机器人能够准确识别“客厅”、“餐桌”、“苹果”等关键信息，并据此规划行动路径。

然而，现有的视觉-语言大模型仍面临一些挑战。由于数据质量和训练场景的限制，这些模型往往对照片拍摄视角敏感，难以理解模糊语言指令。针对这一问题，李昊昂教授团队提出了专门的调优策略。他们通过在机器人室内外导航数据上进行视觉数据抽取和语言指令标注，使模型能够更好地拟合实际应用场景。这样一来，机器人就能根据提取的环境视觉特征和人类语言指令来决定其导航路径。

在数据基础方面，现有的导航训练数据主要依赖人工在真实世界中获取，存在数据量不足、多样性低以及标注成本高等问题。为了解决这些问题，李昊昂教授团队创新性地采用了仿真数据合成的方法。他们设计了一种新颖的生成式扩散模型，能够合成大量、多样化、高质量的视觉数据和相关的语言描述。这不仅降低了数据获取成本，还提高了模型在处理复杂、未见场景时的鲁棒性。

这项研究为机器人导航技术的发展开辟了新的方向，有望推动服务机器人在更多场景中的应用。随着技术的不断进步，我们有理由相信，未来的机器人将能够更好地理解人类需求，提供更加智能、便捷的服务。

本文原文来自腾讯新闻