机器人的感官新技能：通过声振动识别物体，机器人的新触觉！
机器人的感官新技能：通过声振动识别物体，机器人的新触觉！
在黑暗的电影院里，你可能会通过摇动杯子来听冰块的声音，以判断是否需要续杯。或者通过轻敲扶手，听回声判断其材质。这种通过声音振动来感知世界的能力，人类几乎不假思索就能运用。现在，杜克大学的研究人员正将这种能力赋予机器人，以增强其日益增长的感知能力。
杜克大学的研究人员开发了一个名为SonicSense的系统，该系统让机器人能够通过声音振动与周围环境互动，这是以前只有人类才能做到的。这项研究将在11月6日至9日在德国慕尼黑举行的机器人学习会议（CoRL 2024）上展示，研究结果已发表在arXiv预印本服务器上。
"今天的机器人主要依赖视觉来理解世界，"该论文的首席作者、机械工程和材料科学系教授Boyuan Chen实验室的一年级博士生Jiaxun Liu解释说。"我们希望创建一个解决方案，能够适用于日常遇到的复杂和多样化的物体，赋予机器人更丰富的'感觉'和理解世界的能力。"
SonicSense系统配备了一个带有四个手指的机器人手，每个手指的指尖都嵌入了一个接触式麦克风。这些传感器检测和记录机器人敲击、抓取或摇晃物体时产生的振动。由于麦克风与物体接触，这使得机器人能够排除环境噪音。
基于互动和检测到的信号，SonicSense提取频率特征，并利用其先前的知识，结合人工智能的最新进展，来确定物体的材料和3D形状。如果是一个系统从未见过的物体，可能需要20次不同的互动才能得出结论。但如果是数据库中已有的物体，它可以在仅四次互动后正确识别。
"SonicSense赋予了机器人新的听觉和触觉方式，就像人类一样，这可以改变当前机器人感知和与物体互动的方式，"Chen说。"虽然视觉是必不可少的，但声音增加了可以揭示眼睛可能错过的信息的层次。"
在论文和演示中，Chen和他的实验室展示了SonicSense带来的多种能力。通过转动或摇晃装有骰子的盒子，它可以计算出里面的数量和形状。通过同样的方法摇晃水瓶，它可以判断里面的水量。通过在物体外部轻敲，就像人类在黑暗中探索物体一样，它可以建立物体形状的3D重建，并确定其材质。
SonicSense不是第一个尝试使用这种方法的系统，但它通过使用四个手指而不是一个，基于触摸的麦克风排除环境噪音，以及先进的人工智能技术，比之前的工作走得更远，表现也更好。这种设置允许系统识别由多种材料组成的物体，这些物体具有复杂的几何形状、透明或反射表面，以及对基于视觉的系统来说具有挑战性的材料。
"虽然大多数数据集是在受控的实验室环境中收集的，或者在人类干预下进行的，但我们需要的是机器人能够在开放的实验室环境中独立与物体互动，"Liu说。"在模拟中复制这种复杂性水平是很困难的。这种受控和现实世界数据之间的差距是关键的，SonicSense通过使机器人能够直接与物理世界的多样性和混乱现实互动来弥合这一差距。"
这些能力使SonicSense成为训练机器人在动态、非结构化环境中感知物体的强大基础。它的成本也很低廉；使用音乐家用来从吉他录制声音的相同接触式麦克风、3D打印和其他商业上可获得的组件，使得建造成本仅为200多美元。
向前看，该团队正在努力提高系统与多个物体互动的能力。通过集成目标跟踪算法，机器人将能够处理动态、杂乱的环境——使它们更接近人类在现实世界任务中的适应性。
另一个关键的发展在于机器人手本身的设计。"这只是一个开始。未来，我们希望SonicSense能够用于更先进的机器人手，这些手具有灵巧的操作技能，使机器人能够执行需要微妙触觉的任务，"Chen说。"我们很兴奋地探索这项技术如何能够进一步发展，整合多种感官模式，如压力和温度，以实现更复杂的互动。"
SonicSense系统为机器人提供了一种新的通过声音振动感知世界的方式，这可能会彻底改变它们与环境的互动。随着技术的不断进步，我们有望看到机器人在感知和理解世界方面取得更大的突破，从而在各种任务中实现更高的适应性和灵活性。