论文推荐 | 元宇宙多模态触觉感知与交互的数据手套技术研究

论文推荐 | 元宇宙多模态触觉感知与交互的数据手套技术研究

随着元宇宙和虚拟现实技术的快速发展，数据手套作为人机交互的重要设备，其技术研究和应用前景备受关注。本文介绍了一种新型数据手套系统，该系统具有硬件集成度高、响应速度快、数据采集精确和轻便易穿戴的特点，能够实时采集温度、指尖按压力和手指弯曲程度等数据，并将其应用于虚拟环境中的虚拟手交互。

1 数据手套的具体设计

1.1 多通道信号采集电路的设计

为了精确跟踪手部运动，数据手套技术在每个手指上使用了2个应变计，分别放置在近指间关节(PIP joint)和指掌关节(MCP joint)处。通过测量2个关节的弯曲角度，可以捕捉到更逼真的手势。为此，每个数据手套都配备了10个弯曲传感器。图1和表1显示了PIP关节和MCP关节的位置及其角度范围。

图1 MCP/PIP 关节的位置和角度变化范围

表1 手指关节的角度范围

与初始电阻相比，弯曲过程中弯曲传感器的电阻变化相对较小，导致直接采集精度低、准确性差且误差率高。为了解决这一问题，构建了一个惠斯通电桥电路，该电路允许将电桥的输出电压引入第二级放大电路中。然而，由于需要为10个弯曲传感器扩展电路，系统硬件电路体积显著增加。

扫描电路的使用减少了所需的模-数转换器(ADC)的通道数量，并最大限度地减少了冗余复杂电路的需求，从而显著节省了宝贵的电路板空间。此外，将可变电阻集成到传感器放大电路中，以匹配扫描电路并让不同弯曲程度的传感器实现独立的放大系数配置。

1.2 传感器分布与手套制作

手套采用合成麂皮材料制成，具有一定的硬度，并且集成了所有模块和电路，便于穿戴。手套的指尖处配备了压力和温度/湿度传感器，而相应的指关节处则装有弯曲传感器，为手指活动留有充足的空间。传感器的信号线均匀延伸并连接到位于手掌背面的中央区域的专业电路板，该电路板由锂电池供电。集成设计的实施成功地减少了使用手套时手部运动所存在的阻碍。手套的外观如图2所示。

图2 集成了弯曲传感器、压力传感器和温度传感器的数据手套

近端配置包括机械臂和操作员。机械臂装有触觉感知手套，而操作员使用数据手套操控机械手。本文开发的数据手套具有许多功能，可采集温度、弯曲度和压力数据，通过蓝牙连接实现远程复制。远程复制过程包括几个关键方面，即穿戴者的感知复制、虚拟世界内部虚拟行为的再现、机器人手臂执行运动的复制和使用存储的手部运动数据进行行为逻辑分析。

1.3 硬件数据采集

从弯曲传感器、压力传感器和温度传感器中获取原始数据，如图3所示。之后，将收集到的数据传输到个人计算机中。接下来，讨论主要单元及其功能。

图3 手套硬件驱动工作流程图

1.3.1 初始化

本文工作的第一步是初始化微控制器和所使用的传感器的引脚。在此过程中，蓝牙模块将与输入/输出(I/O)引脚配对，以标识连接状态。如果蓝牙模块长时间处于未连接状态，配置引脚会被拉低以进入配置模式，并通过串行端口发送命令来设置主从关系、通信协议、通信模式、蓝牙设备名称、传输速度和通信密码。

1.3.2 数据采集

手套硬件系统的数据采集包括芯片系统的初始化和利用芯片内置的多通道ADC从压力传感器、弯曲传感器和温度传感器中收集数据。选定的芯片具有2个12位的逐次逼近ADC，5个压力传感器和1个温度、湿度传感器分别连接到专用采集通道，10个弯曲传感器通过轮询电路共享一个单一的采集通道。2种类型的传感器在不同的ADC模式下进行采集。压力传感器的电压采集在扫描模式下进行，同时输出来自5个传感器的数据，而弯曲传感器的电压采集在单次转换模式下进行，依次收集来自10个传感器的电压数据。

对于温度传感器的数据采集，使用集成电路总线（I2C）通信模式。手套系统采用软件I2C通信，确保与不同微控制器的兼容性，并提高便携性。数据通过模拟串行数据线传输到芯片并存储在数组中。

在感知手套的硬件系统中，传感器收集的数据通过配置的蓝牙模块传输到主机计算机系统。数据以特定格式发送，包括数据帧的头部、数据标志、接触力数据、温度及湿度数据、中间位置、关节弯曲角度数据、数据结束标记和校验和。数据以十六进制格式通过蓝牙传输到PC端。

图4显示了数据帧的结构，其使用了十六进制值表示数据。数据帧结构的前2个字节表示帧头，第3个字节表示数据帧的总长度。第413个字节包含来自5个压力传感器的数据，每2个字节表示1个压力传感器数据。第14个字节包含来自温度传感器的数据。弯曲传感器数据从字节1625中被捕获，每个传感器由1个字节的数据表示。第26~31个字节包含来自陀螺仪的数据，捕获x-y-z角度数据和加速度。最后，帧的最后一个字节是校验和，用于验证数据帧的完整性。

图4 手套硬件驱动工作流程图

1.3.3 无线数据传输

手套的无线传输使用HLK-B40蓝牙传输模块，该模块集成了主从功能。该模块通过串行接口协议，将手套捕获的数据无线传输到计算机。配对的蓝牙模块中的一个为主模块，并焊接和集成到手套中，另一个模块通过USB连接到计算机。需要注意的是，即使设备关闭，所有蓝牙配置也可以保存。当设备打开时，模块已配对并准备好进行数据传输。

1.4 数据处理与表示

MATLAB数据展示组件主要负责解码接收到的数据，再现手指曲率数据，并通过动态表格和动态函数图形进行展示。

手套硬件系统收集的数据在传输到个人PC端之前需要进行处理。压力值和弯曲角度通过ADC线性转换为0~4 095之间的整数。此外，还应用了加权递归平均滤波算法对数据进行滤波。采样队列长度表示为m，采样结果与前m-1个数据点一起加权计算，权重值保持不变：

队列长度m越长，输出信号的延迟越大，灵敏度越弱。对于本系统，将队列长度设置为m=4。因此，每个时间步长的新采样数据的计算如下：

式中：Un为第n个时刻采集的电路输出电压值；C4-i为输出电压值所对应的权值；Un-i为第n-i个时刻采集的电路输出电压值。

温度传感器通过I2C传输数据，其中包含20位温度数据(ST)。然后，这些数据被转换为实际的温度值(T，单位为℃)，如下所示：

1.5 Unity 3D中的虚拟环境设计

本研究中的虚拟场景设计利用Unity 3D软件来实现，该软件是一款高级3D游戏引擎，可与多个平台兼容。该引擎可以有效地模拟现实世界的物理原理，从而提高模拟的真实性。个人能够使用3D Max建模软件或其他建模工具等创建3D模型，或者可以利用Unity 3D的预置模型集合来构建他们所期望的虚拟世界。随后，制定明确的指令以促进指定实体的动态活动执行。此外，该软件还为专为2D场景定制的图形用户界面(GUI)提供支持，满足用户在图形界面设计方面的要求。Unity 3D的广泛应用可归因于其逼真的物理引擎、包容的开发环境和直观的用户界面。

本文重点研究虚拟场景的设计，该设计由3个基本组件组成：① 通信模块，用于接收来自数据手套的手部信息数据；② 虚拟手控制模块，用于创建虚拟手来复制和执行用户手部动作；③ GUI界面，用于实现串行端口连接、显示指尖压力值和表示手指关节弯曲。

串行端口通信部分的主要设计原则包括配置与串行端口连接相关的各种参数。这些参数包括端口号、传输速度、停止位和奇偶校验位。通过使用指定的应用程序编程接口(API)函数new SerialPortSetting()来打开相应的串行端口并检索手套数据，然后将这些数据解码并存储在表示手指弯曲数据和指尖压力数据的特定数组中。场景中的各个对象使用特定的数据数组，从而产生适当的动画效果。这个过程实现了用户手部运动的即时再现和指尖压力的即时再现。Unity 3D中触觉再现的示例如图5所示。

图5 Unity 3D中触觉再现的示例

本文选用的薄膜柔性压力传感器RP-C10-LT非线性误差＜10%，迟滞误差为±10%，重复性误差为±10%；选用的电阻应变片(弯曲传感器)BF350-20AA非线性误差＜0.1 Ω，迟滞误差为±0.1 Ω，重复性误差为±0.1 Ω；选用的温度传感器AHT25非线性误差＜0.1 ℃，迟滞误差为±0.1 ℃，重复性误差为±0.1 ℃。

2 数据结果与讨论

本文进行了全面的测试。测试场景涉及在各种真实世界条件下进行交互，包括弯曲、温度和压力环境，目的是真实地再现交互。

2.1 弯曲数据

选择位于食指PIP关节处的弯曲度传感器。在保持食指MCP关节静止的情况下，将在PIP关节角度从0°逐渐弯曲到90°，每次增加30°，手套系统从弯曲状态下的弯曲度传感器捕获的电压数据如图6所示。图7展示了穿戴感知手套抓握热水杯的状态图。此外，图8和图9分别展示了热水杯抓握过程中在PIP关节和MIP关节处收集的数据。

图6 弯曲角度测试数据

图7 抓握热水杯实验过程图

图8 抓握热水杯时PIP关节弯曲数据

图9 抓握热水杯时MIP关节弯曲数据

2.2 压力数据

本文使用自动化压力测试设备对原始数据进行测试。图10展示了施加压力与平均电路输出电压之间的关系(使用MATLAB中的曲线拟合工具箱，考虑三次函数)。图11描绘了抓握热水杯时的压力数据。

图10 压力与电压数据拟合曲线图

图11 抓握热水杯时的压力数据图

2.3 温度数据

在抓握热水杯实验中，参与者使用感知手套握住装有热水的杯子。手套收集的温度数据如图12中红色曲线所示；室温如图12中深蓝色点画线所示；实验参与者使用感知手套抓握冰袋时，手套采集到的温度数据如图12中浅蓝色曲线所示。实验过程如图13所示。

图12 抓握热水杯时的温度传感器数据图

图13 穿戴手套抓握热水和冰袋图

2.4 讨论

随着虚拟现实融合技术的不断进步，数据手套旨在紧密联系现实场景与虚拟空间，并提升人机交互的沉浸感。然而，目前关于数据手套的研究往往存在一些限制，例如感官通道应用范围狭窄、向虚拟领域传递的触觉信息有限和价格普遍较高，这些因素阻碍了数据手套的广泛应用。

针对这些挑战，本文提出了一种集多种感知模式、多功能数据采集能力、用户友好型可穿戴性、灵活使用和成本效益于一体的智能交互感知数据手套。研究范围涵盖适用于数据手套的传感器类型的选择、底层硬件系统的构建和上层软件系统的设计。本文致力于将关节运动映射到人机交互的一系列领域。最终，所设计的感知数据手套的实用性、实时性能和鲁棒性得到了验证，为虚拟现实融合的多样化发展和人机交互方法的增强提供了宝贵的设计见解。

3 结束语

本文提出了一种能够实时收集温度、湿度、手指压力和弯曲数据的数据手套。所建议的数据接口能够以视觉方式实时表示值的改变。此外，本文利用Unity 3D程序创建了一个模拟手部活动的环境，作为各种手部运动姿势的视觉表示。与现有数据手套相比，本文设计的数据手套在捕捉人手温度、角度和压力方面具有更好的能力。本文提出多通道循环采集方法，以提高手套的便携性并获得精确的手指形态数据。实验结果表明，数据手套具有数据采集精确性、可靠的再现性和稳健的重复性。本研究旨在建立一个强大的框架，促进物理实体与其数字对应物之间在元宇宙中进行高度集成交互。经过深入研究与实验验证，本文所研制的数据手套在应用于成年人群时，展现出了较高的使用准确率，有效支撑了人机交互的流畅进行。然而，在面对体型较小的人群或儿童等特定用户群体时，由于手套尺寸与手部形态的匹配度的问题，数据采集的准确率会受到一定影响，表现出一定程度的下降。针对这一问题，未来研究的重要方向是进一步优化数据手套的设计，通过开发多种尺寸规格，以适应不同用户群体的手部特征，从而全面提升人机交互的体验与质量。期待这一改进能够推动数据手套在更广泛的领域中的应用与发展。