全球首个！机器比人更懂你，可穿戴情感识别系统登上Nature子刊
全球首个！机器比人更懂你，可穿戴情感识别系统登上Nature子刊
人类情感是一种复杂而多变的心理状态，常常隐藏在"面具"之下，难以被他人准确理解。尽管面部表情、语言语调等非语言信号提供了一些线索，但仍然存在着许多挑战，使得人类之间的情感交流变得复杂而模糊。
随着科技的不断进步和人类对于智能化系统的需求日益增长，情感识别技术作为人机交互领域的重要组成部分，正受到越来越多的关注。近日，来自蔚山科学技术院、南洋理工大学的研究团队，提出了全球首个实时可穿戴人类情感识别技术，并开发了一种多模态人类情感识别系统，该系统结合了语言和非语言表达数据，可有效利用全面的情绪信息。
相关研究论文以"Encoding of multi-modal emotional information via personalized skin-integrated wireless facial interface"为题，已发表在科学期刊Nature Communications上。
据介绍，该系统的核心是个性化皮肤集成面部界面（Self-powered Skin-interfaced Facial and Vocal Emotion Recognition Interface，PSiFI）系统，该技术基于自供电的摩擦电原理，通过特制的传感器单元，能够同时感知面部和声音表达所产生的信号，从而实现对人类情感的准确识别。
该论文的第一作者Jin Pyo Lee表示："有了这个系统，只需几个学习步骤，无需复杂的测量设备，就能实现实时情感识别。这为未来的便携式情感识别设备和下一代基于情感的数字平台服务提供了可能性。"
此外，研究团队还将该系统应用于VR环境（智能家居、私人影院和智能办公室等），通过识别个人在不同情况下的情绪，提供个性化的音乐、电影和书籍推荐。
PSiFI技术是一种基于生理信号的面部和声音表情感知界面。该技术利用PDMS和PEDOT:PSS等柔性、透明、可加工的材料构建传感器单元，用于捕捉人体面部和声音等生理信号，实现对情感状态的识别和监测。其中，PDMS具有出色的柔软性和透明性，PEDOT:PSS导电层可提供良好的电导性，这两者是构建PSiFI系统的关键材料。利用这些材料的可加工性和可调制性，可以实现PSiFI技术的构建和制备。
图｜PSiFI系统概述。A. PSiFI包括摩擦电传感器（TES）、用于无线通信的数据处理电路以及用于面部表情和语音识别的深度学习分类器。B. 可穿戴面罩的PSiFI二维布局，并在面部紧张和声音振动等感官刺激方面描绘了两种不同类型的TES。C. 由电极层和介电层等简单两层结构组成的TES示意图以及TES组件的照片。比例尺：1 cm。D. TES制造组件示意图。PEDOT:PSS基电极是由半固化工艺制成的（左图）。考虑到应变和振动等传感刺激，介电层进行了不同的设计，以实现最佳的传感性能。中间的插图为应变型介电层的纳米结构表面的SEM图像，右侧插图显示作为振动型介电层的声孔的冲孔的照片。比例尺：2 μm和1 mm。
PSiFI系统由PDMS基底、PEDOT:PSS导电层和声学孔组成。PDMS提供柔软性和舒适性，PEDOT:PSS导电层用于传输信号，声学孔用于增强传感器的灵敏度和性能。将PDMS的基础材料与固化剂按照一定比例混合，并在真空脱气后在基板上涂覆形成所需薄膜。通过混合PEDOT:PSS的水性分散液和添加剂，然后在基板上涂覆和固化形成导电层。
图｜应变传感单元的工作机理及表征。A. 应变传感单元的示意图。插图：检测面部应变的传感单元的放大视图。B. 应变传感单元在屈曲和拉伸状态下的电位分布。
图｜用于输出测量的实验装置的真实图像。比例尺：1 cm。
通过特定的涂覆和固化方法将PDMS和PEDOT:PSS层结合形成传感器单元。利用激光切割技术在PDMS基底上制备声学孔，从而增强传感器的灵敏度和响应性。
图｜振动传感单元的工作机制和表征。A. 振动传感单元的示意图。插图：检测声带振动的传感单元的放大视图。B. 工作循环期间传感单元的电势分布。C. 用于声音振动传感器的孔图案配置示意图以及32孔配置中孔的SEM图像。比例尺：2 mm（插图：显示声孔的放大视图。比例尺：400 μm）。
在搭建好PSiFI系统之后，为确保其性能，研究团队进行了一系列测试。首先，研究人员使用光谱仪对PSiFI系统的透明性进行测试。结果显示，PSiFI系统在可见光范围内具有良好的透明性，允许光线穿透，使得用户能够舒适地佩戴PSiFI设备而不感到遮挡或阻碍。
然后，研究人员对此进行了拉伸实验和弯曲实验，以验证PSiFI系统在各种形变下的柔韧性和稳定性。实验结果表明，即使在受到拉伸或弯曲时，PSiFI系统仍能保持其结构完整性和性能稳定性，表现出优异的柔韧性。
随后，研究团队又开展了情感识别实验。他们使用PSiFI传感器对面部运动信号进行采集，并利用先进的算法进行处理和分析。结果表明，通过监测面部肌肉的微小运动变化，PSiFI系统能够准确捕捉和记录不同情感状态下的面部表情特征。
此外，研究团队还利用PSiFI技术对声音信号进行采集，并通过声学分析方法进行情感识别。结果显示，PSiFI系统能够有效地捕捉和分析声音的频率、振幅和其他特征，从而识别出言语中所蕴含的情感信息。
未来，也许机器比人更懂你。研究团队表示，在未来，PSiFI技术可以应用于情感识别领域，通过监测面部和声音信号，识别出个体的情感状态，为智能医疗系统提供情感健康监测和诊断服务。
在人机交互领域，PSiFI技术也可以与智能设备集成，实现人机自然交互。例如，在虚拟现实环境中，PSiFI技术可以用于感知用户的情感状态，从而实现更加智能化和个性化的用户体验。
在机器人方面，PSiFI技术则可应用于情感智能机器人领域，使机器人能够识别和理解人类的情感表达，从而更好地与人类交流和互动。
必须说明的是，这项技术并非十全十美，目前还存在一些局限性。首先，PSiFI技术的传感器需要具备高灵敏度，从而准确捕捉和分析微弱的面部和声音信号，但目前传感器的灵敏度还有待进一步提高。这可以通过优化传感器的结构和材料选择，提高传感器的灵敏度和稳定性，使其更适用于不同情境和环境下的情感识别任务。
此外，PSiFI技术需要处理大量的生理信号数据，并进行复杂的数据分析和算法处理，这对数据处理能力提出了挑战，需要更加高效和智能的算法和处理平台。在未来，可以开发更加高效和精确的数据处理算法，提高PSiFI技术对生理信号的分析和识别能力，从而提升情感识别的准确性和可靠性。
当然，这项技术结合了生物医学、工程学、心理学等领域的专业知识和技术，需要更多的跨学科合作，来共同推动PSiFI技术的发展和应用，拓展其在智能医疗、人机交互等领域的应用前景。
近年来，情感识别技术在人机交互、医疗健康等领域得到了广泛关注和研究。除了PSiFI技术，还有许多其他相关研究取得了重要进展。例如，基于图像处理和深度学习的面部表情识别技术，以及基于声音信号处理和模式识别的语音情感识别技术等。这些研究成果为情感识别技术的发展提供了丰富的技术手段和方法。
随着PSiFI等创新技术的不断出现和应用场景的不断扩展，在不久的将来，人们或许能够更加智能、更加自然地与智能设备和系统进行交互，医疗健康管理也将变得更加个性化和精准。到那时，也许机器比人更懂你。