脑电+多模态，情绪识别的新纪元？

脑电+多模态，情绪识别的新纪元？

引用

百度

等

10

来源

1.

https://cloud.baidu.com/article/3344988

2.

https://blog.csdn.net/u011661076/article/details/140471995

3.

https://www.cs.sjtu.edu.cn/NewsDetail.aspx?id=763

4.

https://computer.ytu.edu.cn/info/1029/4986.htm

5.

https://www.sztu.edu.cn/info/1010/4030.htm

6.

https://developer.aliyun.com/article/1615370

7.

https://www.psytech.com.cn/newsclass_5/newsdetail_254.shtml

8.

https://journal.ecust.edu.cn/cn/article/id/c17c325d-7399-4b22-8141-cded056f31f7

9.

https://www.ccf.org.cn/Focus/2024-10-18/831409.shtml

10.

http://www.xml-data.cn/KXYSH/html/18fe35bb-c490-49e3-9a07-4346a43aaae2.htm

近年来，随着深度学习技术的飞速发展，脑电（EEG）信号在情绪识别领域的应用正迎来新的突破。通过结合多模态情感识别技术，研究人员不仅能更精准地捕捉个体的情绪变化，还能提高情绪识别的可靠性和实用性。这种创新的方法不仅在学术界引起广泛关注，也将在医疗健康、人机交互等多个领域展现出巨大的应用潜力。

脑电图（EEG）是一种非侵入性的神经影像技术，能够实时记录大脑的电活动。与传统的心理问卷或面部表情分析相比，EEG能够提供更直接、更客观的情绪状态信息。然而，EEG信号具有高度的复杂性和个体差异性，传统的信号处理方法往往难以有效提取情绪特征。

深度学习的出现为这一难题提供了新的解决方案。深度学习模型，尤其是卷积神经网络（CNN）和循环神经网络（RNN），能够自动学习和提取复杂特征，无需人工设计特征。通过词嵌入技术如Word2Vec或GloVe，深度学习将词语转化为向量表示，能够捕捉词汇间的语义关系，从而更好地理解文本含义。此外，基于注意力机制的模型（如BERT）能够理解上下文对词义的影响，解决了一词多义等问题，提高了情感分析的准确性。

2024年，上海交通大学计算机科学与工程系吕宝粮教授和郑伟龙副教授团队在IEEE Transactions on Affective Computing上发表重要研究成果。他们开发了一个名为SEED-VII的多模态数据集，该数据集涵盖了六种基本情绪（快乐、悲伤、恐惧、厌恶、惊讶和愤怒）以及中性情绪，通过80段不同视频素材进行情绪诱发。数据集还提供了表示相应情绪强度水平的连续标签。

研究团队还提出了一种新的多模态自适应情绪Transformer（MAET）模型。该模型能够通过专用模块处理单模态和多模态输入，并采用对抗训练减少被试者间的数据分布差异。实验结果表明，过滤高情绪强度数据能够显著增强模型的情绪区分能力。

在多模态情感识别领域，烟台大学刘志中教授团队针对不确定模态缺失场景下的多模态情绪识别问题，创新性地提出了一种基于相似模态补全的多模态情绪识别模型（SMCMSA）。该模型构建了全模态样本数据库，使用预训练的单模态情感分析模型对样本数据进行情感标签预测，并通过设计两个独立的相似模态补全策略对缺失模态进行补全。

在一项基于音乐情绪识别的研究中，研究者采用深度卷积神经网络（CNN）对脑电数据进行分析。实验选取了大阪大学的12名男性被试，平均年龄25.59±1.69岁，身体健康，并且没有人之前接受过正式的音乐教育训练。所有被试均是自愿参与，每个人都被告知实验流程。

实验中用到的音乐包括40个MIDI文件，每首歌都只有不同的乐器和节奏，以规避歌词的影响，被试被要求从音乐集中选择16首歌曲。脑电数据的采样率设置为250Hz，记录了12个数据点的脑电信号，分别是Fp1，Fp2，F3，F4，F7，F8，Fz，C3，C4，T3，T4，Pz，这些通道均是在情绪管理中起到重要作用的额叶附近脑区。实验过程中每个电极的阻抗降到20kΩ以下，并在60Hz进行凹陷滤波。

研究表明，不同窗口大小的时间信息在10倍（10-fold）交叉验证和保留一个被试（leave-one-subject-out）的交叉验证中明显影响识别性能。来自不同电极顺序的空间信息对分类有轻微的影响。基于同一数据集上的时空知识，之前使用的SVM分类器与这些实证结果进行比较，结果发现，尽管CNN和SVM在窗口大小效应上具有同源的趋势，但CNN使用保留一个被试（leave-one-subject-out）交叉验证的效果优于SVM，这可能是由于在提取过程中提取的特征不同所致。

尽管脑电情绪识别技术在实验室环境中取得了显著进展，但其商业化应用仍面临诸多挑战。首先是个体差异问题，不同人在相同情绪状态下的脑电信号可能表现出不同的特征，这导致基于EEG的情绪识别模型在实际应用中难以保证稳定性和可靠性。其次是噪声干扰问题，EEG信号容易受到多种噪声的干扰（如肌电噪声、环境噪声等），这些噪声会掩盖真实的脑电信号，影响情绪识别的准确性。此外，数据标签问题也是一个重要挑战，在实际应用中，很难获得大量准确标注的EEG数据，这限制了深度学习等需要大量训练数据的算法在情绪识别领域的应用。

尽管存在这些挑战，商业EEG设备已经在多个领域展现出应用潜力。在心理健康领域，EEG设备可以用于抑郁症、焦虑症等疾病的早期诊断和治疗；在教育领域，EEG设备可以用于评估学生的学习状态和注意力水平；在人机交互领域，EEG技术能够实现更自然、更智能的情感交互，提升用户体验。

随着技术的不断进步，商业EEG设备将更加便携、智能和易用。同时，新的算法和模型将不断涌现，提高情绪识别的准确性和稳定性。跨学科融合将成为推动情绪识别研究的重要动力，结合心理学、神经科学、计算机科学等领域的知识，将有助于揭示情绪产生的神经机制，为情绪识别提供新的思路和方法。

脑电情绪识别技术的未来充满希望。通过技术创新和跨学科融合，我们有理由相信，未来的情绪识别将更加准确、智能和便捷，为人类社会带来更加美好的明天。