情感分析新突破：全景式细粒度多模态对话情感分析基准PanoSent
情感分析新突破：全景式细粒度多模态对话情感分析基准PanoSent
在人工智能领域，让机器理解人类情感是迈向真正智能化的重要一步。最近，新加坡国立大学联合武汉大学、奥克兰大学、新加坡科技设计大学、南洋理工大学团队在情感分析领域取得了重要突破，提出了PanoSent——一个全景式细粒度多模态对话情感分析基准。
研究背景
情感计算一直是自然语言处理等相关领域的一个火热的研究课题。近年来，情感分析在各个维度和方面取得了显著的发展。该领域已从传统的粗粒度分析（如文档和句子级别分析）发展到细粒度分析（例如ABSA），融合了广泛的情感元素，并发展出提取目标、方面、观点和情感等不同的情感元组。此外，情感分析的范围已从纯文本内容扩展到包括图像和视频的多模态内容。
在现实世界场景中，用户通常通过多种多样的多媒体更准确地传达他们的观点和情绪，提供超越文本的附加信息，如微表情、语音语调和其他线索。此外，研究已超越单一文本场景，考虑更复杂的对话情境，在这些情境中，个体在社交媒体平台（例如Twitter、Facebook、微博、知乎、小红书、抖音等）上频繁进行关于服务、产品、体育等的多轮、多方讨论。
尽管情感分析领域已取得显著进展，目前的研究定义仍然不够全面，无法提供一个完整且详细的情感画面，这主要是由于以下几个问题：
- 缺乏一个综合定义，将细粒度分析、多模态和对话场景结合起来
- 当前的情感分析定义只考虑识别固定的静态情感极性，忽略了情感随时间变化或因各种因素变化的动态性
- 现有工作没有彻底分析或识别情感背后的因果原因和意图
为填补这些空白，本文提出了一种全新的全景式细粒度多模态对话情感分析方法，旨在提供一个更全面的ABSA定义，包括全景情感六元组提取（子任务一）和情感翻转分析（子任务二）。
技术创新
全景式情感六元组抽取
从多轮、多方、多模态对话中识别情感持有者、目标、方面、观点、情感及其原因。
情感翻转分析
检测对话中情感的动态变化及其背后的因果关系。
PanoSent基准数据集
研究团队构建了一个包含10,000个对话的大规模高质量数据集PanoSent，数据来自现实世界的多样化来源，情感六元组元素经过手动注释，并借助GPT-4和多模态检索进行扩展。通过严格的人工检查和交叉验证，确保数据集的高质量。PanoSent数据集首次引入了隐式情感元素和情感背后的认知原因，覆盖最全面的细粒度情感元素，适用于多模态、多语言和多场景的应用。
多模态情感分析大模型：Sentica
多模态大语言模型骨干
当前，大型语言模型（LLM）在理解语言语义方面表现卓越，多模态大语言模型（MLLM）则展示了对多模态数据的强大理解能力。基于此，研究团队为PanoSent设计了一款新的MLLM——Sentica。该模型使用Flan-T5(XXL)作为语义理解和决策的核心LLM。对于非文本输入，采用ImageBind统一编码多模态信息，并将编码结果投影到LLM的嵌入空间。
链式情感推理框架
针对全景式情感六元组抽取和情感翻转分析任务，团队提出了受思想链（CoT）推理启发的链式情感推理框架（CoS）。该框架通过四个渐进的推理步骤，从简单到复杂，逐步解决每个任务，并为后续步骤积累关键线索和见解。步骤包括“目标-方面”识别、“持有者-观点”检测、“情感-理由”挖掘及“情感翻转触发器”分类。
基于复述的验证
为避免链式推理中可能产生的错误累积，研究团队设计了基于复述的验证机制（PpV）。在每个推理步骤中，通过将结构化的k元组转化为自然语言表达，并结合上下文检查其是否具有蕴涵或矛盾关系，从而确保每个步骤的准确性。这一机制不仅增强了情感分析的稳健性，还有效减轻了LLM固有幻觉的影响。
实验与分析
团队通过实验验证了Sentica在两个子任务中的表现。在六元组抽取任务中，Sentica显著优于其他方法，尤其是在结合CoS和PpV机制后，表现达到最佳。在情感翻转分析中，Sentica同样表现出色，特别是在多语言环境下，准确性显著提高。
未来展望
未来的研究可以朝以下几个方向展开：
- 多模态信息的进一步探索：开发更强大的多模态特征提取和融合方法，深入研究不同模态在情感识别中的具体影响。
- 隐性情感元素的识别：探索更精准的技术来识别隐性情感元素，这是当前情感分析中较为棘手的挑战。
- 情感认知与推理机制：研究情感元素之间的交互及其背后的因果机制，以开发更为稳健的情感推理解决方案。
- 对话上下文的建模：增强模型对对话上下文的理解能力，特别是在处理对话结构和说话者共指解析方面。
- 跨语言与跨领域迁移学习：研究多模态场景下的迁移学习方法，开发能适应不同语言和领域的通用情感分析模型。
这项研究为情感计算领域开辟了新的篇章，将为开发更智能的语音助手、更好的临床诊断和治疗辅助以及更具人性化的客户服务系统提供重要支持。