CPsyCoun：心理咨询多轮对话自动构建及评估方法

CPsyCoun：心理咨询多轮对话自动构建及评估方法

引用

CSDN

1.

https://blog.csdn.net/qq_43814415/article/details/139931528

背景与相关工作

在大模型应用于心理咨询领域，目前开源的项目有：

• EmoLLM：集合项目，生态完善
• smile
• CPsyCoun：本文所介绍的项目
• SoulChat
• SoulStar
• MindChat：数据集未开源

训练一个大模型并不困难，但获取领域内的数据集却是一个挑战。本文提出了一种基于报告的多轮对话重构和评估框架CPsyCoun，使用LLM从公开的心理咨询报告中还原真实的心理咨询多轮对话，并提出了一个综合的心理咨询评估方法。

动机

1. 已有研究表明，使用LLM进行对话生成和重构在数据扩增和对话去噪方面是有效的，例如DISC-MedLLM等项目。
2. 在垂直领域应该有专门的评估指标。

整体流程

数据集构建

1. 从壹点灵心理等心理咨询网站获取了3134个类型单纯的匿名心理咨询报告，形成了CPsyCounR数据集。

数据构造方法

1. 基线方法：角色扮演方法。这是之前的smile等项目采用的方法。

2. Memo2Demo方法：论文提出的两阶段方法。心理督导（LLM）首先将心理咨询报告转换为咨询笔记，然后心理咨询师（LLM）根据报告和笔记生成多轮咨询对话。

Memo Conversion：心理督导根据报告制作咨询笔记，包括基本的咨询信息和详细的咨询计划。咨询笔记的目标之一是提供与案例相关的专业见解，采用不同的心理咨询技术来解决客户的问题。同时，它还浓缩了与客户相关的核心信息，从而提高后续心理咨询过程的全面性。使用GLM-4模型。

Demo Generation：心理咨询师根据心理咨询报告和转换后的咨询笔记生成多轮咨询对话。使用GLM-4模型。

四阶段咨询框架

为了控制对话生成的方向，提高多轮咨询对话中心理咨询师的专业性，将心理咨询过程简化为四个阶段：

1. 接待和询问阶段：客户介绍自己的基本情况和咨询目的
2. 诊断阶段：心理咨询师分析并明确客户的心理问题，探索问题源头和严重程度
3. 咨询阶段：确认咨询目标，告知心理咨询技术，并分步执行具体计划
4. 巩固和结束阶段：回顾和总结咨询阶段的工作，让客户进行自我反思

评估指标体系

设计了一个包含Comprehensiveness（全面性）、Professionalism（专业性）、Authenticity（真实性）和Safety（安全性）等四个方面的评估指标体系，在这四个方面分解了小指标和权重。使用GPT4来判断每个小指标上的表现。

多轮对话的评估是拆分为单轮对话然后取均值的，在大于一轮时附带上历史记录：

CPsyCounE数据集：在Smile项目的基础上将对话数据分为了九大话题，每个话题手动选择了五条最具代表性的对话。用于评估。