法律硕士能否根据 "五大性格 "再造一个角色！

法律硕士能否根据 "五大性格 "再造一个角色！

大型语言模型（LLMs）是否能够根据"五大性格"理论来模拟特定的人格特质？一篇来自IC2S2 2023的研究论文对此进行了深入探讨。研究团队通过让LLMs模拟基于五大人格的角色，并从生成的内容中提取心理语言特征、人类评分和人格预测，来研究LLMs是否能够再现人格特质。

介绍

近年来，大型语言模型（LLMs），如ChatGPT，一直专注于构建支持人类的个性化人工智能代理，重点关注其进行类人对话的能力。一些研究，尤其是社会科学等学术领域的研究指出，生成式代理可以模拟人类的个性特征。另一方面，尽管取得了这些进步，但很少有研究对个性化LLM如何准确、持续地再现特定人格特质进行评估。

在此背景下，本文介绍了一篇论文，该论文通过让LLMs模拟基于五大人格的角色，并从生成的内容中提取心理语言特征、人类评分和人格预测，来研究LLMs是否能够再现人格特质。

谁是五巨头？

本文所涉及的"五大"（Big Five）是由美国心理学家刘易斯-戈德堡提出的，用来描述人的个性，即：

1. 开放性
2. 自觉性
3. 外向性
4. 合群性
5. 神经质

该理论还指出，可以根据五个因素进行分类。此外，本文还让LLM探员根据上述人格特质之一模拟角色，然后使用大五人格量表（Big Five Inventory，BFI）对其进行评估。

实验概述

本文的实验工作流程如下图所示。

如图所示，本实验按照以下步骤进行：

1. 首先，运行提示，生成具有独特个性特征的法学硕士角色
2. 然后让生成的LLM角色完成故事写作任务
3. 使用"语言探究和字数统计"（LIWC）框架，研究"法学硕士角色"所描述的故事是否包含表明指定个性特征的语言模式
4. 评估LLM角色（人类角色和LLM角色）所描述的故事
5. 让人类和LLM完成从故事中预测作家LLM角色性格特征的任务

我们将逐一进行解释。

法学硕士角色模拟

实验使用了两个LLM模型（GPT-3.5和GPT-4），分别针对五大人格特质模拟了10个LLM角色，总共生成了320个角色。然后，我们使用上述的"BFI"对所生成的"LLM角色"进行了评估，以检查它们是否充分再现了"五大角色"。

故事写作

然后，320个法律硕士"角色"被要求"请分享一个800字左右的个人故事。请不要在故事中明确提及你的性格特征。不要在故事中明确提及你的性格特征。不要在故事中明确提及你的性格特征。"要求参与者撰写一个文本故事用于分析，并提示"不要在故事中明确提及您的个性特征。

LIWC分析

接下来，我们使用LIWC（语言调查和字数统计）框架从"角色"所描述的故事中提取心理语言特征，这是一种通过对文本中的词汇进行抽象和分类来对属性进行归类的方法。这项分析旨在通过研究故事中的性格特征与分配给法律硕士的性格特征之间的相关性，找出与性格特征的性格特征相对应的语言模式。

故事评价

然后，人类和本地语言学家根据以下标准对本地语言学家角色所描述的故事进行评分：

1. 可读性：故事是否易读、结构合理、流畅自然？
2. 个性：故事是否独特，是否清楚地表达了作者的思想和情感？
3. 冗余：故事简明扼要，没有不必要的内容
4. 凝聚力：故事写得好吗?
5. 可读性：阅读是否有趣？
6. 可信度：故事是否引人入胜，是否符合实际情况？

性格预测

最后，支持每个人和LLM从给定的故事中预测作家LLM角色的个性特征，评分标准为1到5分。本实验的目的是评估LLM角色所描述的故事是否能有效地展示人类和LLM都能识别的人格特质。

实验结果

本文使用GPT-3.5和GPT4这两个LLM模型生成的320个LLM角色进行了实验，以确认以下两个研究问题：

1. 法学硕士的"角色"是否反映了指定的个性特征？
2. 从"LLM角色"所描述的故事中，能否获得每种人格特质的语言模式？
3. 法律硕士角色所描述的故事是否写得充分？
4. 故事能预测法学硕士角色的个性特征吗？

我们将逐一进行解释。

法学硕士的"角色"是否反映了指定的个性特征？

为了证实这一研究问题，本实验根据320个法学硕士角色对BFI的回答计算了他们的个性分数，并通过t检验分析了这些分数的分布与所分配的个性特征的函数关系。结果如下。

实验结果表明，在统计学上，法学硕士的角色在所有性格特征上都有明显的差异，这证明他们反映了他们被赋予的角色。

法学硕士的"角色"是否反映了指定的个性特征？

为了证实这一研究问题，本实验使用LIWC从LLM角色生成的故事中提取了心理语言特征，并计算了这些特征与指定人格特质之间的点比对相关性（PBCs）。点双项相关系数是一种适用于分析二元变量与连续变量之间关系的系数，在此用于研究指定的人格特质（=二元变量）与LIWC特征（=连续变量）之间的相关性。

下表概述了与个性特征有显著统计学相关性的LIWC特征。

实验结果表明，指定的人格特质对法学硕士角色的语言风格有显著影响，例如，当法学硕士被赋予神经质角色时，更倾向于使用负面词汇，如焦虑和负面语气。结果表明，所分配的人格特质对法学硕士角色的语言风格有显著影响。此外，更重要的是，这些相关性反映了在人类描述的故事中观察到的模式，证实了人类和LLM角色之间用词的一致性。（与GPT-3.5相比，GPT-4的结果与人类更加一致）。

法律硕士角色所描述的故事是否写得充分？

为了证实这一研究问题，本实验评估了由LLM角色（包括人类角色和LLM角色）生成的故事。评估结果见下表。

值得注意的是，GPT-4角色所生成的故事在可读性（可读性）、内聚性（内聚性）和可信性（现实性）方面都获得了人类和LLM4.0或更高的评分。重点是在以下方面获得了4.0或更高的评分。结果证实，"角色"所产生的故事不仅语言流畅、结构连贯，而且引人入胜。

故事能预测法学硕士角色的个性特征吗？

为了证实这一研究问题，本实验将每个角色的个性特征视为二元分类问题，并计算了人类和LLM预测个性特征的准确率。实验结果如下图所示。

实验结果表明，人类从GPT-4角色描述的故事中预测性格特征的准确率在外向性和宜人性方面分别低至68%和51%，这证实了人类基于文本的性格预测任务的难度。.另一方面，GPT-4在"外向性"、"宜人性"和"自觉性"方面的准确率分别为97%、68%和69%，表明它可以非常准确地预测人格特质。研究结果如下

摘要

结果如何？在这篇文章中，我们介绍了一篇论文，该论文通过模拟基于五大人格的角色，并从生成的内容中提取心理语言特征、人类评分和人格预测，来研究LLM是否能够再现人格特质。本文进行的实验表明，LLM可以充分模拟给定的人物形象，还表明人格特质可以通过用词反映出来，人格特质可以通过LLM预测，这表明LLM具有巨大的潜力。另一方面，还有许多其他方面需要研究，比如实验没有模拟更自然的情况，如LLM角色之间的互动或合作，或者实验只关注英语而没有研究其他语言。随着这一研究领域的不断进步，也许很快就能创造出复制人类个性、行为方式与人类相同的人工智能代理。

本文所介绍的工作流程和实验结果详情可参见本文，感兴趣者可参阅本文。