陈丹琦团队揭秘Transformer：从复现经典聊天机器人ELIZA开始

陈丹琦团队揭秘Transformer：从复现经典聊天机器人ELIZA开始

引用

量子位

1.

https://www.qbitai.com/2024/07/168153.html

为了深入理解Transformer的工作原理，陈丹琦团队采取了一个独特的研究路径：复现20世纪60年代的经典聊天机器人ELIZA。通过这一过程，他们不仅揭示了Transformer在处理对话任务时的关键机制，还为AI模型的可解释性研究开辟了新思路。

ELIZA：首个经典聊天机器人的工作原理

ELIZA编写于20世纪60年代，主要用于心理治疗。它能够“听懂”人类语言并作出回应，例如：

ELIZA的对话方式“有点狡猾”，像极了看似认真实则敷衍的好闺蜜好兄弟。由于其算法简单且表现出早期语言模型的行为，研究团队选择通过复现ELIZA来探索Transformer的内部机制。

复现ELIZA的关键技术

研究团队通过4个子任务来实现ELIZA算法，其核心是使用模式匹配规则和转换规则来生成响应。

1. 输入分割：将对话历史（包括用户输入和ELIZA的响应）分成多个段落。
2. 模板匹配：使用无星号正则表达式构建ELIZA的模板匹配机制。左侧是分解模板，右侧是重组规则。
3. 模板选择：模型识别出得分最高的模板，并考虑模板在对话中较早匹配的次数。
4. 响应生成：通过基于内容的注意力和基于位置的注意力机制生成响应。

为了模拟ELIZA的长期记忆功能，团队引入了循环遍历重组规则和记忆队列机制。例如，通过计算模板匹配次数或分析模型之前的输出来实现记忆功能。

实验结果与发现

团队基于合成的ELIZA数据集训练了一个包含8层解码器的Transformer模型。研究发现：

• Transformer模型能够快速学会识别正确的重组规则，但需要更长时间来正确实施转换。
• 模型在精确复制方面存在困难，尤其是在需要复制大量标记时。
• 模型在处理内存队列时也遇到挑战，特别是当目标内存距离当前回合较远时。

最重要的是，研究发现Transformer模型倾向于根据对话内容的相似性来选择回答，而非严格按照词出现的位置来复制。此外，通过调整数据属性可以影响模型学习的机制。

研究意义

这项研究的最大贡献在于为研究自动可解释性提供了新思路。通过模仿ELIZA这样的经典聊天机器人，研究团队采用了一种结构化和系统化的方法来分析模型的行为。这种方法包括生成特定的数据集、设计特定的模型架构和训练策略，为大语言模型研究提供了一个受控的理想化环境。