MIT&哈佛 | 多智能体微调，通过多样推理链极大提升数学能力

MIT&哈佛 | 多智能体微调，通过多样推理链极大提升数学能力

引用

CSDN

1.

https://blog.csdn.net/star_nwe/article/details/145303292

近年来，大型语言模型（LLMs）在多个领域取得了显著的性能突破，但其能力从根本上受到基础训练数据的限制。为了在训练数据之外改进模型，近期的研究探索了如何利用LLMs生成合成数据以实现自主改进。然而，连续的自我改进步骤可能会达到收益递减的点。针对这一问题，MIT、哈佛等机构的研究人员提出了一种新的解决方案——多智能体微调（Multiagent Finetuning），通过多样推理链极大提升数学能力。

一、背景

像GPT-3.5和GPT-4这样的大型语言模型在语言生成、理解、问答和翻译等方面取得了显著进展。然而，这些模型受限于其训练数据，因为现有模型已经使用了互联网上的大量可用数据。为了进一步提高LLM的性能，近期的研究集中在自我改进上，即让LLMs生成额外的合成数据并在其上进行训练。

一种方法是使用强大的现有前沿模型（如GPT-4）生成额外的监督数据，但这种方法受限于前沿模型的固有质量，并且成本高昂，还可能受到法律限制。另一种方法是直接利用现有语言模型生成额外的合成数据进行自我改进，但随着模型的重复训练，性能提升往往会很快达到平台期，因为多样性会降低，而且自我改进循环通常只能进行两到三轮。

二、贡献

1. 提出利用多智能体交互作为语言模型自我改进的一种方法。
2. 提出将模型专门化为具有不同角色，以实现智能体之间的详细反馈并提高最终输出质量。
3. 在开源和专有语言模型的一系列推理任务中定量验证了该方法的适用性。
4. 证明了经过微调的智能体可以以零样本方式在不同数据集上进行泛化。

三、技术方案

3.1 多智能体辩论

多智能体辩论涉及一系列N个语言模型智能体（可以是同一模型的特定副本或微调版本），每个智能体都负责生成给定问题的响应。在生成初始响应后，智能体之间启动辩论轮次。将其他智能体的响应进行连接和总结，每个智能体根据其先前的响应和其他智能体的总结响应构建新的响应。最终结果由最后一轮辩论的输出通过多数投票决定。

3.2 在生成数据上微调模型

3.3 微调多个生成和评估模型

3.4 多次微调迭代

微调后的模型能够通过多智能体辩论生成响应。发现迭代应用多智能体微调可以实现持续学习和适应，随着时间的推移产生逐渐改进和更准确的响应。

3.5 推理

在推理时，有一组微调后的生成模型和一组微调后的评估模型。在这些智能体之间进行多智能体辩论，每个生成智能体参与第一轮辩论，随后每个评估智能体在后续轮次参与。每个智能体在每轮辩论中获取所有其他智能体的响应并生成新的响应。发现总结其他智能体的响应有助于消除冗余信息并保留最重要的细节，从而进一步提高性能。最终结果由最后一轮辩论的响应通过多数投票决定。

四、实验结果

4.1 实验设置

在三个语言推理任务上评估了本文的方法和基线：算术、小学数学（GSM）和MATH。对于每个数据集，随机选择500个示例进行语言模型的微调，并选择500个预留问题进行评估。通过比较生成的答案与真实答案来评估其正确性，并报告准确性和标准误差。

4.2 定量结果

本文的方法在仅进行一次微调迭代时就优于所有基线。尽管“STaR”利用真实标签进行数据选择并进行多次微调迭代，但仍比本文的方法表现更差，本文的方法仅使用一次微调迭代且无法访问真实标签。“Majority”、“Debate”和“STaR”方法优于“Base”模型，表明多数投票、多智能体辩论和微调都有助于提高性能。“Majority FT”通过纳入微调过程提高了“Majority”的性能。本文的方法仅在500个示例上进行微调，但在更具挑战性的数据集（如GSM和MATH）上仍比基线有显著改进。

4.3 多次微调迭代

为了验证多次微调迭代的有效性，本文在MATH数据集上对Mistral和Phi-3两个开源模型进行了五次微调迭代的测试。结果表明，本文的方法“多智能体微调（Ours）”随着时间的推移持续提高性能。例如，Phi-3的准确性从58.8%提高到66.0%，Mistral的准确性从22.5%提高到28.2%。本文的方法经过五轮微调比使用Phi-3和Mistral的表1中列出的最佳基线精度分别提高12.6%和9.31%。相比之下，单智能体微调在一次微调迭代后性能达到饱和并随后开始下降，表明可能对生成的响应过度拟合。

五、结论

与单模型微调的现有工作相比，多智能体微调在训练和推理时成本更高，因为需要训练和运行模型的多个副本。在开源模型上进行多智能体微调实验需要使用四个H100 GPU或四个A100 GPU，模型占用120GB-240GB的GPU内存，推理在多个GPU上需要12-24小时。为了提高多智能体模型的训练时间，可以考虑在不同模型实例之间共享权重。为了提高多智能体模型的推理时间，可以直接将辩论过程蒸馏到单个模型中或在微调中使用量化。

这项工作为语言模型增强的未来研究开辟了新的途径，并为该领域的进一步发展奠定了基础。重要的是，方法具有通用性，可应用于开源和专有LLMs，确保了广泛的实用性和影响。此外，可以与其他纳入人类反馈（如RLHF或DPO）的微调方法集成，这留待未来的工作。

论文链接：https://arxiv.org/pdf/2501.05707v1
源码链接：https://github.com/vsubramaniam851/multiagent-ft/tree/main