最新研究揭示：大模型在条件推理和模态推理中的表现与局限

创作时间:

作者:

@小白创作中心

最新研究揭示：大模型在条件推理和模态推理中的表现与局限

引用

来源

https://www.53ai.com/news/LargeLanguageModel/2024071793478.html

大型语言模型（LLMs）在各种任务中表现出色，但其在逻辑推理，特别是条件推理和模态推理方面的能力仍然存在争议。近期，来自加利福尼亚大学伯克利分校、纽约大学和麻省理工学院的研究团队发表修订版论文《Conditional and Modal Reasoning in Large Language Models》，深入探讨了当前最先进的LLMs在处理条件推理和模态推理任务时的表现。

什么是条件推理和模态推理？

条件推理，即“如果…那么…”的推理形式，是人类思维中最基本的逻辑结构之一。例如，“如果下雨，那么地面会湿”就是一个典型的条件推理。模态推理则涉及“可能”、“必须”等模态词的使用，这些词语表达了不同的可能性和必然性。例如，“他可能在家”或“她必须完成作业”就是模态推理的例子。

研究背景和相关工作

逻辑推理是人类认知的重要组成部分，它涉及从一个或多个前提推导出结论的过程。在哲学中，逻辑推理被视为一种严格的思维方式，其有效性仅依赖于逻辑词的含义，如“和”、“或”、“不”、“如果”、“必须”、“可能”等。逻辑推理的有效性意味着，如果前提为真，结论必然为真，无论前提和结论中的非逻辑词如何理解（Tarski, 1936）。

这种严格的逻辑推理与日常生活中的推理有所不同。在日常生活中，人们常常进行各种推理，这些推理不仅依赖于逻辑词的含义，还涉及对世界知识和背景信息的理解。例如，“A在B的左边，因此B在A的右边”在逻辑上并不总是有效，因为其正确性依赖于“左”和“右”的具体含义。然而，“A在B的左边，因此有东西在B的左边”则是逻辑有效的，因为其正确性仅依赖于逻辑词“有东西”的含义。

实验设计

在本研究中，研究团队测试了25个大型语言模型（LLMs），这些模型包括开源和闭源的不同版本。具体来说，这些模型涵盖了Anthropic、Google和OpenAI等公司的产品，以及一些本地运行的模型。测试的模型包括但不限于以下几种：

GPT-4系列：包括GPT-4 Turbo（2024-04-09）、GPT-4 Turbo（1106）、GPT-4（0613）、GPT-4（0314）和GPT-4o（2024-05-13）。
Claude系列：包括Claude 3 Opus、Claude 3 Sonnet和Claude 3 Haiku。
Llama系列：包括Llama 3 Instruct 70B、Llama 3 Instruct 8B、Llama 2 Chat 13B、Llama 2 Chat 70B和Llama 2 Chat 7B。
其他模型：如Gemini 1.5 Pro、Gemini 1.5 Flash、Mixtral 8x7B、Phi-2、Mistral 7B、Code Llama 13B、Code Llama 7B、Code Llama 34B、GPT-3.5 Turbo（0613）、GPT-3.5 Turbo（0125）、GPT-3.5 Turbo（1106）和Yi Chat 34B。

这些模型的选择旨在涵盖不同的架构和训练方法，以便全面评估LLMs在条件和模态推理任务中的表现。

实验结果

研究发现，尽管较大的模型在这些推理任务中表现更好，但即使是表现最好的模型在某些推理任务中仍然表现出不一致和反直觉的推理行为。例如，尽管GPT-4系列模型在许多推理模式上表现出色，但在处理涉及模态和条件句交互的复杂推理模式时，仍然会出现逻辑不一致的情况。这表明，尽管LLMs在许多方面已经接近人类水平，但在处理某些复杂推理任务时仍存在显著差距。

链式思维提示（Chain-of-Thought，CoT）是一种引导模型逐步推理的方法。在实验中，链式思维提示显著提高了模型在推理任务中的表现。具体来说，GPT-4系列模型、Gemini 1.5 Pro和Claude 3 Opus在使用链式思维提示时，几乎达到了完美的准确率（98.6%以上），而Llama 3 70B也能够达到90%以上的准确率。