通过Step Back提示增强LLM的推理能力

通过Step Back提示增强LLM的推理能力

引用

CSDN

1.

https://blog.csdn.net/lichunericli/article/details/136591253

在大型语言模型（LLM）不断发展的同时，如何提高其推理能力一直是研究者关注的重点。"Step Back提示"作为一种创新方法，通过引导LLM从具体问题后退一步，提出更抽象的问题，从而帮助模型更有效地进行推理和问题解决。本文将详细介绍Step Back提示的工作原理及其在LangChain中的实现方式。

概述

在大型语言模型不断发展的领域中，一个持续的挑战是它们处理复杂任务的能力，这些任务需要深入理解微妙的细节和上下文。"后退提示"（Step-Back Prompting）现象已经作为一种创新方法出现，以解决这一问题，它识别了许多包含无数复杂性的任务。这些任务可能使得大型语言模型难以有效地检索和应用相关信息。

Step Back提示

后退提示是一种用于增强语言模型的推理和问题解决能力的技巧，特别是LLMs。它涉及鼓励LLM从一个给定的问题或问题后退一步，提出一个更抽象、更高级的问题，涵盖原始查询的本质。

后退提示背后的概念是，许多复杂的问题或任务包含许多复杂的细节和约束，这使得LLMs难以直接检索和应用相关信息。

通过引入一个后退问题，这个问题通常更容易回答，并且围绕一个更广泛的概念或原则，LLMs 可以更有效地构建它们的推理。

后退提示的典型过程包括两个主要步骤：

• 抽象化：这时大型语言模型（LLM）不会立即尝试回答原始问题。相反，它会提出一个关于更大想法或规则的一般性问题。这有助于它思考和寻找事实。

• 推理：在得到一般性问题的答案后，LLM使用这些信息来思考和回答原始问题。这称为“基于抽象的推理”。它使用来自更大想法的信息来对原始的、更难的问题给出好的答案。

LangChain 实现

提供一些少样本示例，这将展示后退提示是如何工作的。然后我们将转换这些示例信息。

# Few Shot Examples
examples = [
    {
        "input": "What is the birthplace of Albert Einstein?",
        "output": "what is Albert Einstein's personal history?",
    },
    {
        "input": "Can a Tesla car drive itself?",
        "output": "what are the capabilities of tesla cars in terms of autonomous driving?",
    }
]

这些示例展示了如何将具体问题转化为更抽象的问题，从而帮助LLM更好地理解和回答问题。