大模型之提示词工程原理：提示学习(prompt learning)
大模型之提示词工程原理：提示学习(prompt learning)
在大模型时代，提示词工程已成为影响模型输出质量的关键技术。本文将为您详细解析提示词工程的原理、发展历程及其在实际应用中的重要作用。
一、提示词工程
在学习大模型技术时，我们经常被建议要写好提示词，因为好的提示词能直接影响到大模型的输出质量。但为什么不同的提示词会得到完全不同的结果？为什么会有提示词的出现？
技术的发展是有其先后顺序的：先有提示词，再有提示词工程。提示词工程的诞生，就是为了帮助人们更好地写出有效的提示词。简单来说，就是将写提示词的经验总结成一种方法，这种方法就叫做提示词工程。
了解了提示词和提示词工程之间的关系后，让我们来回答上面的问题。
二、为什么会有提示词？
提示词的产生是有其历史背景的，虽然这个历史很短。我们知道，人工智能的发展经历了多个阶段。直到OpenAI基于Transformer架构开发出GPT系列，特别是GPT-3版本的发布，以及谷歌发布的BERT模型，才真正推动了大模型的发展。
在GPT和BERT模型开发前期，由于参数量较小，模型的训练成本相对较低，那时主要采用预训练和微调的方法。这种研究深度学习模型的方法被称为“预训练-微调范式”。
但随着GPT-3的出现，模型参数量从最初的上亿增长到上千亿，训练成本也急剧上升。例如，GPT-3模型的训练成本据说达到了上千万美元。因此，从成本的角度考虑，训练和微调模型不再是一个理想的选择。
人们开始思考如何更有效地利用这些庞大的知识库。研究发现，在不调整模型参数的情况下，通过少量样本或零样本的方式，可以让大模型输出更好的结果。进一步的研究表明，对同一个问题使用不同的提示词会得到不同的结果。这种现象被称为提示学习。
提示学习是一种基于实验发现的现象，它能够在不改变模型参数的前提下，让模型拥有更高的输出质量。基于这一理论，提示词应运而生，而如何写出更好的提示词则发展成了提示词工程。
三、不同提示词产生不同效果的原因
在预训练-微调阶段，大模型需要通过训练数据不断调整参数以适应不同任务。而提示学习阶段，则是让任务去适应大模型。这就像男女之间的感情，在之前大都是男追女，需要花费大量金钱；而现在则是男人通过提升自我来吸引女性。
下面我们用一个情感分类任务的例子来说明为什么提示词不同，效果也不同：
问题 Q = “这个电影不错”
加上提示词模板P_Q = “这个电影不错，我很喜欢，因此这是一个X电影”。
这里的X就是大模型需要预测的结果，如果再限定范围为A：无趣的，B：好玩的，这时大模型就可以轻易判断出这是一个好玩的电影。而不加提示词模板，模型给出的答案可能千奇百怪，比如“这是一个难看的电影”、“这是一个糟糕透顶的电影”等。
这就是为什么提示词工程中会要求写提示词时要给大模型设定角色、背景、明确任务要求和限定任务范围。
四、总结
不论是预训练-微调，还是提示词，都是为了让模型表现得更好，为了发挥大模型庞大知识能力的一种方式。而提示词是一种成本相对较低的方式。对于使用第三方模型的用户来说，更长的提示词意味着更多的Token，因此如何写出简短又高质量的提示词是一个需要考虑的问题。