复旦大学提出CFPO：LLM提示内容和格式优化新方法

复旦大学提出CFPO：LLM提示内容和格式优化新方法

引用

CSDN

1.

https://blog.csdn.net/weixin_46739757/article/details/145764003

大型语言模型（LLM）在各种任务中表现出了显著的能力，其现实世界的有效性通常由即时设计驱动。虽然最近的研究集中在优化提示内容上，但提示格式的作用——一个关键但经常被忽视的维度——却得到了有限的系统研究。

在本文中，我们介绍了内容格式集成提示优化（CFPO），这是一种创新的方法，通过迭代细化过程联合优化提示内容和格式。CFPO利用自然语言突变来探索内容变化，并采用动态格式探索策略来系统地评估各种格式选项。

我们对多个任务和开源LLM的广泛评估表明，与仅内容优化方法相比，CFPO表现出了可衡量的性能改进。这突出了集成内容格式优化的重要性，并提供了一种实用的、与模型无关的方法来提高LLM性能。代码将在以下网址提供：https://github.com/HenryLau7/CFPO。

研究问题

现有自动化提示优化方法未能充分考虑提示格式对大语言模型（LLM）的性能影响。

主要贡献

论文提出了一种名为内容格式集成提示优化（CFPO）的新方法，通过迭代过程有效地优化提示的内容和格式，并在多项任务上展示了显著的性能提升。

重点思路

• CFPO框架：采用内容格式集成的方式，同时优化提示的内容和格式。
• 格式池和评分系统：构建一个格式池，并通过评分系统动态评估每种格式的潜力，以选择最佳选项。
• LLM辅助格式生成：在每个优化轮次中，利用LLM生成新的格式，通过提供性能函数引导LLM朝有潜力的方向发展。
• 组件化优化：将提示分解为内容组件和格式组件，使得优化过程更加细致和有针对性。
• 迭代优化：采用迭代方法，逐步改进提示的内容和格式，通过反馈机制进行调整。

分析总结

• CFPO方法在复杂数学推理任务（如GSM8K和MATH500）中显著提高了模型性能，优化效果在GSM8K任务上更为明显。
• 反馈驱动的方法（如CFPO）在提示优化中表现优越，优于其他基线方法，表明迭代反馈在提示改进中的重要性。
• 预训练模型对提示格式的敏感性较高，经过CFPO优化后，性能有显著提升，而指令调优模型表现相对稳健，改进幅度较小。
• 迭代过程中的格式优化和内容优化是不可或缺的，单独的内容或格式优化方法效果较差，强调了两者的相互依赖性。

个人观点

论文的核心是将提示的格式拆分为多个模块，通过迭代优化格式和评分来指导修改。