大模型的幻觉 (Hallucination) 因何而来？如何解决幻觉问题？
大模型的幻觉 (Hallucination) 因何而来？如何解决幻觉问题？
大语言模型（LLM）在生成高度流畅的回复的同时，也倾向于产生幻觉或做出非事实陈述，这可能会损害用户的信任。本文将为您详细解析LLM幻觉的成因，并介绍多种缓解幻觉的方法及其实验效果。
图1：Stable Diffusion生成的图像
LLM幻觉概述
LLM幻觉是指模型生成的内容与提供的源内容不符或没有意义的现象。这种现象可能由以下几种类型引起：
- 逻辑谬误：模型在进行推理时出现错误，提供错误的答案。
- 捏造事实：模型自信地断言不存在的事实，而不是回答“我不知道”。
- 数据驱动的偏见：由于某些数据的普遍存在，模型的输出可能会偏向某些方向，导致错误的结果。
LLM幻觉的成因
LLM幻觉的产生主要源于数据压缩和不一致性。在训练过程中，模型需要对大量数据进行压缩存储，这种压缩不可避免地会导致信息丢失。当模型在回答问题时，如果遇到压缩或缺失的信息，就会尝试“填补空白”，从而产生幻觉。
此外，训练数据集的质量也会影响模型的表现。如果数据集过时、不可靠或存在矛盾，模型就更容易产生幻觉。
缓解LLM幻觉的方法
调整temperature参数
temperature参数控制生成语言模型中生成文本的随机性和创造性。通过调整这个参数，可以限制模型的创造力，从而减少幻觉的产生。实验结果显示，将temperature参数设置为0可以显著提高回答的准确性。
思维链提示（Chain of Thought Prompting）
思维链提示要求模型逐步思考并提供推理过程。这种方法可以提高模型的推理能力，减少逻辑谬误。实验结果显示，使用思维链提示可以将准确率提高到58%。
自我一致性（Self-Consistency）
自我一致性方法要求模型给出多个答案，并通过投票选择最佳答案。这种方法可以减少模型的不确定性，提高回答的可靠性。实验结果显示，使用自我一致性方法可以将准确率提高到57%。
多代理方法
多代理方法让多个语言模型实例提出各自的回答和推理过程，并进行多轮辩论，最终得出一个共同的最终答案。这种方法虽然可以提高准确率，但会增加API的使用成本和延迟，因此在实际应用中需要谨慎使用。
使用外部知识库
通过在预测过程中提供来自知识库的相关数据，可以将纯粹的生成问题转换为基于数据的搜索或摘要问题。实验结果显示，使用外部知识库可以将准确率提高到65%。
检索增强生成（RAG）
RAG技术将检索系统与大语言模型结合使用，通过检索相关文档片段来生成答案。这种方法可以进一步提高模型的准确性和可靠性。
综合解决方案
结合提示工程和外部知识库是缓解LLM幻觉最有效的方法之一。通过使用CRITIC框架，可以将准确率提高到67%。这种方法首先使用外部知识库提供相关信息，然后要求模型仔细检查并改进其回答。
结论
虽然减少LLMs中的幻觉并不是什么难事，但每种方法都有其优缺点。建议优先考虑prompt的合理设计，这是缓解幻觉最具性价比和有效率的方法。同时，结合外部知识库和检索增强生成技术，可以进一步提高模型的准确性和可靠性。