大模型「幻觉」，看这一篇就够了｜哈工大华为出品
大模型「幻觉」，看这一篇就够了｜哈工大华为出品
大模型“幻觉”终于有了系统性的综述！这篇来自哈工大和华为的最新研究，通过49页的详细阐述，全面解析了幻觉的定义、分类、成因及应对策略。研究采用新的范畴框架，将模型幻觉分为事实性幻觉和忠实性幻觉两大类，并从数据源、训练过程和推理三个维度深入分析了幻觉产生的根源。此外，还提供了全面的幻觉检测方法和减轻策略，为理解和解决大模型幻觉问题提供了系统的指导。
大模型幻觉的定义与分类
大模型出现幻觉，简而言之就是“胡说八道”。用研究中的定义来说，是指模型生成的内容与现实世界事实或用户输入不一致的现象。
研究人员将大模型的幻觉分为两类：事实性幻觉（Factuality Hallucination）和忠实性幻觉（Faithfulness Hallucination）。
左：事实性幻觉；右：忠实性幻觉
事实性幻觉：模型生成的内容与可验证的现实世界事实不一致。例如，当被问及“第一个在月球上行走的人是谁？”时，模型错误地回答“Charles Lindbergh在1951年月球先驱任务中第一个登上月球”，而实际上第一个登上月球的人是Neil Armstrong。
忠实性幻觉：模型生成的内容与用户的指令或上下文不一致。例如，要求模型总结今年10月的新闻，结果模型却在说2006年10月的事。
大模型幻觉的成因分析
致使大模型产生幻觉的原因主要有三个方面：数据源、训练过程和推理。
数据源问题
数据源问题是导致幻觉的重要原因之一。具体包括：
数据缺陷：包括错误信息和偏见（重复偏见、社会偏见），以及领域知识缺陷和过时的事实知识。
利用率问题：大模型可能会过度依赖训练数据中的一些模式，如位置接近性、共现统计数据和相关文档计数，从而导致幻觉。例如，如果训练数据中频繁共现“加拿大”和“多伦多”，那么大模型可能会错误地将多伦多识别为加拿大的首都。
训练过程问题
训练过程中的问题主要发生在预训练阶段和对齐阶段：
预训练阶段：架构缺陷（单向建模阻碍复杂上下文关系的捕获）、曝露偏差（模型推理时依赖于自己生成的token进行后续预测，导致级联错误）。
对齐阶段：能力错位（大模型内在能力与标注数据中描述的功能之间可能存在错位）、信念错位（基于RLHF等的微调使模型倾向于迎合人类偏好，牺牲信息真实性）。
推理问题
推理过程中的问题主要包括：
固有的抽样随机性：在生成内容时根据概率随机生成。
不完美的解码表示：上下文关注不足（过度关注相邻文本而忽视了源上下文）和softmax瓶颈（输出概率分布的表达能力受限）。
检测大模型幻觉的方法
研究人员提供了一份全面的模型幻觉检测基准：
事实性幻觉检测
检索外部事实：将模型生成的内容与可靠的知识来源进行比较。
不确定性估计：
基于内部状态的方法：依赖于访问大模型的内部状态，例如考虑关键概念的最小标记概率。
基于行为的方法：依赖于观察大模型的行为，例如通过采样多个响应并评估事实陈述的一致性。
忠实性幻觉检测
研究人员总结了五种不同的检测方法：
基于事实的度量：测量生成内容和源内容之间事实的重叠程度。
分类器度量：使用训练过的分类器区分忠实内容和幻觉内容。
问答度量：使用问答系统验证信息一致性。
不确定度估计：测量模型对其生成输出的置信度。
提示度量：让大模型作为评估者，通过特定的提示策略评估忠实性。
减轻幻觉的策略
研究人员根据致幻原因，详细总结了现有减轻幻觉现象的研究：
数据相关的幻觉
减少错误信息和偏见：收集高质量的事实数据并进行数据清理。
知识边界问题：采用知识编辑或检索增强生成（RAG）方法。检索增强具体分为一次性检索、迭代检索和事后检索。
训练相关的幻觉
完善模型架构：通过改进预训练策略、确保更丰富的上下文理解等方法。
改进对齐策略：通过改进人类偏好判断、激活引导等方法。
推理相关的幻觉
事实增强解码：通过上下文感知解码（CAD）等方法增强对上下文信息的关注。
译后编辑解码：通过知识蒸馏框架等方法增强思维链提示中的自洽性。