DeepSeek-R1模型幻觉问题严重，推理能力与准确性面临挑战

DeepSeek-R1模型幻觉问题严重，推理能力与准确性面临挑战

引用

AIbase

1.

https://www.aibase.com/zh/news/15102

近日，Vectara的机器学习团队对DeepSeek系列的两款模型进行了深入的幻觉测试，结果显示，DeepSeek-R1的幻觉率高达14.3%，显著高于其前身DeepSeek-V3的3.9%。这一发现引发了对推理增强大语言模型（LLM）产生幻觉率的广泛讨论。

图源备注：图片由AI生成，图片授权服务商Midjourney

研究团队指出，推理增强模型可能会比普通的大语言模型更容易产生幻觉。这一现象在DeepSeek系列与其他推理增强模型的比较中表现得尤为明显。以GPT系列为例，推理增强的GPT-o1与普通版GPT-4o之间的幻觉率差异，也验证了这一推测。

为了评估这两款模型的表现，研究人员使用了Vectara的HHEM模型和Google的FACTS方法进行判断。HHEM作为专门的幻觉检测工具，在捕捉DeepSeek-R1的幻觉率增加时表现出较高的灵敏度，而FACTS模型在这方面的表现则相对逊色。这提示我们，可能HHEM比LLM作为标准更加有效。

值得注意的是，DeepSeek-R1尽管在推理能力上表现出色，但却伴随着更高的幻觉率。这可能与推理增强模型所需处理的复杂逻辑有关。随着模型推理的复杂性增加，生成内容的准确性反而可能受到影响。研究团队还强调，若DeepSeek在训练阶段能够更关注减少幻觉问题，或许能实现推理能力与准确性之间的良好平衡。

虽然推理增强模型通常表现出更高的幻觉率，但这并不意味着它们在其他方面不具优势。对于DeepSeek系列来说，仍需在后续的研究和优化中，解决幻觉问题以提升整体模型性能。

本文原文来自aibase.com