科学家提出小型AI事实核查模型，可根据文本验证大模型答案准确性

科学家提出小型AI事实核查模型，可根据文本验证大模型答案准确性

大语言模型在生成回答时，常常会出现事实错误。近期，来自美国德克萨斯大学奥斯汀分校和AI研究企业Salesforce AI Research的团队，构建了一款名为MiniCheck的小型事实核查模型，可以根据文本快速可靠地验证模型生成的每个事实，并识别跨句子的信息合成。

为什么需要MiniCheck？

大语言模型虽然在诸多领域展现出强大的生成能力，但它们生成的内容往往不能保证完全准确且可靠。这主要是因为：

1. 大语言模型自身拥有的参数知识不足以帮助它们生成正确的事实，导致“幻觉”问题普遍存在。
2. 即便基于已有的文本生成回答，大语言模型也可能会错误地混合文本中的信息，这通常会在基于检索的问答、对输入文本进行摘要等任务中出现。

因此，开发一种既能根据文本检查大语言模型输出的回答是否存在事实错误，又具有可信、高效、低成本、保护隐私等优势的方法，就显得至关重要。

MiniCheck：性能与成本的完美平衡

MiniCheck模型由美国德克萨斯大学奥斯汀分校和Salesforce AI Research团队共同开发，能够在保持高性能的同时大幅降低成本。具体来说：

• 性能媲美GPT-4：MiniCheck能够达到与GPT-4相当的事实核查水平。
• 成本大幅降低：虽然性能与GPT-4相当，但MiniCheck的运行成本仅为GPT-4的1/400。

图：唐立言（来源：唐立言）

研究背景与挑战

德克萨斯大学奥斯汀分校的博士研究生唐立言是该研究的第一作者。他此前已在自然语言处理领域的文本评估方向发表了多篇论文，重点关注文本摘要中的事实一致性评估。通过这些研究，他发现：

1. 大语言模型生成的摘要中仍存在大量无法由原始文本支持的内容。
2. 不同领域的大语言模型生成的错误类型各不相同。
3. 规模较大的大语言模型往往会产生更加细微且难以检测的错误。

研究方法与创新

研究团队面临的挑战是如何设计一个既能快速预测、成本低廉，又能达到顶级大语言模型性能的事实核查模型。为此，他们采用了以下策略：

1. 生成结构化合成数据：通过生成结构化的合成数据，教授事实核查模型如何验证一个句子中的所有事实，并培养其跨越多个句子进行推理的能力。
2. 零样本部署能力：克服现有事实核查模型需要在验证集上进行超参数调整才能表现良好的局限性，实现真正的零样本部署。
3. 全面事实检测：解决大语言模型生成的句子中包含多个事实时容易忽略部分事实的问题。

应用前景

目前，研究团队正在开发一个网页程序，以更好地将MiniCheck模型集成到事实核查流程中。用户可以通过该程序输入需要验证的句子，程序将自动搜索相关文本并使用MiniCheck模型进行评估，给出句子是否能被检索到的相关文本支持的分数。

这项研究为事实核查提供了一个经济高效的解决方案，有望在不久的将来发挥重要作用。同时，研究团队也计划在此基础上开展更多相关研究，探索新的研究方向。