研究揭示：ChatGPT答案错误率高达52%，但仍受用户青睐

创作时间:

2025-01-21 18:54:55

作者:

@小白创作中心

研究揭示：ChatGPT答案错误率高达52%，但仍受用户青睐

最近，ChatGPT频频登上热搜，除了展示其强大的智能外，也出现了不少令人捧腹的幽默瞬间。让我们一起来看看这些搞笑新闻背后的技术原理，了解为什么ChatGPT会犯一些“低级错误”，以及这些失误是如何反映其算法设计和数据处理的局限性的。

ChatGPT的幽默瞬间

一位网友向ChatGPT提出了一个经典问题：“只切一刀，如何把四个橘子分给四个小朋友？”ChatGPT给出了一个令人哭笑不得的答案：将第一个橘子切成两半，然后给第一个小朋友一半。接着将第二个橘子切成两半，把一半放在第一个橘子的另一半上，再给第二个小朋友这一组。然后将第三个橘子切成两半，把一半放在第一个橘子的一半上，再给第三个小朋友这一组。最后将第四个橘子切成两半，把一半放在第一个橘子的一半上，再给第四个小朋友这一组。这样每个小朋友都有一个橘子。

另一位网友则问了一个更“烧脑”的问题：“高考满分才750，怎么才能考985？”ChatGPT一本正经地给出了建议：全面提高学术水平、参加社会实践和科研项目、拓展课外活动、参加志愿服务、准备英语考试、综合评价等。显然，ChatGPT误解了问题的真正含义，将“985”当成了一个普通数字，而不是中国顶尖大学的代名词。

ChatGPT的工作原理

要理解ChatGPT为什么会犯这样的错误，我们先来看看它是如何工作的。ChatGPT是一种基于Transformer架构的大型语言模型，通过海量文本数据的训练，学会了人类语言的复杂规则和模式。它的工作流程大致如下：

数据收集与预处理：ChatGPT的训练需要大量的对话数据。这些数据可以是来自于网络上的公开对话记录，也可以是特定领域的对话语料库。数据预处理包括清洗数据、分词、去除噪声等，以便模型更好地理解和学习。
模型架构：ChatGPT使用了一种称为Transformer的神经网络架构。Transformer是一种极其强大的模型，用于处理序列到序列的任务，如自然语言处理。它由编码器（Encoder）和解码器（Decoder）组成。ChatGPT使用了解码器结构，因为它的任务是生成自然语言文本。
自监督学习：ChatGPT是通过自监督学习进行训练的。这意味着它并不需要人工标注的数据，而是从原始的对话数据中自动学习。具体来说，ChatGPT使用了一种被称为Masked Language Modeling（MLM）的技术。在MLM中，模型被要求预测在输入序列中被遮盖的部分。通过这种方式，模型被迫理解文本的上下文，并学会生成合理的回复。
微调与调参：在大规模的预训练之后，ChatGPT可能会经过一些微调和调参来适应特定的应用场景或任务。这包括对模型的超参数进行调整，如学习率、批量大小等，以及在特定数据集上进行一些额外的训练。
推理与生成：一旦训练完成，ChatGPT就可以用于对话生成了。给定一个输入文本，模型会根据其内部学到的知识和语言模式生成一个合理的回复。这个过程通常涉及到束搜索（beam search）等技术，用于在生成过程中选择最合适的文本。

错误背后的逻辑

尽管ChatGPT在生成文本方面表现出色，但其生成的内容并不总是准确或符合逻辑。普渡大学的一项研究揭示了ChatGPT在回答编程问题时的局限性。研究发现，52%的ChatGPT答案包含错误信息，77%的答案过于冗长，78%的答案与人类的答案存在不同程度的不一致。深入的人工分析结果还表明，ChatGPT答案中存在大量概念和逻辑错误。