基于Transformer的英语语法错误校正方法：集成错误类型信息

基于Transformer的英语语法错误校正方法：集成错误类型信息

在英语教学中，由于教育资源分配不均，教师往往无法逐一纠正学生的语法错误。为了解决这一问题，本文提出了一种基于T5-small模型的联合学习神经网络方法，该方法将学习者的错误类型和错误句子相结合，以提高语法纠错的准确性。通过在Lang-8数据集上进行实验，验证了该方法的有效性。

1. 材料与方法

1.1 模型总体结构介绍

英语语法自动纠错模型能够自动处理并纠正文本中的语法错误。当输入一个可能包含语法错误的句子后，系统在纠错过程中需要能够识别出诸如时态使用错误、词形变化错误、主谓不一致、冠词使用错误等语法问题。经过编辑后，系统应输出修正后的句子。如图1所示，输入为可能包含语法错误的句子，输出为修正后的句子。

图1 — 语法纠错模型的工作原理示意图

1.2 T5-small 方法描述

T5-small（Text-to-Text Transfer Transformer）是由 Google 提出的一种预训练语言模型，是 T5 模型的缩小版本。T5 引入了任务标识符（task identifiers），即在输入文本的开头添加任务指令（例如：“Translate English to German:”、“Summarize:”、“QA:”、“Grammar:”等）。这些标识符帮助模型理解任务目标。此外，本文通过对 T5-small 进行额外调整，在输入文本时将错误的英语句子与语法错误类型结合，形成“Grammar: {error_type_idx}{error_sentence}”的结构，以便将任务信息传递给模型进行训练。

下图展示了模型的架构示意图。

图 2 — T5-Small 的工作算法

为了提升自然语言处理模型在纠错任务中的能力，并增强其对不同类型错误的理解，本文提出了一种新方法，称为“带有错误类型信息的句子表示（SRETI）”。SRETI 通过对不同类型的错误模式（如拼写错误、语法错误和语义不一致）进行编码，并将这些错误信息映射到高维空间中的向量，使模型能够更好地理解错误的本质。在获取 SRETI 之前，首先对句子中的每种错误类型进行分析并索引，生成 Error_type_idx。Error_type_idx 对应于常见的语法错误类型。

1.3 实验设计与实施

1.3.1 研究对象

本实验的主要目标是比较基于 T5 的两种语法纠错模型在 Lang-8 数据集和专门测试集上的性能。具体而言，我们评估了两种模型在纠正不同类型语法错误（包括但不限于冠词使用错误、双重否定、拼写错误和代词错误）方面的表现。评估指标包括准确率（Precision）、召回率（Recall）和 F0.5 分数。这些指标能够帮助分析模型在纠正不同类型语法错误方面的能力，并评估其整体性能。

1.3.2 模型描述

模型 1：基于 T5，输入为错误句子和错误类型索引，输出为修正后的句子。该模型在 Lang-8 数据集上训练，且数据集经过预处理（称为 Lang-8E）。

模型 2：同样基于 T5，但输入仅为错误句子，输出为修正后的句子。该模型也在 Lang-8 数据集上训练，但未使用错误类型索引。

2. 实验结果

两种模型在每个测试数据集上的准确率（Precision）、召回率（Recall）和 F0.5 分数如下：

数据显示，模型 1 在大多数错误类型上优于模型 2，表现出更高的预测准确率、召回率和整体性能。具体而言，模型 1 在纠正双重否定错误方面表现尤为突出。在主谓一致错误、拼写错误、时态错误和代词错误方面，模型 1 的准确率比模型 2 高出约 5 个百分点。对动名词和不定式错误以及虚拟语气错误，模型 1 的准确率比模型 2 高出约 2-3 个百分点。在冠词使用错误方面，两种模型的结果非常接近，且两者的准确率均超过 90%。这可能是因为冠词错误的纠正相对简单——只需将“a”改为“an”或反之，或者替换为“the”。

3.结论

本文介绍了英语语法纠错模型的问题定义、T5-Small 模型、实验环境设计以及结果分析。通过多项对比实验，展示了本研究中使用的新方法——带有错误类型信息的句子表示（SRETI）在训练中的有效性，该方法能够提升模型的纠错能力。此外，本文还创建了针对不同类型错误的测试数据集，帮助分析模型在哪些错误类型上表现最佳，以及在哪些领域仍有改进空间，从而促进模型的进一步完善。

参考文献

[1]Feng, S. Y., Gangal, V., Wei, J., Chandar, S., Vosoughi, S., Mitamura, T., & Hovy, E. (2021). A survey of data augmentation approaches for NLP. arXiv preprint arXiv:2105.03075.

[2]Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.

[3]Sutskever, I. (2014). Sequence to Sequence Learning with Neural Networks. arXiv preprint arXiv:1409.3215.

本文原文来自《中国科技信息》2025年1期