深层语义特征增强的ReLM中文拼写纠错模型

来源：计算机应用杂志2025年第8期北京时间：

作者：张伟, 牛家祥, 马继超, 沈琼霞

单位：1.湖北大学 人工智能学院，武汉 430062；2.湖北大学 计算机学院，武汉 430062；3.烽火通信科技股份有限公司，武汉 430073

摘要：ReLM （Rephrasing Language Model）是当前性能领先的中文拼写纠错（CSC）模型。针对它在复杂语义场景中存在特征表达不足的问题，提出深层语义特征增强的ReLM——FeReLM （Feature-enhanced Rephrasing Language Model）。该模型利用深度可分离卷积（DSC）技术融合特征提取模型BGE（BAAI General Embeddings）生成的深层语义特征与ReLM生成的整体特征，从而有效提升模型对复杂上下文的解析力和拼写错误的识别纠正精度。首先，在Wang271K数据集上训练FeReLM，使模型持续学习句子中的深层语义和复杂表达；其次，迁移训练好的权重，从而将模型学习到的知识应用于新的数据集并进行微调。实验结果表明，在ECSpell和MCSC数据集上与ReLM、MCRSpell （Metric learning of Correct Representation for Chinese Spelling Correction）和RSpell（Retrieval-augmented Framework for Domain Adaptive Chinese Spelling Check）等模型相比，FeReLM的精确率、召回率、F1分数等关键指标的提升幅度可达0.6~28.7个百分点。此外，通过消融实验验证了所提方法的有效性。

关键词：自然语言处理,特征增强,中文拼写纠错,语义融合,文本纠错,预训练语言模型

基金资助：国家自然科学基金资助项目(62273135)