河南科技大学学报·自然科学版杂志投稿格式参考范文：术语信息强化的电气工程领域神经机器翻译

　　0 引言

　　机器翻译是借助计算机将源语言转化为目标语言的技术，相较于人工翻译，它不受时空限制且成本低廉。2013 年以来，随着深度学习技术的发展，基于深度学习的神经机器翻译在翻译质量和效率上超越了传统机器翻译方法，Transformer 成为神经机器翻译领域的主流模型。然而，Transformer 大多针对通用领域进行改进和训练，在电气工程等专业领域存在低资源语料和术语信息利用不充分的问题，翻译质量有待提高。

　　电气工程应用广泛，其领域内的机器翻译发展能够降低交流门槛，加强全球电气行业的技术交流。专业领域的机器翻译需要结合领域知识，才能满足专业人士阅读文献、查看设备说明书等需求。

　　本文使用电气工程学科的专业语料训练模型，针对 Transformer 对术语信息利用不足的问题，提出基于复制卷积和倍化的强化方法，并对模型结构进行改进，以提升模型的译文质量，同时控制训练时间成本，实现 Transformer 性能的综合提升。具体工作如下：

　　利用 Transformer 自带的编码器提取术语信息，控制模型参数量，基本不增加训练时间。

　　采用复制卷积和倍化方法将术语信息融入 Transformer 模型，提高译文质量。

　　仅对编码器进行结构改进，避免引入额外复杂性，降低低资源下的过拟合风险。

　　1 研究背景

　　Transformer 由 Google 团队于 2017 年提出，它不依赖循环神经网络或卷积神经网络，仅依靠注意力机制和前馈神经网络的堆叠，这种结构使得模型的改进和扩展更为容易。在 Transformer 模型中，源语言和目标语言经嵌入层处理后，分别进入编码器和解码器。编码器子层中，多头自注意力模块至关重要;解码器中除了多头自注意力模块，还有用于整合源语言和目标语言信息的上下文注意力模块，二者结构相似，但查询、键、值的来源不同。

　　术语词汇属于先验知识，在模型训练中具有指导作用。应用先验知识通常包括获取和融入两个步骤。获取先验知识的方式多样，如构建相似词汇词典、利用预训练模型获取特征表示、使用专门工具包等;融入先验知识的方法有术语对翻译、利用门控机制融合、借助注意力机制计算注意力分数等。

　　电气工程领域的机器翻译还面临低资源难题，常见解决思路是添加额外约束条件或缩减模型参数量，例如引入 “注意力连接”、提出新的词嵌入方式、利用预训练模型分割参数、用卷积替换线性映射等。目前，神经机器翻译领域在术语信息等先验知识的提取与利用上，大多需要增加大量可学习参数，而低资源语料训练时又需削减参数以规避过拟合风险，如何平衡这一矛盾亟待解决。本文提出基于复制卷积和倍化的优化方法，仅引入一个 12 通道的 1×1 卷积层，实现术语信息的提取和融入，在基本不增加训练时间的情况下提高了译文质量。

　　2 术语信息强化的神经机器翻译模型

　　本文模型通过词典删减模块和编码器子层提取术语信息，在复制卷积模块进行信息整合，最后由倍化模块将信息融入编码器顶层的原始输出矩阵，从而强化模型性能。

　　2.1 词典删减模块

　　利用双向长短期记忆网络加条件随机场(BILSTM - CRF)从训练集中筛选术语词汇，并汇总成术语词典。在训练集不变的情况下，只需筛选一次，即可反复使用这些术语词汇，BILSTM - CRF 实际上不会占用额外训练时间。

　　每批次的嵌入源语言会依据词典检索句子中的术语词并定位，术语词位置的数据保留，非术语词位置的数据置 0，这一处理方式记为 DICT。处理后的语料设为 x0。在训练过程中，源语言 X 先送入编码器提取特征，顶层输出的隐藏状态矩阵记为 HENG;然后将 xD 送入编码器的各个子层，得到不同特征的术语隐藏矩阵 HD，HD 再被送入复制卷积模块。

　　2.2 复制卷积模块

　　由于 HD 包含不同子层输出的特征信息，本文将 HD 中的 6 个矩阵两两分组为 3 组，分别进行复制，第 1 组不复制，第 2 组复制为两份，第 3 组复制为 3 份，最终将 HD 从 6 个矩阵扩展为 12 个矩阵。之后，通过 12 通道的 1×1 卷积将复制后的 HD 整合为术语信息矩阵 TD。该模块仅引入一个简单的卷积层进行术语信息的整合与学习，与传统的全连接层和注意力方法相比，引入的可学习参数大幅减少。实验证明，该模块训练速度更快、效果更好，且矩阵复制方法可灵活调整不同子层特征的数据量占比，使模型更关注有价值的特征层次。

　　2.3 倍化模块

　　为将 TD 中的术语信息融入编码器的顶层输出 HENC，本文提出倍化模块。该模块仅包含简单运算和阈值筛选，不依赖任何可学习参数，处理速度快，不会增加额外的梯度计算负担，非常适合低资源语料的模型训练。

　　具体操作如下：首先，对 TD 的特征维度应用归一化指数函数，得到贡献率矩阵 TP，并将 TP 中所有非术语词位置的数据置 0;其次，指定一个超参数 θ 作为贡献率的阈值，当 TP 中的元素大于 θ 时，认为该位置的元素与术语信息相关;最后，记录 TP 中大于 θ 的元素位置，并将该位置下 HENC 的元素翻倍，从而得到术语信息强化的隐藏状态矩阵 HENCT。HENCT 会代替原本的 HENC 矩阵，作为整个编码器的输出送入解码器。

　　3 实验

　　本文所有实验均基于哈弗大学开源神经机器翻译平台(Open - NMT)下的 Transformer 模型，采用统一的电气工程领域语料进行训练，通过设计多组实验验证所提方法的有效性。

　　3.1 实验数据

　　中英平行语料来源于电气工程方面的专业著作、近 20 年的电气领域相关文献和专利文本、电气设备说明书等。实际使用的训练集约有 160000 条平行句子对，验证集和测试集各有 2000 条平行句子对，实验所用术语词典包含 7520 条英文术语词汇，这些术语词汇均取自训练集。

　　3.2 实验设置

　　使用单张英伟达显卡(NVIDIARTX3090)进行训练。训练集、验证集、测试集中句子的长度限制在 100 以内，英文词表大小为 44000，中文词表大小为 43768，中英文未登录词用表示，英文采用自然语言工具包(NLTK)分词，中文采用结巴(jieba)分词。词向量嵌入特征维度为 512，批次大小设为 64，多头注意力头数设为 8，编码器和解码器层数设为 6，采用适应性矩估计(ADAM)优化算法，随机丢弃概率设为 0.1，超参数 θ 设为 0.0019。所有实验均训练 25000 步，每 1000 步进行一次验证，翻译过程采用束搜索方法，束尺寸设为 5，长度惩罚采用内置的覆盖率重新排名得分，其余参数均采用 Open - NMT 默认参数。

　　3.3 评估指标

　　实验结果采用 BLEU 对译文质量进行评估。BLEU 是目前神经机器翻译常用的评测指标，它通过检查实际译文与参考译文中多元词组的相似性来判断翻译效果。此外，本文还统计了模型间的 BLEU 差值、模型在多次实验中的平均训练用时、模型训练用时的涨幅。

　　3.4 组合实验

　　本文提出矩阵复制、卷积整合、按词典删减、贡献率筛选等方法来提升 Transformer 模型在电气工程领域的译文质量。设置了多种模型进行实验，如基线模型 BaseLine(Open - NMT 系统提供的纯净 Transformer 模型)、取消矩阵复制功能的 Conv6、将卷积整合退化为求和整合的 Sum、退化为平均整合的 Mean、退化为线性整合的 Linear、取消利用词典删减功能的 Non - DICT、取消复制卷积模块的 Iteration 以及包含完整复制卷积模块和倍化模块的 Conv12 等。

　　实验结果表明，本文所提改进方法在退化或缺失条件下均可提高译文的 BLEU 值。得分靠前的方法均采用卷积来整合各层的 HD，这表明多通道卷积在引入少量参数的情况下能获得更好的翻译结果。与 Linear 相比，卷积可避免在低资源条件下引入大量参数导致的过拟合问题;与 Sum 和 Mean 相比，卷积增加了模型的学习能力，能挖掘 HD 中更深层的术语信息。尽管模型改进后训练时间均有所上涨，但涨幅较低。

　　将 Conv12 与 BaseLine 进一步对比发现，在 25000 步的训练过程中，二者译文质量的提升速率基本一致，但当折线趋于平稳后(12000 步之后)，Conv12 的 BLEU 值始终优于 BaseLine，说明本文提出的优化方法对模型性能的提升是持续且稳定的。

　　3.5 对比实验

　　为进一步验证所提方法的有效性，在电气工程语料上与其他模型进行对比实验。对比模型包括将事实关系信息作为先验知识引入的 Li、应用基于密文的数据增强技术的 San、将先验翻译按比例混入的 Chen、在 Transformer 外搭建额外结构的 Zhang、运行时注入自定义术语的 Dinu、模型更宽的 Transformer - Big、改变基本架构的 Re - Transformer 等。

　　分析实验结果可知，部分对比模型引入额外参数提高表达能力的同时增加了过拟合风险，且训练用时上涨;部分模型子层间特征交互过程冗长，不利于解码器利用低层次信息;部分模型对术语信息提取和利用不足。本文提出的 Conv12 模型在电气工程领域的译文质量更优，同时一些通用领域经典改进方法在电气领域性能提升有限。

　　3.6 消融实验

　　为验证超参数 θ 的取值以及矩阵复制的组合方式对模型性能的影响，进行了消融实验。超参数 θ 以 1/512≈0.002 为基准进行实验，结果显示 TP 中大于 θ = 0.0019 的位置对术语信息强化最有利，θ 变大或变小均会导致译文质量下降。

　　矩阵复制组合方式实验结果显示，最佳复制策略为 (1,6) x3|(3,4) x2|(2,5) x1，数据量占比分别为 50%、33% 和 17%。

　　对术语词典中的词汇进行消融实验，结果表明增添或删减词汇均会损害模型的 BLEU 值。在术语词典中增添词汇会使模型将许多非术语词纳入术语词训练范畴，不利于准确翻译真正的术语词汇;删减词汇会导致模型忽略部分术语词的训练，无法强化术语信息。这证明本文术语词典中的词汇恰当合适。

　　3.7 翻译实例

　　选取部分测试集的参考翻译，与 BaseLine 和 Conv12 模型的翻译结果进行对比。结果显示，相比于基线模型，本文的改进模型译出了基线译文中的未登录词，如实翻译了漏译词，分词也更加合理，在一定程度上改善了译文质量。

　　4 结束语

　　本文为 Transformer 引入术语词汇作为先验知识，利用模型的原始结构提取术语信息，通过复制卷积和倍化模块强化术语的位置信息，筛选更有价值的术语词汇的特征维度。实验结果显示，改进后的模型与基线模型相比，BLEU 最高提升了 1.11，用时涨幅仅为 6.86%。与其它翻译模型相比，本文的改进模型兼顾了译文质量和训练时间，实现了低资源条件下，电气工程领域翻译模型性能的综合提升，为平衡术语信息强化和低资源语料训练之间的矛盾提供了一种新的解决思路。未来的研究重点将是在控制训练时间的同时，进一步提升模型的译文质量。

张聚伟;刘恺文;陈 媛,河南科技大学;信息工程学院;外国语学院;河南省新能源电力电子与电力传动工程研究中心;郑州航空工业管理学院电子信息学院,202406