利用压缩多语言BERT知识增强的低资源神经机器翻译

来源：计算机工程与应用杂志2025年第8期北京时间：

作者：朱嘉辉, 韩韧, 张生, 陈思州

单位：1.上海理工大学 光电信息与计算机工程学院，上海 200093；2.成都信息工程大学 区块链产业学院，成都 610225

摘要：利用BERT等预训练模型的上下文表示增强神经机器翻译，能够显著提升低资源翻译的效果。现有融合BERT的方法主要分为两大类，其一是初始化编码器参数并微调，其二是将上下文嵌入融入翻译模型。前者训练参数量大且容易受到灾难性遗忘的影响，后者融合的方法较为复杂。此外，这两类方法仅利用了源语言端的BERT表征，而未充分利用机器翻译的对偶特性。针对上述问题，提出一种线性复杂度的压缩注意力模块。通过可学习的压缩向量，压缩mBERT上下文嵌入并对齐到翻译模型的语义空间中。将压缩向量与编码器的输入向量拼接，从而增强源端语义表示。通过所提出的对偶多粒度训练的方式，同时增强翻译模型的双语表示能力。在IWSLT的两个公开低资源翻译口语数据集上的实验结果显示，相较于基线模型Transformer，该方法取得了2.07~2.66的BLEU值提升，验证了其有效性。

关键词：mBERT知识增强,压缩注意力,低资源机器翻译,对偶训练