语言模型蒸馏的低资源神经机器翻译方法

来源：计算机工程与科学杂志2024年第4期北京时间：

作者：申影利, 赵小兵,

单位：1.中央民族大学中国少数民族语言文学学院,北京 100081;2.国家语言资源监测与研究少数民族语言中心,北京 100081；3.中央民族大学信息工程学院,北京 100081

摘要：大规模平行语料库的缺乏是低资源神经机器翻译面临的关键问题之一。提出语言模型蒸馏的神经机器翻译方法，通过单语语言模型对神经机器翻译训练进行正则化，引入语言模型包含的先验知识以提升翻译效果。具体地，借鉴知识蒸馏思想，使用丰富单语数据训练的目标端语言模型（教师模型）构造低资源神经机器翻译模型（学生模型）的正则化因子，让翻译模型学习到语言模型中高度泛化的先验知识。与传统单语语言模型融合参与解码过程不同的是，本文方法中的语言模型只在训练阶段使用，不参与推断阶段，因此能够有效提升解码速度。在第十七届全国机器翻译大会CCMT2021维吾尔语-汉语和藏语-汉语2种民汉低资源翻译数据集上的实验结果表明，相比目前最先进的语言模型融合方法，BLEU提高了1.42%（藏汉方向）~2.11%（汉维方向）。

关键词：语言模型,知识蒸馏,正则化,低资源神经机器翻译,

基金资助：国家社会科学基金重大项目（22&ZD035）