《计算机工程与科学杂志》发表论文赏析

语言模型蒸馏的低资源神经机器翻译方法

来源:计算机工程与科学杂志2024年第4期北京时间:

作者:申影利, 赵小兵,

单位:1.中央民族大学中国少数民族语言文学学院,北京 100081;2.国家语言资源监测与研究少数民族语言中心,北京 100081;3.中央民族大学信息工程学院,北京 100081

摘要:大规模平行语料库的缺乏是低资源神经机器翻译面临的关键问题之一。提出语言模型蒸馏的神经机器翻译方法,通过单语语言模型对神经机器翻译训练进行正则化,引入语言模型包含的先验知识以提升翻译效果。具体地,借鉴知识蒸馏思想,使用丰富单语数据训练的目标端语言模型(教师模型)构造低资源神经机器翻译模型(学生模型)的正则化因子,让翻译模型学习到语言模型中高度泛化的先验知识。与传统单语语言模型融合参与解码过程不同的是,本文方法中的语言模型只在训练阶段使用,不参与推断阶段,因此能够有效提升解码速度。在第十七届全国机器翻译大会CCMT2021维吾尔语-汉语和藏语-汉语2种民汉低资源翻译数据集上的实验结果表明,相比目前最先进的语言模型融合方法,BLEU提高了1.42%(藏汉方向)~2.11%(汉维方向)。

关键词:语言模型,知识蒸馏,正则化,低资源神经机器翻译,

基金资助:国家社会科学基金重大项目(22&ZD035)

2024年4期其他文献查阅:

全息存储中的纠错码研究综述

面向多核向量加速器的卷积神经网络推理和训练向量化方法

基于GGInformer模型的多维时间序列特征提取与预测研究

面向芯粒间互连的低功耗发射机驱动设计

可变流水级SM4加解密算法硬件设计及FPGA实现

线云隐私攻击算法的并行加速研究

无线携能通信下mmWave协作通信小单元的能效最优策略

基于异构图神经网络的半监督网站主题分类

一种基于认证文件的双方验证模型水印方案

基于改进型3D_Henon混沌映射的彩色图像加密方法

融合多结构信息的代码注释生成模型

基于模糊测度的模糊分支时态逻辑模型检测

基于深度学习的中文文本分类综述

基于混合策略改进的蛇优化算法及其应用

双视图对比学习引导的多行为推荐方法

基于多视角对比学习的隐式篇章关系识别

三支概念背景下属性粒化效率的度量

融合序列局部信息的日期感知序列推荐算法

语言模型蒸馏的低资源神经机器翻译方法

基于用户权威度和多特征融合的微博谣言检测模型

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!