信息传递增强的神经机器翻译

来源：计算机工程与科学杂志2021年第1期北京时间：

作者：史小静, 宁秋怡, 季佰军, 段湘煜

单位：（苏州大学自然语言处理实验室，江苏 苏州 215006）

摘要：神经机器翻译领域中多层神经网络结构能够显著提升翻译效果，但是多层神经网络结构存在信息传递的退化问题。为了缓解这一问题，提出了层间和子层间信息融合传递增强的方法，增强多层神经网络的层与层之间信息传递的能力。通过引入“保留门”机制来控制融合信息的传递权重，将融合信息与当前层的输出信息连接共同作为下一层的输入，使得信息传递更加充分。在目前最先进的多层神经网络Transformer上进行相关的实验，在中英和德英翻译任务上的实验结果表明，该信息传递增强方法相比于基线系统，BLEU得分分别提高了0.66和0.42。

关键词：神经网络,神经机器翻译,信息传递,信息退化,残差网络,门机制,

基金资助：国家自然科学基金（61673289）