《计算机工程与科学杂志》发表论文赏析

基于预训练的无监督神经机器翻译模型研究

来源:计算机工程与科学杂志2022年第4期北京时间:

作者:薛擎天, 李军辉, 贡正仙, 徐东钦

单位:(苏州大学自然语言处理实验室,江苏 苏州 215006)

摘要:依赖于大规模的平行语料库,神经机器翻译在某些语言对上已经取得了巨大的成功。无监督神经机器翻译UNMT又在一定程度上解决了高质量平行语料库难以获取的问题。最近的研究表明,跨语言模型预训练能够显著提高UNMT的翻译性能,其使用大规模的单语语料库在跨语言场景中对深层次上下文信息进行建模,获得了显著的效果。进一步探究基于跨语言预训练的UNMT,提出了几种改进模型训练的方法,针对在预训练之后UNMT模型参数初始化质量不平衡的问题,提出二次预训练语言模型和利用预训练模型的自注意力机制层优化UNMT模型的上下文注意力机制层2种方法。同时,针对UNMT中反向翻译方法缺乏指导的问题,尝试将Teacher-Student框架融入到UNMT的任务中。实验结果表明,在不同语言对上与基准系统相比,本文的方法最高取得了0.8 ~ 2.08个百分点的双语互译评估(BLEU)值的提升。

关键词:神经网络,神经机器翻译,无监督,预训练,

基金资助:国家自然科学基金(61876120)

2022年4期其他文献查阅:

分布式存储系统读写一致性算法性能优化研究综述

面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现

面向Lustre集群存储的应用日志分析及系统自动优化框架

基于深度神经网络的高速信道自适应均衡器

无服务器计算技术研究综述

异构Spark集群数据倾斜修正调度策略

数据中心网络路由研究进展

融合正余弦优化与跳距优化的DV-Hop定位算法

基于机器学习的移动代理应用流量识别方法

动态特征选择算法对恶意行为检测的优化研究

基于可见光视觉图像的路面裂缝识别深度学习方法述评

针对机动目标的改进型交互多模型跟踪算法研究

基于OSE-dResnet网络的列车底部零件检测算法

基于字段过滤和伸缩窗口的SNM算法优化

ED算法和SNP-index算法计算SNP位点的比较分析——以拟南芥为例

基于节点影响力的理性节点标签传播算法

基于广义重要度和runner-root算法的特征选择

基于预训练的无监督神经机器翻译模型研究

改进DeepLabV3+的高效语义分割

基于模拟退火算法的人工势场法路径规划研究

特征直连与结构化约束的多视图子空间聚类

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!