《计算机工程与科学杂志》发表论文赏析

双级交互式自适应融合的多模态神经机器翻译

来源:计算机工程与科学杂志2024年第11期北京时间:

作者:杜连成, 郭军军, 叶俊杰, 余正涛,

单位:(1.昆明理工大学信息工程与自动化学院,云南 昆明 650504;2.云南省人工智能重点实验室,云南 昆明 650500)

摘要:多模态神经机器翻译的目标是通过引入其他模态信息来提升纯文本神经机器翻译的质量。图像中包含了实体对象的关系、属性以及空间位置关系等多种语义信息。然而,目前存在的大多数融合方法仅考虑图像的部分视觉信息,忽略了对视觉模态内部关系的探索,导致视觉信息的利用率较低,无法充分利用图像所包含的全部语义信息。因此,提出了一种双级交互式自适应融合的多模态神经机器翻译方法,该方法考虑了图像不同方面的属性特征,以充分利用图像的视觉信息。实验结果显示,该方法能够有效地利用图像所具有的视觉信息,并且在Multi30K数据集的英语→德语(EN→DE)和英语→法语(EN→FR)2种翻译任务的测试上的效果显著优于当前大多数的效果最优(SOTA)多模态神经机器翻译方法的结果,十分具有竞争力。

关键词:多模态神经机器翻译,双视觉特征交互,图-文跨模态自适应融合,

基金资助:国家重点研发计划(2020-AAA0107904);国家自然科学基金(61866020);云南省科技厅自然科学基金(202301AT070444);云南省重大科技专项(202103AA080015)

2024年11期其他文献查阅:

DeepFlame:基于深度学习和高性能计算的反应流模拟开源平台

Gyration:基于RTT测量的报文偏转拥塞控制算法

基于TLSF算法的高效内存分配算法的设计与实现

一种基于浮点误差分析的混合精度鲁棒性提升方法

基于动态自重构结构的3D-HEVC帧内预测算法并行化实现

面向高性能计算机光互连的低抖动Retimer电路

异构微差同步并行训练算法

一种基于区块链的众包激励机制

一种结合遗传算法和聚类的软件定义网络控制器优化部署机制

时间敏感网络中基于边不相交路径对选择的帧复制与消除机制

基于QoS-QoE预测的传输瓶颈定位

参与式感知设备多维数据的个性化差分隐私保护方案

基于Gamma分布贝叶斯RCS估计的多目标跟踪算法

基于轻量化目标检测网络的RGB-D视觉SLAM系统

基于可学习图像滤波器的雾天驾驶场景图像语义分割

基于MCL的多速率点云动作识别

基于CNN和Transformer特征融合的烟雾识别方法

基于D2GA的逆强化学习算法

基于匮乏理论的应急物资调度模型构建及算法研究

双级交互式自适应融合的多模态神经机器翻译

融合模体感知和图Transformer编码的社区检测

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!