基于Transformer和多模态对齐的非自回归手语翻译技术研究

来源：电子与信息学报杂志2024年第7期北京时间：

作者：邵舒羽, 杜垚, 范晓丽

单位：1.北京物资学院物流学院 北京 1011492.北京航空航天大学自动化科学与电气工程学院 北京 1001913.空军特色医学中心 北京 100142

摘要：为了解决多模态数据的对齐及手语翻译速度较慢的问题，该文提出一个基于自注意力机制模型Transformer的非自回归手语翻译模型(Trans-SLT-NA)，同时引入了对比学习损失函数进行多模态数据的对齐，通过学习输入序列(手语视频)和目标序列(文本)的上下文信息和交互信息，实现一次性地将手语翻译为自然语言。该文所提模型在公开数据集PHOENIX-2014T(德语)、CSL(中文)和How2Sign(英文)上进行实验评估，结果表明该文方法相比于自回归模型翻译速度提升11.6～17.6倍，同时在双语评估辅助指标(BLEU-4)、自动摘要评估指标(ROUGE)指标上也接近自回归模型。

关键词：手语翻译, 自注意力机制, 非自回归翻译, 深度学习, 多模态数据对齐

基金资助：国家自然科学基金(8210072143)，北京市教委科技计划青年项目(KM202210037001)