融合自适应图卷积与Transformer序列模型的中文手语翻译方法

来源：计算机应用研究杂志2023年第5期北京时间：

作者：应捷,徐文成,杨海马,刘瑾,郑乐芊,

单位：1.上海理工大学光电信息与计算机工程学院,上海200093；2.上海工程技术大学电子电气工程学院,上海201620；

摘要：针对手语翻译方法所存在的动作特征提取以及时序翻译方面存在的问题，提出一种融合自适应图卷积AGCN 与Transformer时序模型的AGCN-T手语翻译网络。自适应图卷积网络用于学习手语动作中骨骼节点的交互空间依赖信息；Transformer时序模块捕捉手语动作序列的时间关系特征信息并将其翻译成可理解的手语内容。此外，在预处理部分，提出了一种移动窗口的关键帧提取算法，并用MediaPipe姿态估计算法对关键帧图像序列进行骨架提取。实验表明，该方法在大型中文连续手语数据集CCSL的词错率达到了3.75%，精度为97.87%，优于其他先进的手语翻译方法。

关键词：手语翻译,自适应图卷积,Transformer时序模型,关键帧提取,姿态估计,

基金资助：国家自然科学基金资助项目(62172280)；；