基于注意力机制的多模态人体行为识别算法

来源：计算机测量与控制杂志2022年第2期北京时间：

作者：宋真东,杨国超,马玉鹏,冯晓毅

单位：西北工业大学 电子信息学院

摘要：提出了基于注意力机制的多模态人体行为识别算法。针对多模态特征的有效融合问题,设计基于注意力机制的双流特征融合卷积网络TAM3DNet(Two-stream Attention Mechanism 3D Network)。主干网络采用结合注意力机制的AM3DNet(Attention Mechanism 3D Network),将特征图与注意力图进行加权后得到加权行为特征,从而使网络聚焦于肢体运动区域的特征,减弱背景和肢体静止区域的影响。将RGB-D数据的颜色和深度两种模态数据分别作为双流网络的输入,从两条分支网络得到彩色和深度行为特征,然后将融合特征进行分类得到人体行为识别结果。

关键词：RGB-D图像，多模态特征，人体行为，双流网络，注意力机制，特征融合

基金资助：陕西省重点研发项目(2021ZDLGY15-01, 2021ZDLGY09-04, 2021GY-004和2020GY-050)；深圳市国际合作研究项目(GJHZ20200731095204013)；国家自然基金(61772419)