跨模态语义时空动态交互情感分析研究

来源：计算机工程与应用杂志2024年第1期北京时间：

作者：屈立成, 郤丽媛, 刘紫君, 魏思, 董哲为

单位：长安大学 信息工程学院，西安 710064

摘要：针对传统情感分析中存在的模态间交互性差、时空特征融合度低的问题，建立了一种跨模态的语义时空动态交互网络。通过引入双向长短期记忆网络挖掘各模态的时间序列特征，加入自注意力机制强化模态内特征的权重赋值，将自动筛选出的特征矩阵送入图卷积神经网络进行语义交互。然后以时间戳为基础进行特征聚合，计算聚合层的相关系数，获得融合后的联合特征，实现跨模态空间交互，最终完成情感极性的分类与预测。使用公开数据集对所提出的模型进行评估验证，实验结果表明，多模态时间序列提取和跨模态语义空间交互机制可以实现模态内和模态间特征的全动态融合，有效地提升了情感分类的准确率和F1值，在CMU-MOSEI数据集上分别提高了1.7%~13.5%和2.1%~14.0%，表现出良好的健壮性和先进性。

关键词：跨模态情感分析,语义交互,时空交互,双向长短期记忆网络,图卷积网络