动态时间序列建模的多模态情感识别方法

来源：计算机工程与应用杂志2025年第1期北京时间：

作者：李佳泽, 梅红岩, 贾丽云, 李文娅

单位：1.辽宁工业大学 电子与信息工程学院，辽宁 锦州 121001 ；2.辽宁工业大学 软件学院，辽宁 锦州 121001

摘要：现有的情感识别研究未充分考虑语音信号中的局部-全局信息和长期时间依赖关系，文本特征提取也存在特征稀疏和信息丢失的问题。为解决上述问题，提出动态时间序列建模的多模态情感识别方法。设计动态时间窗口模块分割语音信号从而捕捉局部-全局信息，并通过双向序列建模捕获信号中的空间信息。考虑到文本信息对情感分析的重要性，采用基于Transformer模型的卷积神经网络捕捉文本中不同位置间的依赖关系建模较长的上下文信息，最后将两种模态进行融合得到最终的情感分类。模型在IEMOCAP数据集上的实验结果表明，相比其他主流模型具有更好的多模态情感识别效果。

关键词：多模态情感分析,动态时间窗口,双向时间序列建模,卷积神经网络,多模态融合