基于轻量级的DialogueRNN多模态优化方法

来源：计算机技术与发展杂志2024年第08期北京时间：

作者：李晨;梁平;顾进广;

摘要：对话情感识别(ERC)是自然语言处理中非常活跃的研究领域,而对话语情感进行分类也广泛应用于人机交互中,目前大多数研究主要集中在对说话人和上下文信息建模上,主要使用简单的特征拼接来利用多模态信息而忽略了模态间的依赖关系。 为了解决上述问题,该文使用基于注意力机制的网络模型来动态地融合多模态特征,提出了一种基于轻量级的 DialogueRNN 多模态优化方法 MMRNN(multimodal RNN)。 首先,在多模态融合的过程中输入注意力得分来关注更重要的模态;其次,优化掉 DialogueRNN 中的情感 GRU;最后,对模型进行堆叠以增加模型深度,并在每层的输出加上注意力机制得到最终情感输出。 通过在两个公开的数据集上的模拟实验结果表明,提出的基于轻量级的 DialogueRNN 多模态优化方法具有较好的性能。

关键词：多模态融合;对话情感识别;注意力机制;情景建模;模型堆叠