整合类内差异与类间关联的隐喻感情预测

来源：电子测量技术杂志2024年第14期北京时间：

作者：杨亚萍，张敬源

单位：1.石家庄铁道大学语言文化学院 石家庄 050043; 2.北京科技大学外国语学院 北京 100083

摘要：隐喻感情预测有助于改进社交媒体内容的用户体验，同时在心理健康监测和虚拟心理治疗方面也具有潜在价值。此外，它还可以更精确地识别目标受众的感情需求，优化广告策略，提升商业效益。为了进一步提升情绪识别与情感检测的有效性，提出了一种整合类内差异与类间关联的多模式隐喻感情识别架构。首先引出三种单模式模型，包括视觉语义模型，文本语义模型和音频语义模型，从文本、视觉和音频三种不同的数据源中分别提取每个模式的个性化差异特征；随后引出一种深度层次多模式模型，通过中间层融合的方式对多模式之间的关联性进行学习，更好地利用双模式与三模式之间提供的互补信息；最后，基于决策层融合的方式将上述四种模型进行融合，在一种端到端的框架中，实现多模式隐喻感情的预测。在开源的数据集中进行的大量消融实验与对比实验证明了方法的有效性。

关键词：隐喻感情预测;多模式模型;图像;文本;语音;模式识别

基金资助：国家社会科学基金一般项目（19BYY226)、2023年河北省高等学校英语教学改革（课程思政数字资源库）研究与实践项目（2023YYSZ026）资助