《电子测量技术杂志》发表论文赏析

基于对话的多模态情感分析技术研究

来源:电子测量技术杂志2026年第6期北京时间:

作者:赵亚芳,梁志剑

单位:中北大学计算机科学与技术学院 太原 030051

摘要:针对多模态对话情感识别(MERC)中难以有效捕捉对话中跨模态语义关联以及对少数类和语义易混淆类情感的区分能力有限的问题,提出了一种新的多模态情感分析模型(FuseNet)。该模型采用双向注意力对话编码器(BiDRN)以捕捉对话上下文依赖,有效整合来自不同说话人的音频与视觉线索,并通过基于分层门控机制的融合模块实现动态多模态融合,同时引入类感知多模态对比(CAMC)损失以增强类间判别性,提升对少数类以及语义相近情感类别的区分能力。在IEMOCAP和MELD两个基准ERC数据集上的实验结果表明,与当前先进模型CORECT相比,FuseNet的F1分数分别提升了2.91%和2.00%,在多数情感类别的分类性能上均优于现有基线模型,尤其在识别少数类和语义相近类情感上改进显著。

关键词:多模态对话情感识别;双向注意力;分层门控机制;动态多模态融合;对比损失

基金资助:山西省2024年度研究生教育创新计划项目(2024SZ23)、2024年山西省高等学校教学改革创新项目(J20240839)资助

2026年6期其他文献查阅:

面向风机变桨系统的双冗余热拔插电源系统

一种改进的级联型宽增益LLC变换器

基于对话的多模态情感分析技术研究

基于深度学习的高速公路交通事故检测方法研究

单谐振线圈测量海水电导率的仿真分析与试验验证

超导并联纳米线双分辨单光子探测器

基于YOLOv8改进的指针式仪表检测算法

基于改进VMD-TCN-LSTM的电动汽车短期负荷预测

电磁悬浮系统的分数阶线性自抗扰控制

改进旅鼠算法的机器人路径规划研究

基于RT-DETR的无人机航拍图像小目标检测算法

基于3D高斯溅射的复杂室内环境SNGO-SLAM算法

基于改进Bi-RRT*的路径规划算法研究

基于STM32的多通道大气腐蚀监测系统设计

基于跨模态生理信号融合的飞行员认知状态检测

基于动态频域特征解耦的中长期电力负荷预测

多尺度局部特征融合的弱监督点云语义分割

MGEF-DETR:多尺度门控增强融合的无人机目标检测算法

基于YOLO11-MDA的水下垃圾多尺度目标检测方法

LiteSteel-YOLO :小目标低对比度轻量级钢材缺陷检测网络

基于轻量化YOLOv8n的火焰烟雾检测方法

优化EfficientNet架构的可解释性脑肿瘤分类模型研究

基于改进YOLOv11光伏热斑小目标缺陷检测

动态场景下的工件尺寸测量

改进YOLOv10n的绝缘子缺陷检测算法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!