虚实混合表情数据与心电数据决策级融合的人员情绪动态识别方法

来源：计算机集成制造系统杂志2026年第1期北京时间：

作者：王昊琪, 刘志浩, 冯兴智, 李浩, 王广伟, 鲁效平, 董李扬, 蔡权, 刘和松, 朱容君

单位：1.郑州轻工业大学机电工程学院2.卡奥斯工业智能研究院(青岛)有限公司3.南阳中通智能科技集团有限公司

摘要：工业5.0“人本智造”理念强调智能制造技术的发展应以人的需求为核心。在危险、封闭的工业生产现场,人员情绪的准确识别是保障工人心理健康和安全有效生产的基础。针对现有情绪识别方法存在数据集覆盖面有限、识别精度不足和缺乏动态调整的问题,提出了一种虚实混合表情数据与心电数据决策级融合的人员情绪动态识别方法。首先,采用集成CLIP和LoRA的Stable Diffusion模型生成高质量的表情虚拟数据集,并与真实数据集混合构建虚实混合数据集;利用该数据集对引入CBAM的YOLOv8网络进行训练,实现面部表情情绪识别;然后,结合基于LSTM的心电数据特征提取,实现心电信号的情绪识别;最后,提出基于Softmax动态权重与特征交互的决策级融合策略,实现多模态的情绪动态识别。实验结果表明,动态权重融合识别准确率达到81.10%,其中在虚拟数据集与真实数据集比例为5:1时,模型在数据不平衡场景下表现出更高的泛化能力。

关键词：虚实混合数据集,情绪识别,工业5.0人本智造,稳态扩散模型,多模态动态融合

基金资助：国家自然科学基金面上资助项目(52275277);河南省自然科学基金优秀青年基金资助项目(242300421075);大规模个性化定制系统与技术全国重点实验室开放课题资助项目(H&C-MPC-2023-02-02);河南省科学技术协会“中原科技创新青年拔尖人才”资助项目;河南省高校科技创新团队支持计划资助项目(26IRTSTHN039)。