基于语音脑电的双模态心理压力分级评估研究

来源：电子测量技术杂志2024年第19期北京时间：

作者：杜扶遥，姜囡，陆思宇

单位：1.中国刑事警察学院公安信息技术与情报学院 沈阳 110854; 2.证据科学教育部重点实验室(中国政法大学) 北京 100088

摘要：为了有效提高压力分级方法的精确度，实现多模态信息交互和多维立体融合特征的深层挖掘，提出一种基于模型分级的多模态压力识别方法。基于语音信号振幅特征和脑电信号各频段波幅特征，构建新的心理压力指数模型，并提出针对该模型的心理压力分级方法，有效解决了主观评估精度受限以及压力分类依据不明确等问题。以模型分级为依据重制MAHNOB-HCI数据集标签，构建了包含脑电时频空信息和语音时频信息的立体多维融合特征，避免了单特征识别方法导致的压力信息缺失问题。与单模态识别方法的对比分析，本文提出方法识别准确率分别提高了10.72%和3.36%；与常规双模态方法的对比分析，识别准确率提高了7.51%。综上表明，本文所提方法能够更准确的揭示异构数据全频段信息与心理压力的关联关系，有效提升了识别性能。

关键词：脑电信号;语音信号;双模态;心理压力分级;多维融合特征

基金资助：国家重点规划研发项目(2017YFC0821005)、证据科学教育部重点实验室(中国政法大学)开放基金资助课题(2021KFKT09)、公安学科基础理论研究创新计划项目(2022XKGJ0110)、辽宁省科技厅联合开放基金资助项目(2020-KF-12-11)、中央高校基本科研业务费专项资金资助(3242019010)、辽宁省自然科学基金项目(2019-ZD-0168)、教育部重点研究项目(E-AQGABQ20202710)、上海市现场物证重点实验室开放课题(2021XCWZK08)项目资助