多模态驾驶员情绪识别研究综述

来源：计算机工程与应用杂志2025年第10期北京时间：

作者：周欣颖, 李雷孝, 林浩, 张虎成

单位：1.内蒙古工业大学 数据科学与应用学院，呼和浩特 010080 ；2.内蒙古自治区北疆网络空间安全重点实验室，呼和浩特 010080；3.内蒙古自治区基于大数据的软件服务工程技术研究中心，呼和浩特 010080；4.天津理工大学 计算机科学与工程学院，天津 300384

摘要：准确识别驾驶员情绪可以有效预防潜在的危险驾驶行为，减少交通事故的发生，是提升道路安全和驾驶体验的重要技术。随着人工智能和多模态数据处理技术的进步，情绪识别技术从单模态方法逐步发展为多模态方法。梳理了当前多模态驾驶员情绪识别的研究进展，重点总结了面部表情、语音信号、生理信号以及车辆行为四种模态的识别流程，关键步骤包括数据预处理、特征提取和多模态融合。通过分析现有研究，总结了不同方法的优势与不足，介绍了多个驾驶员情绪相关数据集。最后结合当前研究所面临的挑战，提出了未来多模态驾驶员情绪识别研究领域的五个研究方向。

关键词：驾驶员情绪识别,多模态融合,特征提取,情感计算