复杂环境下多模态特征融合的疲劳驾驶检测

来源：电子测量技术杂志2023年第6期北京时间：

作者：高绮煌，谢凯，贺正方，文畅，贺建飚，张伟

单位：1.长江大学电子信息学院 荆州 434023; 2.浙江宇视科技有限公司 杭州 310051; 3.长江大学计算机科学学院 荆州 434023; 4.中南大学计算机学院 长沙 410083

摘要：为了避免因疲劳驾驶而导致交通事故的发生，维护城市道路交通和驾乘人员生命安全，该项目针对传统疲劳驾驶检测方法存在着精度低、参数复杂、泛化能力差等核心问题，采用MTCNN模型和基于红外的rPPG等理论，在光照变化、部分遮挡和头部偏转等复杂行车环境下精确提取驾驶员面部与生理信息；同时在深层挖掘多模态的特定疲劳信息后，结合多损失重构(MLR)的特征融合模块利用各模态间的互补信息，避免了单模态检测方法存在的局限性，进一步构建了多模态特征融合模型，增强模型的准确性与鲁棒性；最后考虑到疲劳的时序性，基于Bi-LSTM模型建立了疲劳驾驶检测模块。在自制数据集FAHD上展开实验，证明了红外生理特征提取模型的可靠性，多模态特征输入的有效性，同时与现有融合方法相比，本文方法融合后的预测结果与疲劳标定值间的相关系数提高了5.6%，均方根误差减少25%，疲劳检测系统准确率达到了96.7%，在推动智慧交通发展的同时对维护交通安全也有较好的积极意义。

关键词：多模态;多损失重构特征融合;疲劳驾驶;远程光电容积描记术;深度学习

基金资助：国家自然科学基金（62272485）、新疆维吾尔自治区自然科学基金(2020D01A131)项目资助