基于跨模态生理信号融合的飞行员认知状态检测

来源：电子测量技术杂志2026年第6期北京时间：

作者：张文泽，王在俊，蒋宇恒，杨睿哲

单位：1.中国民用航空飞行学院空中交通管理学院 广汉 618307; 2.中国民用航空飞行学院民航飞行技术与飞行安全工程技术重点实验室 广汉 618307

摘要：飞行员认知状态的精准评估对保障飞行安全至关重要，然而现有方法在多模态生理信号融合上存在局限性。为此，本文提出一种基于双向跨模态注意力的双流深度学习网络。该模型采用并行双分支架构：脑电（EEG）分支通过相位锁定值（PLV）量化大脑功能连接，并采用SE模块增强的密集连接网络进行深度特征提取；心电（ECG）分支则提取心率变异性（HRV）及波形特征，经残差连接多层感知机处理以表征自主神经系统活动。在此基础上，通过创新设计的双向跨模态注意力模块，动态加权融合双路深度特征，实现对注意力集中、分散和惊吓/惊奇3种状态的精准分类。在NASA公开数据集上的实验表明，模型总体识别准确率达97.44%。消融与对比分析证实，该融合策略显著优于单模态分析和简单的特征拼接方法。研究表明，通过注意力机制深度融合EEG功能连接与ECG生理信息，可有效提升认知状态识别性能，该方法为开发客观、高效的飞行员状态监测系统提供了可靠的技术支持，对提升飞行安全具有重要的应用价值。

关键词：认知状态识别;飞行安全;跨模态注意力;脑电信号;深度学习

基金资助：民航飞行技术与飞行安全重点实验室自主研究项目（FZ2022ZZ02）、四川省民航飞行技术与飞行安全工程技术研究中心项目（GY2024-64E）资助