基于卷积神经网络和领域泛化的跨操作员认知负荷识别

来源：电子与信息学报杂志2023年第8期北京时间：

作者：周月莹, 公沛良, 王澎湃, 温旭云, 张道强

单位：1.南京航空航天大学计算机科学与技术学院 南京 2111062.南京航空航天大学模式分析与机器智能工信部重点实验室 南京 2111063.南京航空航天大学脑机智能技术教育部重点实验室 南京 211106

摘要：基于脑电信号(EEG)的操作员认知负荷识别(CWR)在人机交互系统和被动式脑机接口中有重要价值，然而EEG的非稳态性和被试差异性极大阻碍了跨操作员CWR这一现实场景的快速应用。该文针对跨操作员CWR精度低等问题，提出一种基于卷积神经网络(CNN)和领域泛化(DG)的联合共享特征优化方法(CNN_DG)。该方法通过使用已有操作员(源域)的数据提高未知操作员(目标域)的CWR性能，其主要包括3个模块：深度特征提取器、标签分类器和领域泛化器。深度特征提取器学习可迁移的源域之间的共享知识表征；标签分类器进一步学习深层表征并预测负荷级别；领域泛化器通过与特征提取器进行对抗训练来减少源域间的数据分布差异，从而保证学习特征的共享性。该文在多属性任务组(MATB II)模拟飞行任务竞赛数据集1和2上进行两个三分类的跨操作员CWR实验，并采用留一被试交叉验证策略验证模型识别性能。实验结果表明所提CNN_DG方法显著优于比较方法，验证了其在跨操作员CWR领域的有效性和泛化性。

关键词：人机交互, 认知负荷, 跨操作员, 卷积神经网络, 领域泛化

基金资助：国家自然科学基金(62136004, 61876082, 61732006)，国家重点研发计划(2018YFC2001600, 2018YFC2001602)，中央高校基本科研业务费专项资金 (NP2022451)