时间:
特种车辆包括装甲车、警车、执法车、救护车、工程车等,要求作业人员在恶劣环境下持续长时间地完成高动态、强博弈和极端复杂的任务,导致作业人员工作负荷急剧增大,信息处理能力降低。在此背景下,人因安全成为影响特种车辆完成任务的关键因素。研究发现,由作业人员因素导致的事故比例约占事故总数的 70%[1]。目前基于脑电(Electroencephalogram, EEG)的负荷识别研究大多集中于对作业人员负荷程度的分析,EEG 特征主要分为时域、频域、功能连接等 [2]。Solís-Marcos 等 [3] 在多任务条件下评估了工作负荷,发现 N1 和 P3 振幅随着负荷的增加而显著降低。Ghani 等 [4] 的研究通过将工作负荷进行高、中、低三分类,也证明了早期事件相关电位(Event Related Potential, ERP)成分 N1 与工作负荷显著相关。
Causse 等 [5] 则通过控制作业人员的认知负荷,发现 P3b 振幅的降低代表作业人员负荷过载。这些结果表明时域成分可以有效反映负荷水平。对于频域特征,Diaz-Piedra 等 [6] 通过改变战斗地形对工作负荷进行适中、过载、超载三分类,分析不同负荷状态下陆军驾驶员的 EEG 变化,结果显示额叶、颞叶和枕叶的 θ 频段功率在不同负荷条件下存在显著差异。Wang 等 [7] 在驾驶模拟器中研究了不同频段功率谱密度(Power Spectral Density, PSD)特征对高低负荷分类的影响效果,结果表明 γ 与 β 频段特征在负荷分类中表现最佳,神经网络模型对负荷识别准确率达到 90.37%。Plechawska-Wójcik 等 [8] 与 Gorji 等 [9] 分别通过不同难度的计算任务与飞行任务将负荷分为不足、适中、过载三类。前者发现脑区 PSD 特征在分类中最为有效,K - 临近(K-Nearest Neighbor, KNN)模型的分类准确率达到了 91%,后者总结出前额 θ 频段功率与顶叶和枕叶 α 频段功率的比值是区分负荷状态的重要指标,并基于递归特征选择的模型实现了 91.67% 的分类准确率。
在以功能连接为特征的负荷识别研究中,Guan 等 [10] 在心算任务中分析了不同认知负荷任务下的动态功能连接,发现前额 - 顶叶区域的节点度数和功能连接强度在负荷状态识别中具有显著表现,支持向量机(Support Vector Machine, SVM)分类准确率最高达 95.8%。Dimitrakopoulos 等 [11] 则通过 N-back 任务和心算任务诱发乘员产生高低负荷状态,发现前额叶区域的 θ 和 β 频段功能连接特征在分类中表现更优,能显著提高识别准确率。针对工作负荷的识别不应局限于单一程度维度,还应关注不同感知通道之间负荷的差异性。随着智能交互技术的应用,特种车辆各分系统数字化水平明显提高 [12],作业人员与车辆的交互方式日益多样化,包括语音、手势、眼控、脑机接口等 [13-14],不同的交互模式或作战任务对作业人员的不同感知通道造成的负荷差异日益明显 [15]。Mao 等 [16] 的研究表明,在特种车辆的作业环境中,不同岗位的作业人员在感知通道上的负荷差异显著,炮长和驾驶员的视觉负荷较高,听觉负荷较低,而车长的听觉负荷很高,视觉负荷则相对较低。Wickens 的四维多资源理论为此提供了理论依据,其认为不同交互模式占用不同的感觉通道,不同通道的任务同时进行,彼此之间相对独立 [17]。
孙晓东等 [18] 的研究进一步验证了视觉通道负荷过载时作业人员信息处理能力下降,此时占用其他通道的多模态告警能有效加快反应时间,提升作战效率。综上所述,现有研究大多集中于工作负荷程度的识别,较少关注不同感知通道负荷变化所引起的生理唤醒差异及其相互作用机制。此外,研究往往侧重于频域或功能连接特征的单一分析,缺乏对二者的综合比较,尚未明确解析出在视听通道负荷识别中起关键作用的 EEG 特征。因此,本文通过提高场景复杂度和听觉 N-back 任务,诱发作业人员产生视听通道负荷状态,结合脑区 PSD 与功能连接指标,探讨不同通道负荷状态引发的脑神经信号差异,并将二者结合,建立视听通道负荷识别模型,利用 Shapley 加法解释(Shapley Additive exPlanations, SHAP)分析方法,确定对负荷分类起关键作用的 EEG 特征,通过 “以人为中心” 的设计理念,促进特种车辆座舱智慧化、信息化发展,提高人 - AI 协同作战效率。
1 视听通道负荷实验方法
1.1 被试人员面向社会招募 30 名驾驶员,年龄 20~35 岁(平均年龄 = 24.83,标准差 = 2.81),驾龄在 1~10 年(平均驾龄 = 2.94,标准差 = 2.06)。将被试随机分入视觉负荷组与听觉负荷组,每组 15 人。被试身体健康,听力及裸眼视力正常,均为右利手,无色盲色弱。
1.2 实验仪器驾驶场景由北京宣爱智能模拟技术股份有限公司生产的宣爱 QJ-3A1(小)型驾驶模拟器呈现,模拟器视景呈主观 120° 视角。EEG 信号通过 64 导联便携式 EEG 系统采集,电极排布遵守国际 10-20 系统,所有电极点头皮电阻均小于 10 kΩ,在线参考电极点为 CPz,采样频率为 1 kHz。
1.3 实验设计特种车辆作业中的信息输入主要以视觉与听觉为主,因此要基于不同感官特性设计不同任务来诱发被试产生对应通道的负荷状态。以往研究已经证实,听觉 N-back 任务与场景复杂度能诱发听觉和视觉的负荷状态 [19]。因此,本文采用被试间设计,通过提高场景复杂度与听觉 2-back 任务,分别诱发被试产生视觉负荷状态(Visual Load, VL)和听觉负荷状态(Auditory Load, AL)。每组被试需完成 1 h 的模拟驾驶任务。
听觉负荷组要求被试在笔直的马路上驾驶,并执行听觉 2-back 任务(每隔 2.25 s 以语音形式随机播放 0~9 中的一个数字,被试需记忆并口头重复当前数字前两次播报内容)。视觉负荷组要求被试在包含楼房、树木、路标、弯路的复杂道路场景下进行驾驶任务。两组被试均要在驾驶过程中进行检测反应任务,被试需要对道路中随机出现的路障做出刹车反应,记录被试从路障出现到做出反应的反应时。在任务过程中,被试行车速度保持在 65 km/h,道路中没有其余车辆,无需保持车距。在对路障进行刹车反应后,车速逐渐恢复。大部分场景下,被试只需保持匀速驾驶,无需做出变道等驾驶决策,在弯道中,被试需要通过调节方向盘转角以安全通过弯道。
1.4 测量方法与指标本文采用主观量表、行为数据来评估诱发被试产生视听通道负荷状态的合理性。其中,主观量表选用美国航空航天局任务负荷指数 NASA-TLX 量表,行为数据为被试在进行检测反应任务所需的反应时。由于量表得分受工作记忆、驾驶风格等多方面影响,以及存在不能连续测量等问题,在研究中有很强的局限性。因此研究者们往往使用 EEG、近红外、心电等生理指标测量工作负荷,并作为特征构建负荷状态识别模型。其中 EEG 由于具有灵敏度高、时间分辨率强的特点,成为最常使用的指标之一。随着脑机接口领域的快速发展,EEG 抗噪能力越来越强,一些可穿戴式设备使系统能实时监测作业人员的 EEG 状态。本文基于此,选择 EEG 指标评估视听通道负荷状态之间存在的神经活动的差异性。选取全脑 4 个频段 δ(1~3 Hz)、θ(3~8 Hz)、α(8~12 Hz)、β(12~30 Hz)。通过频谱分析计算每个频段下 4 个脑区的 PSD,每个脑区的值以该脑区代表性电极点的平均值代替:顶叶(P3、Pz、P4)、枕叶(O1、Oz、O2)、颞叶(T7、T8)、额叶(F3、Fz、F4)。
以相关性作为功能连接的度量,两个信号 x 和 y 之间的相关系数以 Rxy 表示,使用互相关函数计算信号序列之间的相关性,以构建功能连接网络并对功能连接网络进行二进制化。对于 Rxy<0.5,将其设置为 0;对于 Rxy≥0.5,将其设置为 1。计算脑网络指标:节点度数、集聚系数、特征路径长度、全局效率。其中节点度数定义为当前节点与除自身外所有其他节点的路径总数,反映了大脑网络的信息传递能力。集聚系数是大脑网络中各节点之间结集成团的程度,范围在 0~1 之间,反映了大脑网络的信息处理能力。特征路径长度是网络中所有节点对之间的平均最短路径长度,反映了信息传递的难易程度。全局效率是指网络中所有最短路径长度的逆,用于度量大脑网络的全局信息传递效率。
1.5 实验流程实验包括实验培训与正式实验两个阶段,平均每名被试实验培训阶段约 5 min,被试在此阶段接受充分的培训,包括熟悉仪器操作方式、明确任务要求,听觉 N-back 任务与检测反应任务准确率达到 90% 以上即可开始实验。正式实验时,通过 EEG 帽采集被试从实验开始至结束全程的 EEG 数据,在实验结束阶段要求被试填写 NASA-TLX 量表。
2 EEG 信号分析与机器学习
对两负荷状态组被试数据进行独立样本 t 检验,以研究不同组别之间打标的合理性及脑活动的差异性。假设检验中的概率值(p)表示观察到当前数据差异的概率,统计检验置信度取 0.05,通常 P 值 < 0.05 时认为差异具有统计学意义。由于数据质量不合格,两组中各有 2 人数据被删除,每组 13 人,共 26 个有效数据。
2.1 反应时与主观报告对不同实验条件下的行为数据、主观报告结果进行统计分析,以验证任务分组与模型分类标签的合理性。
2.1.1 反应时使用独立样本 t 检验评估不同实验条件对被试平均反应时的影响。独立样本 t 检验统计量(t)用于衡量两组均值之间的标准化差异,其绝对值越大,表明两组差异越明显。效应量(Cohen's d)用于衡量两组均值差异的大小。数据在各组内均满足正态分布(p=0.055),且具有方差齐性(p=0.06)。以负荷状态为自变量、反应时为因变量,对听觉负荷组和视觉负荷组被试的行为数据进行 t 检验,结果显示:听觉负荷组的反应时显著低于视觉负荷组(t (24)=-3.29,p=0.003,Cohen's d=1.29),其中 ### 表示分析结果 p<0.01。
2.1.2 主观报告
以负荷状态为自变量、NASA-TLX 量表得分为因变量进行分析。除了努力程度外,其余 5 个维度均满足方差齐性(认知负荷维度 p=0.263;体力需求维度:p=0.286;时间需求维度:p=0.293;沮丧程度维度:p=0.909;行为绩效维度:p=0.544;努力程度维度:p=0.039)以及正态性条件(认知负荷维度:p=0.340;体力需求维度:p=0.059;时间需求维度:p=0.070;沮丧程度维度:p=0.886;行为绩效维度:p=0.116;努力程度维度:p=0.006)。对于不满足方差齐性的努力程度维度,通过 Mann-Whitney U 检验来分析不同负荷状态下被试的努力程度差异,在检验中 Z 值是标准化的检验统计量。结果显示:听觉负荷组努力程度得分显著高于视觉负荷组(Z=16.5,p<0.001,Cohen's d=1.52)。
对 2 组其余 5 个维度进行独立样本 t 检验,结果显示:2 组在认知负荷(t (24)=0.953,p=0.350,Cohen's d=0.374)、体力需求(t (24)=0.0849,p=0.933,Cohen's d=0.0333)、沮丧程度(t (24)=0.644,p=0.526,Cohen's d=0.253)、行为绩效(t (24)=0.234,p=0.817,Cohen's d=0.0918)4 个维度下无显著差异,听觉负荷组的时间需求维度得分显著高于视觉负荷组(t (24)=3.20,p=0.004,Cohen's d=1.26)。其中时间需求与努力程度维度作为具有统计学意义的维度被特别标注,标注的数量代表 p 值大小,p<0.01 时标记为 **,p<0.001 时标记为 ***。
2.2 EEG 指标
EEG 信号由于高敏感度,易受噪声干扰,需要对原始信号进行预处理以得到信噪比较高的信号,还原负荷状态下的真实 EEG 波形。分析流程包括:1)将数据降采样至 200 Hz,并进行电极点定位,剔除无效电极;2)重新参考选择平均参考,进行 1~30 Hz 频段的带通滤波;3)将数据按 6 s 为单位分段后,进行插值坏导并剔除坏段;4)运行独立成分分析,并手动筛选和去除伪迹,以消除眨眼、眼球漂移等干扰信号。
2.2.1 频谱分析
预处理完成后利用通过离散傅里叶变换得到复数形式频谱以计算 PSD。变化公式为:
(X(k)=sum_{n=0}^{N-1} x(n) e^{-frac{2 pi i}{N} k n})
式中:X (k) 为第 k 个频率分量的复数幅值;k 为离散频率索引;x (n) 为时域信号的第 n 个采样点;N 为信号采样点;i 为虚数单位。
以负荷状态为自变量、各脑区 PSD 为因变量,对不同组对应脑区进行独立样本 t 检验,结果显示:δ 频段下听觉负荷组额叶(t (24)=2.46,p=0.030,Cohen's d=0.963)、颞叶(t (24)=2.22,p=0.046,Cohen's d=0.871)、顶叶(t (24)=2.31,p=0.039,Cohen's d=0.906)3 个脑区 PSD 显著高于视觉负荷组;θ 频段下听觉负荷组 4 个脑区 PSD 均显著高于视觉负荷组(额叶:(t (24)=5.92,p<0.001,Cohen's d=2.32)、颞叶:(t (24)=5.22,p<0.001,Cohen's d=2.05)、顶叶:(t (24)=5.64,p<0.001,Cohen's d=2.21)、枕叶:(t (24)=5.29,p<0.001,Cohen's d=2.08));α 频段下听觉负荷组额叶(t (24)=2.58,p=0.016,Cohen's d=1.01)、顶叶(t (24)=2.10,p=0.046,Cohen's d=0.824)PSD 显著高于视觉负荷组;β 频段下听觉负荷组顶叶 PSD 显著高于视觉负荷组(t (24)=2.36,p=0.027,Cohen's d=0.927)。
2.2.2 脑网络分析
以负荷状态为自变量,对各频段脑网络指标进行独立样本 t 检验,结果显示:θ 频段下听觉负荷组节点度数(t (24)=4.84,p<0.001,Cohen's d=1.90)、集聚系数(t (24)=6.36,p<0.001,Cohen's d=2.49)、特征路径长度(t (24)=4.84,p<0.001,Cohen's d=1.90)显著高于视觉负荷组;β 频段下听觉负荷组节点度数(t (24)=2.35,p=0.027,Cohen's d=0.923)、集聚系数(t (24)=2.70,p=0.012,Cohen's d=1.06)、特征路径长度(t (24)=2.35,p=0.027,Cohen's d=0.923)显著高于视觉负荷组。2.3 机器学习选取 SVM、决策树(Decision Tree, DT)、随机森林(Random Forest, RF)、KNN、梯度提升决策树(Gradient Boosting Decision Tree, GBDT)、极端梯度提升树(eXtreme Gradient Boosting, XGBoost)6 种机器学习模型作为分类器。
其中,SVM 是一种基于结构风险最小化原则的机器学习方法,常用于分类问题;DT 可以通过对特征进行逐层判断或划分,将数据分割到不同的叶节点,从而实现分类;RF 能够生成若干训练子集,并为每个子集训练一棵决策树,通过对所有决策树的预测结果进行分类;GBDT 能够通过梯度提升算法逐轮训练多棵决策树,并将每棵树的预测结果进行加权或累加,最终对数据进行分类;XGBoost 可以通过对目标函数进行 2 阶泰勒展开,在每一轮用新树拟合残差,并将所有树的输出累加用于分类。以 EEG 指标(单模态:脑区 PSD 与脑网络指标;双模态:二者组合)对两种负荷状态进行分类。
2.3.1 准确率
两组被试检测任务反应时、主观报告得分以及 EEG 指标的差异,证明了实验通过听觉 N-back 任务与提高场景复杂度诱发听觉负荷状态、视觉负荷状态的合理性。因此在机器学习部分,根据不同组别,将分类标签定义为视觉负荷状态、听觉负荷状态。在每个模型中以 8:2 的比例划分训练集与测试集,通过 5 折交叉验证选取最佳训练参数,并在测试集上评估性能后,将数据集以 1:1 的比例再次划分,重复测试 1000 次,以平均准确率作为模型表现的核心评估指标。结果显示,θ 频段特征在分类效果上表现最佳,6 种分类器在 3 种特征组合下的平均准确率达到了 87.62%。在该频段的 3 种模态中,PSD 作为特征的分类效果最好,平均准确率达到 93.05%。在所有分类模型中,基于 θ 频段 PSD 为特征的 RF 模型识别准确率最高,达到了 95.68%。
2.3.2 混淆矩阵
将 6 种分类器以 θ 频段 PSD 为特征的最佳模型进行混淆矩阵可视化,并计算识别每个状态时对应的灵敏度(True Positive Rate, TPR)与精确率(Positive Predictive Value, PPV),以更直观评估模型性能。结果显示:各分类器在识别听觉负荷状态和视觉负荷状态时均表现良好,其中 SVM、RF、KNN、DT、GBDT 分类器在识别两种状态时的精确率与灵敏度均达到了 80% 以上,XGBoost 模型在识别视觉负荷状态时灵敏度较高,达到了 85.71%,而在识别视觉负荷状态时精确率较低,仅为 75%,对于听觉负荷状态,其识别灵敏度较低,仅为 66.67%,精确率较高,达到了 80%。
2.3.3 SHAP 分析选取
对视听通道负荷状态识别准确率最高的 RF 模型进行 SHAP 分析,对特征重要度进行排序以探究对模型识别影响最大的特征指标,进一步解释机器学习黑盒模型。结果显示:在使用 RF 模型对视听通道负荷状态进行分类识别时,额叶的贡献值最大,其次是顶叶。
3 基于 EEG 信号识别视听
通道工作负荷的可行性本文旨在探讨以 EEG 指标作为分类特征,对视听通道负荷状态进行分类的有效性。通过综合分析不同负荷状态下被试的主观报告与行为数据差异性,证明提高场景复杂度以及执行听觉 N-back 任务能够有效诱发视听通道负荷状态。通过 EEG 指标,研究不同负荷状态下神经生理活动的差异性及模型对视听通道负荷状态分类识别的有效性。结果表明:δ 频段下听觉负荷状态额叶、颞叶、顶叶 PSD 显著高于视觉负荷状态;θ 频段下听觉负荷状态 4 个脑区 PSD、节点度数、集聚系数、特征路径长度显著高于视觉负荷状态;α 频段下听觉负荷状态额叶、顶叶 PSD 显著高于视觉负荷状态;β 频段下听觉负荷状态顶叶 PSD 以及节点度数、集聚系数、特征路径长度显著高于视觉负荷状态。以 θ 频段脑区 PSD 作为分类特征的 RF 模型表现最佳,分类准确率达 95.68%,其中额叶是对分类影响最大的脑区。
3.1 区分视听
通道负荷状态有效性已有研究表明,行为数据与主观报告可作为评估个体工作负荷状态的重要指标 [20]。本文中对反应时、NASA-TLX 量表得分以及 EEG 指标的统计分析也证明了在驾驶任务中执行 N-back 任务以及提高场景复杂度让被试产生了两种不同的负荷状态。听觉负荷状态 NASA-TLX 量表时间需求、努力程度两个维度的得分显著高于视觉负荷状态,表明在听觉负荷状态下,被试的驾驶任务变得困难,而听觉负荷组被试的反应时却显著低于视觉负荷组,结合四维多资源理论的核心假设,这一现象可归因于多模态任务在资源分配的差异性 [17]。根据该理论,虽然听觉任务负荷较高,但其主要占用听觉通道的资源,并未与视觉通道资源直接竞争。
由于实验要求被试对路障(视觉刺激)进行反应,听觉 N-back 任务的特性使视觉通道资源得以保留,确保了检测的反应效率。相比之下,在视觉负荷组中,被试需要应对复杂的道路环境,与检测反应任务共享同一视觉通道资源,从而导致资源竞争加剧,被试的注意力分散,使反应时间延长。区分不同通道的负荷状态对于自适应交互系统的建立以及驾驶安全有重要意义,系统应基于作业人员所处的负荷状态及时调整交互方式以保障行车安全。例如驾驶员处于视觉负荷时应优先使用语音交互,而在听觉负荷时优先使用视觉交互。
3.2 EEG 信号特征变化
通过对 EEG 指标进行频谱分析,探究不同通道负荷引起的脑区活动变化,结果表明:在 δ 频段下,听觉负荷组的额叶、颞叶、顶叶 PSD 均显著高于视觉负荷组,枕叶 PSD 高于视觉负荷组,且接近显著性水平;在 θ 频段下 4 个脑区 PSD 均显著高于视觉负荷组。因此,相较于视觉负荷状态,听觉负荷状态在 δ 与 θ 频段呈现出更强的神经振荡。已有研究指出,δ 频段活动与任务对工作记忆的要求呈正相关 [21],而 θ 频段的激活则代表了大脑对认知资源的分配,并随着认知需求的增加而增加 [22]。由于驾驶是一项以视觉信息处理为主的任务,被试在听觉负荷组下需要分配额外的工作记忆容量以完成听觉任务,导致认知资源需求的上升 [23],并反映在这两个频段脑区 PSD 的显著变化上。在 α 频段下听觉负荷组额叶与顶叶 PSD 显著高于视觉负荷组。
额叶 α 波活动强度是衡量注意力水平的重要指标 [24],而顶叶 α 波则与任务难度密切相关 [25]。在本文中,听觉 N-back 任务作为标准化任务,相较于单纯提高场景复杂度,能让被试更明显感受到任务难度,并需要在较长时间内保持高水平的注意力,从而激活额叶与顶叶的 α 波。由于顶叶皮层与注意力和认知资源需求高度相关 [26],这种任务难度的提升也反映在两组顶叶 PSD 在 4 个频段下的显著差异上。脑网络指标分析结果显示,听觉负荷状态的节点度数、特征路径长度、集聚系数在 θ、β 频段下显著高于视觉负荷状态,这与频谱分析结果相符。在听觉负荷状态下,被试所需的认知资源变多,处理信息能力变强,大脑能调动更多的认知资源。对 EEG 信号的分析可以进一步了解不同负荷状态所处的神经活动状态,对负荷识别有效性的增强有积极作用。探究视听通道负荷状态下 EEG 指标的差异性,对识别性能准确率的提升、特征维度的降低、节约自适应交互系统的计算成本具有重要意义。
3.3 机器学习分类效果
研究发现,与其他频段特征相比,θ 频段特征的分类效果最好,准确率可达 78.18%~95.68%,其中脑区 PSD 为最优分类特征,6 种分类器的平均准确率为 93.05%,这与之前的研究相符,即 θ 频段 PSD 的变化对认知负荷最为敏感 [27]。在以往报告中,多模态的识别性能应优于单模态 [28],但本次研究发现以脑区 PSD 与脑网络组合的双模态特征分类效果低于以脑区 PSD 为特征的单模态分类效果。这是因为本次选取的脑网络特征是全脑功能连接网络的总和,而没有细分至对应的脑区,这与脑区 PSD 模态之间差异较大,这种差异会使模型学习到特定模态的信息,对单模态分类有益,而降低双模态的分类效果 [29]。
此外,在全脑功能连接网络中,在视听通道负荷状态下,并非所有电极点之间的连接都是有效的,无效连接会引入额外的噪声,从而干扰模型整体学习过程,表现在脑网络特征在单模态识别时表现较差,并影响双模态识别视听通道负荷状态的整体性能 [20]。因此盲目增加特征数量并不会提升识别性能,多模态方案的识别性能取决于每个模态的具体贡献。追踪对负荷变化更为敏感的参数,找到 AI 理解人的关键指标,才能促进人 - AI 协同,符合以人为中心 AI 设计的发展趋势。SHAP 分析结果显示:额叶对视听通道负荷分类结果贡献最大。这是因为驾驶过程中额叶主要负责注意控制、行为抑制以及认知活动控制等 [30],视听通道负荷所需的认知资源调动情况不同,因此二者额叶差异明显。
3.4 本文局限性
与未来研究方向与之前研究相比,本文提出的模型首次基于 EEG 信号识别负荷在感觉通道维度上的变化,并在此过程中实现了较高的准确率。与以往仅关注负荷程度的识别模型相比,本文的多维度识别模型能够提供更精确的负荷监测,适应不同工作场景的需求,在帮助决策、提升系统响应效率和优化人机交互体验方面具有更大的潜力。同时也应该承认本文存在局限性:在实验设计方面,本文并未采用专业特种车辆作业人员与驾驶任务,这是因为专业特种车辆作业人员被试获取较为困难,且任务较为特殊。基于普通驾驶任务与社会人员建立的模型不能直接适用于真实特种车辆作业情景,需要进行模型的优化与迭代。
在样本量方面,本文样本量相对较少,一定程度上难以全面反映驾驶员 EEG 指标的复杂变化,在分类表现上,虽然本文通过将数据两次划分,并训练 1000 次来保证模型的稳定性,但较少的样本量会影响模型的泛化性,未来研究需要进一步扩大样本量,以更好地捕捉驾驶员在不同工作负荷状态下的 EEG 特征并保证模型性能。最后,虽然 EEG 信号在实时监测和负荷识别方面具有高灵敏度和高时间分辨率的独特优势,为模型提供了丰富的数据源,但也存在一定的局限性。由于容积传导效应,EEG 信号会出现空间模糊 [31]。为提升 EEG 的空间分辨率,未来研究者可以考虑采用高密度电极阵列 [32],或者将 EEG 与具有高空间分辨率的成像技术相结合,如 EEG - 近红外同步采集,同时保证 EEG 的高时间分辨率和近红外信号的高空间分辨率,从而进一步探究驾驶员在不同通道负荷状态下的多模态生理特征,并给机器学习模型提供更丰富的特征来源。
4 结论
本文基于四维多资源理论,通过提高场景复杂度与设置听觉 2-back 任务分别诱发驾驶员产生视觉与听觉通道负荷状态,探究视听通道负荷状态下驾驶员的脑神经机制差异与 EEG 指标的分类性能,并通过 SHAP 分析确定对分类影响最大的 EEG 特征。得出如下主要结论:提高场景复杂度与听觉 N-back 任务能够诱发被试产生视听通道负荷状态,且对作业人员来说听觉负荷状态下驾驶更加困难,但由于其不占用视觉通道,在驾驶时面对突发情况能更快速做出反应。从脑地形图的激活情况来看,相比于视觉负荷状态,听觉负荷状态会增加作业人员 4 个脑区的 PSD。相较于视觉负荷状态,听觉负荷状态需要作业人员更频繁快速地处理信息,表现在 θ 与 β 频段的节点度数、集聚系数、特征路径长度的显著提高。θ 频段 PSD 在识别视听负荷时表现最优,6 种模型平均分类准确率可达 93.05%。基于 θ 频段 PSD 特征的 RF 模型可有效识别作业人员的视听通道负荷状态,准确率可达到 95.68%。SHAP 分析结果显示,额叶对分类结果的贡献最大,表明额叶在识别视听通道负荷状态中发挥了关键作用。
本文从脑机接口领域出发,以 EEG 指标为基础,探讨了视听通道负荷状态下的脑神经机制差异与 EEG 指标在负荷识别中的表现,并找出对视听负荷分类起关键作用的靶区信号。这些发现有助于自适应交互系统实时监测并调整特种车辆作业人员的负荷状态,从而提高驾驶安全性,预防事故发生。未来的研究可以进一步验证多种感官通道负荷状态的相互作用机制,并探索多模态交互模式在负荷识别中的应用。此外,本文为后续工程化应用提供了基础支撑。在未来的研究中,可以进一步集成硬件设备,如将智能头环与算法模型结合,开发工程样机。这一集成化的方向不仅有助于系统的便携性和高效性,还能够为实际场景中的智能人机交互提供技术保障,推动特种车辆安全管理领域的创新。
刘天程;常若松;解芳;蒋泽斌;张艺竞;毛明,辽宁师范大学心理学院,中国北方车辆研究所,浙江大学心理与行为科学系,大连理工大学医学部,202505