基于双路时空网络的驾驶员行为识别

来源：计算机应用杂志2024年第5期北京时间：

作者：席治远, 唐超, 童安炀, 王文剑

单位：1.合肥学院 人工智能与大数据学院，合肥 230601；2.山西大学 计算机与信息技术学院，太原 030006

摘要：驾驶员危险驾驶行为是恶性交通事故发生的主要原因之一，因此识别驾驶员行为具有工程应用上的重要意义。目前，主流基于视觉的检测方法是对驾驶员行为的局部时空特征进行研究，针对全局空间特征及长时序相关性特征研究较少，这在一定程度上无法结合场景上下文信息对危险驾驶行为进行识别。为了解决上述问题，提出一种基于双路时空网络的驾驶员行为识别方法，整合不同时空通路的优点以提高行为特征丰富度。首先，使用一种改进的双流卷积神经网络（TSN）对时空信息进行表征学习，同时降低提取特征的稀疏性；其次，构建一种基于Transformer的串行时空网络补充长时序相关性信息；最后，联合双路时空网络进行融合决策，增强模型的鲁棒性。实验结果表明，所提方法在驾驶员疲劳检测数据集YawDD、驾驶员分心检测数据集SF-DDDD和最新驾驶员行为识别数据集SynDD1这3个公开数据集上分别取得99.85%、99.94%和98.77%的识别准确率，特别是在SynDD1上，与使用动作识别的网络MoviNet-A0相比识别准确率提升了1.64个百分点；消融实验结果也验证了该方法对驾驶员行为有较高的识别精度。

关键词：驾驶员行为识别,双路时空网络,双流卷积神经网络,Transformer

基金资助：国家自然科学基金资助项目(62076154);安徽省自然科学基金资助项目(2008085MF202);安徽省研究生学术创新项目(2022xscx145);安徽省大学生创新创业训练计划项目(1602307783011602432)