基于动态视觉运动特征的脉冲神经网络识别方法

来源：电子与信息学报杂志2023年第8期北京时间：

作者：董峻妃, 姜润皓, 燕锐, 唐华锦

单位：1.四川大学计算机学院 成都 6100652.浙江大学计算机科学与技术学院 杭州 3100583.浙江工业大学计算机科学与技术学院 杭州 310014

摘要：针对现有脉冲神经网络(SNN)对动态视觉事件流识别精度低与实时性差等问题，该文提出一种基于动态视觉运动特征的脉冲神经网络识别方法。首先利用基于事件的运动历史信息表示与梯度方向计算提取事件流中的动态运动特征；然后引入时空池化操作来消除事件在时间和空间上的冗余，保留显著的运动特征；最后，将特征事件流输入脉冲神经网络进行学习与识别。在基准的动态视觉数据集上的实验结果表明，动态视觉运动特征可显著提升SNN对于事件流的识别精度与计算速度。

关键词：动态视觉感知, 事件相机, 脉冲神经网络, 动作识别, 运动特征提取

基金资助：国家重点研发计划 (2020AAA0105900)