学术服务内容

在线编辑 学术顾问

咨询率高的期刊

推荐论文

基于智能识别技术的铁路安检辅助分析装置研究

时间:2022年06月02日 所属分类:推荐论文 点击次数:

摘要:针对铁路安检 X 光图像判图高度依赖人工,时有发生漏检的问题,提出一种基于智能识别技术的铁路安检辅助分析装置;通过采用视频图像接口的硬件设计,解决与安检仪的适配问题;通过采用跟踪进程、分析进程、推送进程的多进程思路设计,解决 60 Hz 刷新率

  摘要:针对铁路安检 X 光图像判图高度依赖人工,时有发生漏检的问题,提出一种基于智能识别技术的铁路安检辅助分析装置;通过采用视频图像接口的硬件设计,解决与安检仪的适配问题;通过采用跟踪进程、分析进程、推送进程的多进程思路设计,解决 60 Hz 刷新率下的高精度分析显示问题;跟踪进程采用关键点差分算法实现安检 X 光图像跟踪,分析进程采用改进的残差网络(ResNet)实现特征提取,采用 CenterNet 算法实现禁限物品检测,推送进程通过检测键盘中断实现报警图像推送;经实验测试,该装置禁限物品识别准确率达 92%,显示帧率达 60 帧/秒,可适配主流品牌安检仪,满足铁路车站安检辅助分析需求。

  关键词: 铁路安检;禁限物品检测;图像跟踪;卷积神经网络;辅助分析

智能识别技术

  0 引言

  铁路旅客运输安全检查主要依托安检仪检测旅客行李并成像,值机人员根据图像颜色及形状判断查堵禁限物品。目前铁路客运安检物防和技防措施相对较少,仍采用传统的人工判图方式,时有发生漏查漏检事件[1]。因此,迫切需要基于机器视觉、深度学习等智能识别技术,并结合铁路车站现场情况,研究铁路安检辅助分析装置,辅助安检判图作业[2,3]。铁路安检辅助分析装置相关研究较少,现有研究主要围绕禁限物品识别算法。文献[4]基于Faster-RCNN、RetinaNet等主流目标检测算法针对手枪检测进行研究,实验环境为GTX1080TI显卡,未分析算法的检测速度和资源消耗。文献[5]以Yolo-V3为基线算法,通过引入复合骨干网络、特征增强模块改进算法,提高了检测精度,在2张RTX2080TI的环境下,检测速度达到40帧/秒(FPS)。

  文献[6]以Yolo-V3为基线算法,通过引入密集连接,改进损失函数的方法进行优化,提高了检测精度,检测速度低于10FPS。上述研究主要关注识别精度的提升,缺乏对模型轻量化部署、资源消耗、检测速度、安检仪适配、整体设计的统一考虑,均无法直接运用于铁路安检辅助分析装置,不满足现场需求。铁路安检作业流程如下:判图员通过盯控安检仪显示器,根据图像颜色及形状判断查堵禁限物品,若发现疑似禁限物品,则通知处置人员进行开包核验,并对核验确认携带禁限物品的旅客登记信息。综上分析,铁路安检辅助分析装置主要功能如下:1)实时分析安检X光图像,准确识别图像中的禁限物品,并以直观、清晰的方式在安检X光图像中进行展示,且不影响判图员看图作业;2)支持导出发现的禁限物品图像、报警信息等。

  1.硬件设计

  目前,全路客运站的安检通道约5300个,主流安检仪厂家约30家,没有标准化的对外数据接口,安检仪内置工控机与显示器通过VGA、HDMI、DVI等接口连接。综合业务需求和现场情况,辅助分析装置采用边缘分析方案设计。辅助分析装置与安检仪通过视频图像接口连接,可适配VGA、HDMI、DVI接口,满足主流安检仪的接入适配;辅助分析装置与显示器通过视频图像接口连接,将识别禁限物品后的视频信号传送至显示器。基于上述的装置连接设计和功能需求,辅助分析装置应尽量小型化,且支持视频采集、分析处理和实时展示功能。因此,辅助分析装置硬件采用定制工控机,整机采用电源外置设计,以尽可能减小机身尺寸,方便实施部署,装置基于X86架构,并搭载视频采集卡和GPU,满足视频采集和分析处理展示要求。主流安检仪的画面刷新率为60Hz,画面分辨率不超过1 080 P,视频接口通常为DVI、HDMI或VGA接口。

  因此,视频采集卡的最高采集性能需支持60 Hz下的1 080 P分辨率,在采集接口方面,DVI、HDMI为数字高清接口,VGA为模拟接口,且3种接口可相互转换,故视频采集卡仅需支持一种接口,本设计选择DVI接口的视频采集卡。估算视频分析、处理、展示需求,进行CPU和GPU选型。由于系统软件涉及目标检测、目标跟踪、实时视频展示等多种功能,存在多进程需求,故采用4核CPU。GPU选型主要由目标检测算法和模型的算力需求决定。经实验测试,禁限物品检测算法和模型的显存需求不高于4 GB,在10.6 TFlops算力的GTX1080TI显卡下,检测一张图片的时间约为10 ms。经分析,禁限物品检测算法的检测时间在100 ms即可满足需求,故GPU显存应不低于4 GB,浮点算力不低于1 TFLops,兼顾成本控制情况下,选择4 GB显存、896Cuda核心的入门级计算卡。辅助分析装置配置8 GB内存,硬盘容量要求较低,为提高读写速度,提高整机性能,采用固态硬盘,选择240GB SSD硬盘。

  2.软件设计辅助分析

  装置主要功能为对接入的安检视频信号实时分析,检测禁限物品,并将识别禁限物品后的视频信号实时展示。软件设计主要有以下2点挑战:1)高速处理及显示问题:安检视频信号刷新率通常为60 Hz,即每一帧安检画面的分析、显示全流程需在16 ms内完成;2)高准确率问题:对手抢、刀具、压力罐等禁限品的识别准确率应尽量高。为保证高准确率,采用基于深度学习的目标检测算法进行禁限物品识别。对主流基于深度学习的目标检测算法Faster-RCNN,[7] SSD, [8]Yolo,[9] RetinaNet[10]等进行性能比选,均无法在有限的边缘算力下,在16ms内完成1帧安检X光图像的处理。为保证软件在低资源消耗下可实时准确地进行安检X光图像检测,软件整体设计采用基于深度学习的目标检测算法结合安检X光图像跟踪算法实现。

  软件采用多进程设计。主进程为跟踪进程,采用关键点差分算法实现安检X光图像跟踪,负责读取安检X光图像、控制分析进程启动、执行安检X光图像跟踪算法、识别结果展示,整个流程控制在16ms内完成,可满足安检X光图像实时展示需求。首先,对读取的每一帧安检X光图像,判断是否需要做分析检测,分析检测采用定时轮询方式,即每隔固定的帧数图像进行分析检测。然后,计算读取的图像与参考基准图像的画面偏移量,将禁限物品检测的标记方框按照计算的偏移量进行调整,并标记在新读取的图像上,实现安检X光图像中禁限物品的跟踪。最后,调用展示函数,展示最新的安检X光图像。子进程为分析进程和推送进程。

  分析进程根据检测标志位数值,执行禁限物品检测,通过对每次的分析检测结果进行锁定,保存为参考基准信息,主进程中的跟踪算法便可根据参考基准信息进行跟踪,降低了对分析进程实时性的要求,分析进程仅需在200ms内完成分析检测即可。分析进程采用改进的ResNet实现禁限物品图像的特征提取,采用CenterNet算法实现禁限物品检测,可实现手抢、刀具、扳手、钳子、剪刀、压力罐、打火机、充电宝、塑料瓶、保温杯10类禁限物品的检测和识别,检测结果以目标类别、置信度、标记方框坐标进行输出。推送进程根据键盘中断判断是否推送信息,判图员通过指定按键操作,可实现向外部系统平台推送检测结果的操作,便于禁限物品信息录入和统计分析。

  3.关键技术

  3.1 改进的 ResNet 特征

  提取网络何恺明等提出的ResNet网络,已在众多图像分类算法中取得优异成绩,并被广泛运用在目标检测算法中作为特征提取网络。

  3.2 CenterNet 算法

  禁限物品检测CenterNet算法为无锚点目标检测算法,与传统的二阶段目标检测算法和一阶段目标检测算法相比,算法舍弃了锚点框的思想,且最终生成的预测框不需要进行非极大值抑制运算,在保证高精度的同时,大幅提升了检测速度,在coco数据集中达到了142FPS的检测速度。[17-20]CenterNet算法使用预测框的中心来表示目标,在预测目标中心的基础上,同时预测目标的分类、目标中心的偏移量以及目标的宽高。[21]将128×128×128的输入特征分别送入3个预测分支,用于预测目标中心点、中心的偏移量以及目标的宽高。由于特征图相比于输入图像有4倍的下采样率,预测的目标中心与真实目标中心存在一个偏差,这个偏差通过中心的偏移量预测分支进行预测。

  3.3 关键点差分算法

  关键点差分算法的目的是实现禁限物品的目标跟踪。视觉目标跟踪指在一个视频序列中,给定第一帧目标区域,在后续帧中自动匹配到该目标区域的任务。[22]视频目标跟踪算法大多基于粒子滤波、均值漂移、孪生网络等技术,这些算法为适应场景遮挡、光照变化、物体本身形变等复杂因素,均有大量复杂计算,无法满足系统目标跟踪实时性要求。因此,分析安检X光图像的生成机制和特点,设计关键点差分算法。安检仪生成安检X光图像的方式与摄像机生成视频信号的方式不同。摄像机生成的视频信号,每一帧的整幅画面都是重新曝光生成的,即使是完全静止的画面,每一帧图像中的相同位置的像素值也会有差异。安检X光图像是通过安检仪探测器扫描产生,数据以列信号方式生成,即随着待检测物体在安检传送带的传送,逐列增量产生新的数据信号,故连续安检X光图像中的相同画面部分,像素数值完全相同。安检X图像的这一特点,使得安检X光图像的跟踪算法可通过像素差值对齐的方式进行设计,大幅降低运算量。

  3.4 报警图像推送

  为支持报警图像、报警信息的导出,方便处置登记,设计推送进程。推送进程采用独立进程设计,通过检测键盘中断,在判图员按下指定按键时,向外发送报警图像,以及报警时间、禁限物品类别、禁限物品置信度等报警信息。报警图像及报警信息通过socket连接的方式,以流的形式进行发送。

  4. 实验结果与分析

  辅助分析装置操作系统为Ubuntu16.04,软件采用python3.7实现。多进程基于multiprocessing包实现;安检X光图像数据采集基于cv2包中的VideoCapture类实现;改进的ResNet网络及CenterNet算法基于pytorch1.7实现;算法GPU加速基于Cuda10.1和Cudnn7.6实现;关键点差分算法基于numpy包实现;报警图像推送基于cv2包中的事件函数实现。

  4.1 禁限物品识别检

  测禁限物品识别模型基于铁路安检数据集训练,该数据集包含简单背景、复杂背景下共10类禁限品的10 000张图像,禁限物品种类包括:手抢、刀具、扳手、钳子、剪刀、压力罐、打火机、充电宝、塑料瓶、保温杯。选取数据集中70%为训练集,30%为测试集,模型训练采用SGD优化器,超参设置如下:初始学习率0.005,训练100轮,学习率在第60轮和第90轮分别衰减至1/10,训练batch设置为16,采用平均精度(mAP)作为评价指标。

  4.2 整机测试

  按硬件参数设计定制工控机,整机采用小型化设计,尺寸为23.5 cm×18.0 cm×13.2 cm。对整机在车站进行现场测试,辅助分析装置与安检仪通过DVI接口连接。采用车站收缴的刀、剪刀、打火机、压力罐、扳手等禁限物品实物测试装置报警准确率。将禁限物品装入书包、行李箱等,进行过机测试,干扰物为笔记本电脑、衣服、书籍、电子产品、食品等,统计分析检测的准确率。

  分析装置在复杂背景下的表现与简单背景下存在较大差距。分析实验数据,发现算法对复杂背景存在较多误判,拉低了算法准确率。在复杂背景中,多种目标混合重叠,对算法干扰较大,尤其是笔记本电脑目标,由于笔记本电脑有较大的金属和电路板区域,产生了大量纹理纹路复杂的蓝色背景,贡献了较多误判。下一步,将从以下方面对装置进行改进:1)对训练数据集中添加笔记本电脑等非禁限物品,扩充数据集,以进一步提升模型在复杂背景下的性能;2)不断扩充数据集,并加入多种品牌型号安检仪的安检图像,持续迭代模型,提升精度。

  5.结束语

  为解决铁路安检高度依赖人工判图,时有发生漏报的问题,基于智能识别技术和多进程思路设计了铁路安检辅助分析装置,并对识别检测算法和跟踪算法进行了深入研究。经车站试点测试,辅助分析装置可适配多品牌安检仪,部署实施方便,报警准确达92%,漏报率为3.5%,安检画面达60FPS,满足车站使用需求。辅助分析装置可辅助安检判图员作业,提升整体安检质量,促进安检作业提质增效。

  参考文献:

  [1]张秋亮,唐雯,杨栋. 基于智能识别技术的铁路旅客运输安全检查管理信息系统[C]//第十六 届 中 国 智 能 交 通 年 会 科 技 论 文 集 .2021:275-282.

  [2] 梁添汾,张南峰,张艳喜,等. 违禁品 X光图像检测技术应用研究进展综述[J]. 计算机工程与应用,2021,57(16):74-82.

  [3] 张积存,费继友,宋雪萍,等. 基于深度学习的 X 光图像智能审像系统[J]. 计算技术与自动化,2021,40(2):125-130.

  [4] GAUS Y F A, BHOWMIK N, BRECKONT P. On the use of deep learning for the detectionof firearms in x-ray baggage securityimagery[C]// IEEE Symposium on Technologiesfor Homeland Security (HST 2019),IEEE,2019.

  [5]郭守向, 张良. Yolo-C:基于单阶段网络的 X光图像违禁品检测[J]. 激光与光电子学进展,2021,58(8):67-76. .

  作者:杨栋 1 李超 2 吴兴华 2 王椿钧 2 唐雯 2