基于多维特征和语境信息融合的车牌检测方法

来源：计算机技术与发展杂志2021年第09期北京时间：

作者：宋其杰;';刘峰;';干宗良;';刘思江;'

单位：1. 南京邮电大学 通信与信息工程学院,江苏 南京 210003;2. 南京邮电大学 图像处理与图像通信重点实验室,江苏 南京 210003;3. 南京邮电大学 教育科学与技术学院,江苏 南京 210023

摘要：为了提高交通监控视频中不同拍摄距离和拍摄角度下车牌检测的性能,提出了一种基于深度卷积神经网络, 利用多维特征信息增强和语境信息融合优化车牌检测性能的算法。 首先,? 在标注一块区域称为车牌上下文区域,? 结合车辆在图中的位置作为辅助车牌检测的语境信息。 接着,为了提取出车牌区域和语境区域,对两阶段检测网络 Faster R-CNN 做出调整:选取 VGG16 中不同的卷积层输出分别融合成针对车辆区域,车牌上下文区域,车牌区域的多尺度融合特征图,使低层位置信息和高层语义信息得以互补,增强特征的表征能力,减小尺寸因素的影响。 随后对检测到的车牌区域特征和语境区域特征进行融合,实现车牌检测的修正。 最后,在 RPN 阶段,用旋转 anchor 替换矩形 anchor 来生成更加合适的预测框,解决真实场景中由观测角度引起的车牌旋转问题。 基于多个基准车牌数据库的实验结果表明,文中提出的算法与现有算法相比,针对不同尺寸和不同角度的车牌具有更好的检测效果。

关键词：车牌检测;卷积神经网络;多维特征;语境信息融合;改进 Faster R-CNN;旋转检测框