结合多尺度与可变形卷积的自监督图像特征点提取网络

来源：计算机测量与控制杂志2022年第4期北京时间：

作者：张少鹏,周大可

单位：南京航空航天大学自动化学院

摘要：特征点提取是图像处理领域的一个重要方向，在视觉导航、图像匹配、三维重建等领域具有广泛的应用价值。基于卷积神经网络的特征点提取方法是目前的主流方法，但由于传统卷积层的感受野大小不变、采样区域的几何结构固定，在尺度、视角和光照变化较大的情况下，特征点提取的精度和鲁棒性较差。为解决以上问题提出了一种结合多尺度与可变形卷积的自监督特征点提取网络。本文以L2-NET为网络骨干，在深层网络中引入多尺度卷积核，增强网络的多尺度特征提取能力，获得细粒度尺度信息的特征图；使用单应矩阵约束的可变形卷积以提取不规则的特征区域，同时降低运算量，并采用归一化约束单应矩阵的求解，均衡不同采样点对结果的影响，配合在网络中增加的卷积注意力机制和坐标注意力机制，提升网络的特征提取能力。文章在HPatches数据集上进行了对比试验和消融实验，与R2D2等7种主流方法进行对比，本文方法的特征点提取效果最好，相比于次优数据，特征点重复度指标（Rep）提升了约1%，匹配分数（M.s.）提升了约1.3%，平均匹配精度（MMA）提高了约0.4%。本文提出的方法充分利用了可变形卷积提供的深层信息，融合了不同尺度的特征，使特征点提取结果更加准确和鲁棒。

关键词：特征点检测;多尺度卷积;可变形卷积;注意力机制;

基金资助：国家自然科学基金项目（面上项目，重点项目，重大项目）