基于多特征融合的自监督图像配准算法

来源：计算机应用杂志2024年第5期北京时间：

作者：韩贵金, 张馨渊, 张文涛, 黄娅

单位：1.西安邮电大学 自动化学院，西安 710121；2.中国建筑第八工程局有限公司西南分公司，成都 610041

摘要：为保证提取特征的信息量丰富，当前基于深度学习的图像配准算法通常采用深层卷积神经网络，模型的计算复杂度高，而且还存在相似特征点区分度低的问题。针对上述问题，提出一种基于多特征融合的自监督图像配准算法（SIRA-MFF）。首先，使用浅层卷积神经网络提取图像特征，降低计算复杂度，并且通过在特征提取层添加特征点方向描述符，弥补浅层网络特征信息量单一的问题；其次，在特征提取层后添加用于扩大特征点感受野的嵌入与交互层，融合特征点局部和全局信息以提升相似特征点区分度；最终，最佳匹配方案由改进的特征匹配层计算得到，并同步设计了一种基于交叉熵的损失函数用于模型训练。在ILSVRC2012数据集生成的2个测试集中，SIRA-MFF的平均匹配准确率（AMA）分别为95.18%和93.26%，优于对比算法；在IMC-PT-SparseGM-50测试集中，SIRA-MFF的AMA为89.69%，也优于对比算法，且与ResMtch算法相比，单张图像运算时间降低了49.45%。实验结果表明，SIRA-MFF具有较高精度和较强的鲁棒性。

关键词：图像配准,自监督学习,特征融合,特征描述符,特征嵌入

基金资助：陕西省科技厅重点研发计划项目(2023?YBGY?032)