用于全色锐化的金字塔特征解耦提取融合网络

来源：计算机工程与科学杂志2025年第7期北京时间：

作者：林毅1, 2, 3, 宋慧慧1, 2, 3

单位：1.南京信息工程大学计算机学院、网络空间安全学院,江苏 南京 210044;2.江苏省大数据分析技术重点实验室,江苏 南京 210044;3.大气环境与装备技术协同创新中心,江苏 南京 210044

摘要：全色锐化的目的在于将同一个遥感卫星获取的低分辨率多光谱图像LRMS及其对应的高分辨全色图像PAN进行融合，以生成高分辨率的多光谱图像HRMS。现有网络过于依赖基于深度学习的特征提取和融合能力而无法聚焦模态优势特征，忽略了多模态各自具有的特定表征，导致最终得到过多冗余特征。为了提取的特征可以独立表达期望表征、减少冗余信息从而更好融合2种模态的互补信息，提出了一种全新的用于全色锐化的金字塔特征解耦提取融合网络，以有效地增强图像的光谱和纹理细节的表示能力。首先，网络借鉴分治思想，将光谱和纹理信息进行解耦提取，设计不同注意力机制分别提取多模态的独特细节信息。其次，通过跨模态特征融合模块加强不同模态特征之间的交互，促进网络获得多模态的互补信息且去除冗余信息。最后，网络基于金字塔结构在多个空间尺度上进行了特征提取融合操作，获得了出色效果。在GaoFen-2和WorldView-3卫星数据集上进行了大量实验，结果表明提出的网络相较对比网络取得了显著的改进，对全色锐化任务有很大的帮助。

关键词：遥感,全色锐化,金字塔,特征解耦,注意力机制,

基金资助：国家自然科学基金（61872189）