基于卷积与自注意力的红外与可见光图像融合
来源:系统工程与电子技术杂志2024年第8期北京时间:
作者:陈晓萱, 徐书文, 胡绍海, 马晓乐
单位:1. 北京交通大学计算机与信息技术学院, 北京 100044;2. 中国电子科技集团公司电视电声研究所, 北京 100015
摘要:由于卷积运算过于关注图像的局部特征, 在对源图像进行融合时容易造成融合图像的全局语义信息丢失。为了解决该问题, 提出一种基于卷积与自注意力的红外与可见光图像融合模型。该模型在使用卷积模块提取图像局部特征的同时, 还使用自注意力来提取图像全局特征。此外, 由于简单运算无法满足不同层次特征的融合, 提出使用嵌入式块残差融合模块来实现多层次特征融合。实验结果表明, 相比无监督深度融合算法, 所提的方法在主观评价与6项客观指标上的结果具有一定优势。其中, 互信息、标准差和视觉保真度分别提升了61.33%、9.96%和19.46%。
关键词:图像融合,全局特征,自注意力机制,自编码器,深度学习
基金资助:国家自然科学基金(62172030);国家自然科学基金(62202036)
2024年8期其他文献查阅:
基于星链信标信号的多普勒定位方法与实验
基于ACM的LFM信号抗瞄准式干扰方法
海洋4A散射计幅相校正算法FPGA优化实现
卫星导航接收机带外电磁干扰效应研究
传感器位置误差下TDOA-DOA水下目标被动定位算法
抗速度欺骗干扰的雷达发射波形与接收滤波器联合设计方法
基于观测站精确距离信息的多站时差定位方法
基于GNSS的前向散射雷达网目标穿越特性研究
基于极化-相位调制的雷达通信一体化波束方向图设计
对旁瓣相消的分布式干扰优化布阵方法
基于稀疏矩阵填充的级联毫米波雷达高分辨测角方法
基于卷积与自注意力的红外与可见光图像融合
视频合成孔径雷达技术发展现状综述
天基分布式雷达海面目标跟踪应用总体技术研究
高维数据局部贝叶斯网络结构学习
基于层级池化序列匹配的知识图谱复杂问答最优查询图选择方法
基于航迹预测的无人机短时航迹偏离检测方法
重大舆情与突发事件舆论演变与引导机制研究述评
基于GPR模型的用户量预测优化方法
基于研制阶段数据融合的舰炮制导弹药测试性评估方法
基于差分窗口生成式对抗网络的空战态势评估
异质信息网络链路预测方法综述
基于选择性维修的装备群动态健康管理决策
基于双模式切换的机载惯性/雷达组合导航方法
基于载机视觉信息的改进视线制导律设计
天基分布式无源探测的空间多目标跟踪方法
入射光准直角对模拟式太敏的影响与精度补偿
面向组网雷达干扰任务的多机伴随式编队航迹预规划方法
基于目标量测误差分布的航迹抗差关联算法
基于局部感知的无人艇集群过复杂障碍场方法
OFDM系统迭代脉冲噪声抑制与信道估计方法
基于参数估计和Kalman滤波的单通道盲源分离算法
基于FrFT-FH架构LPD通信波形设计与性能分析
业务驱动的低轨卫星物联网终端模态切换方法
基于cSVB算法的DME脉冲干扰抑制方法