基于条件可逆神经网络的多模态医学图像融合

来源：计算机测量与控制杂志2025年第1期北京时间：

作者：张倩楠,王蒙

单位：昆明理工大学信息工程与自动化学院

摘要：为减少图像融合在深层网络前馈过程中的空间细节损耗，提出一种基于条件可逆神经网络（CINN）的医学图像融合方法；通过应用可逆的分析-综合架构实现空间细节与关键语义互补的多模态融合；在前向分析阶段，将多分辨率特征嵌入CINN作为条件向量实现多模态表示学习；在反向综合阶段，使用一个基于小波的条件融合（WCF）网络引导CINN完成反向重构；在特征融合中应用相关激活模板（RAM），聚焦多模态医学图像中的关键结构区域与纹理细节一致性信息；构造前向分析-反向重构联合损失高效地优化网络参数，以获得高质量的融合图像；实验测试了CT-MRI及MRI-PET场景，与现有融合基线相比，提出方法在SCD以及VIFF等客观融合指标上性能分别提升了15.16%和46.53%，并且在主观视觉质量上均取得了优越的结果。

关键词：图像融合;多模态医学图像;条件可逆神经网络;深度生成网络;多分辨率分析

基金资助：中国国家自然科学基金(62062048)；云南省科技计划(202201AT070113)