岩石薄片多聚焦图像融合的深度学习算法研究

　　摘要：本文提出了一种基于无监督的深度学习算法，以解决在显微镜下采集产生的岩石薄片图像的多聚焦融合问题。为了提取图像的深层特征，本文使用无监督方法训练了一个编解码神经网络，用于提取不同聚焦图像的深度特征，得到特征图;然后利用特征图的空间频率计算出二值决策图;由于细微的决策偏差，二值决策图中可能存在孔洞、毛刺干扰，于是对决策图进行形态学处理和滤波。最后通过处理后的决策图得到融合图像。同时主观效果上也好于其他方法;实验证明了在显微镜岩石薄片图像和通用图像的多聚焦融合应用中，该方法能取得良好的效果。

　　关键词：多聚焦融合;深度学习;无监督方法;岩石薄片图像

　　引言

　　在石油地质相关的图像处理与分析工作中，岩石薄片图像是地质工作人员分析地下岩石成分的重要依据。地质学常用鉴定方式是将岩石切割样本制作成薄片，然后在光学显微镜下进行鉴定。而为了更快速准确地得到鉴定结果，研究人员如今使用相机采集图像，通过计算机自动化分析技术辅助地质工作人员分析岩石样本。由于薄片制作有一定厚度，而相机景深有一定限制，在物镜放大倍数较高(如10倍及以上)的情况下，有时会导致部分区域模糊,这会直接影响后续的岩石薄片图像分析工作。图像多聚焦融合方法为解决该问题提供了有效方案。

　　图像多聚焦融合是通过算法将同一视角下不同聚焦点的多张图像融合在同一张图像内，得到一张聚焦清晰、信息完整的融合图像[1];融合图像更便于后续的分割、特征提取和目标检测等工作。多源图像融合领域类别主要有：多聚焦图像的融合、多曝光图像的融合、医学图像的融合、多光谱和全色、多光谱和高光谱以及可见光和红外图像的融合等[2]。

　　传统多聚焦图像融合方法主要分为两类，空间域方法和变换域方法。经典变换域融合方法主要有基于拉普拉斯金字塔方法LaplacianPymaid,LP)、低通比率金字塔RatiooflowpassPyramid,RP)、离散傅里叶变换DiscreateFourierTransform,T)、稀疏表示SparseResprentaton,SR)、imagemattingbased(IMF)[3]等方法该类方法融合过程复杂且计算量较大，且需要根据特定场景选择合适的算法和策略;空间域融合方法主要基于梯度信息计算活跃度，如基于引导滤波方法[4]、themultiscaleweightedgradientbasedone[5]、thedenseSIFT(DSIFT)[6]等，该类方法正对局部图像效果显著，但是缺点是在融合边缘处易产生边缘效应。

　　近年来，随着深度学习技术在计算机视觉领域的应用，图像分类、目标检测、图像分割、超分辨重建等方向都取得了巨大进步。而图像融合领域中，基于深度学习的融合方法也被逐渐应用到数码摄影、多模态成像、遥感成像[7]、激光雷达成像[8]等方向中。

　　至今，已有多种基于深度学习的融合策略被提出;例如，2017年提出的基于卷积神经网络融合方法的多聚焦融合任务[9]，文中采用监督学习方法，用高斯滤波器生成不同模糊级别的合成图像，以训练二分类网络来区分图像中区域是否模糊，该方法边界融合质量高，但是聚焦和非聚焦区域的识别精度不够;之后，有DeepFuse网络10]这样的无监督方法来融合多曝光图像;还有用以融合红外光和可见光图像的DenseFuse网络[11]，该网络使用编解码无监督策略获得有效特征，并通过L1范数生成融合图像;此外还有Lai等人提出的端到端的多尺度视觉注意力卷积神经网络MADCNN[12]，此类端到端网络最终直接输出融合图像。

　　总之，基于深度学习方法的图像融合方法，主要分为两类：一类为两阶段融合策略，即第一阶段通过网络生成融合策略图，第二阶段使用融合策略图引导结果图的生成，如DenseFuse和SESFFuse[13]等网络，这类方法可以充分利用神经网络提取图像的深度特征，相比于传统融合方法有很大提升，但需要设计合适的融合规则以保证边界融合质量;另一类为统一融合策略，通过端到端网络直接生成融合图像[14]，该类策略需要设计合适的网络提取图像的浅层和深层特征并组合，需要同时考虑图像结构相似性以及总变差指标等，网络泛化性以及稳定性相对较差。

　　综上，考虑到岩石薄片图像数据的特征以及算法的稳定性，本文主要研究两阶段融合图像的方法，设计无监督神经网络提取图像特征，找到两幅图像中各自清晰的视域，并优化融合策略，将清晰区域合成到一张图像中。为提升图像融合效果，将该技术应用至地质领域的薄片图像融合中，我们使用岩石薄片图像数据以及通用图像数据集训练了一个基于卷积神经网络的编码器网络来提取同一视域下不用聚焦点图像的高维特征，然后在决策阶段，利用该高维特征计算活跃度水平，最后通过一定的融合策略得到最终的融合图。通过验证，该网络在显微镜岩石薄片图像和普通场景图像的多聚焦融合上都取得了较好的效果。

　　1本文方法

　　1.1算法整体概述

　　岩石薄片中颗粒形状大小不一，在高倍显微镜下采集得到的部分图像会产生区域模糊现象，这类图像会影响岩石成分自动化分析，因此，本文设计了一种基于深度学习方法，以实现岩石薄片多聚焦融合。

　　本文算法可分为四个模块：特征编码器、特征解码器、特征对比模块、生成模块。首先通过分别输入两幅不同聚焦点的图像f1、f2至特征编码器和特征解码器，提取出各自的深层特征图fm1、fm2。特征对比模块计算特征图fm1、fm2的空间频率来得到对应的初始决策图，决策图反映了两幅输入图像各自的活跃度水平;随后通过逐像素比较两张决策图中对应坐标点的活跃度大小，得到一张二值决策图;由于二值决策图可能存在部分错误点，所以采用了常用的一致性验证法来去除其中的错误点。最后，生成模块根据决策图生成最后的融合图像。

　　1.2特征编解码层

　　1)编解码模型在传统多聚焦融合领域，往往通过计算梯度或者频率域信息得到图像特征，然后采用一定的融合策略生成融合图。而现有研究表明，卷积神经网络能有效提取图像深层特征，通过对深层特征的抽取，能在图像识别、分割和融合等方面取得优于传统图像处理方法的效果。

　　本文中，我们首先训练编解码器网络来提取两幅输入图像的深层特征，编解码网络由上节所述的编码器和解码器组成;训练阶段，编码器网络的迭代训练与后续的特征对比模块、生成模块独立，当编解码网络模型训练完成后，再计算由该网络得到的特征谱的空间频率。

　　编码器的每一模块是由3×3卷积神经网络和SEBlock(squeezeandexcitationmodule)[15]连接而成(SEBlock介绍见下节，而每一模块的输出通过级联操作连接到其他模块中，为了不损失图像精细特征，相邻模块直接相连，不采用池化操作。解码器由卷积模块C1，C2，C3和C4组成，它用于按输入图像原尺寸重建出与原图尽可能相似的特征。

　　1.3特征对比

　　特征对比模块主要用于生成二值决策图，它分别计算两幅输入图像由神经网络提取出的特征图的空间域频率，逐像素比较两幅输入图像特征谱计算得到的频率大小，得到二值决策图。

　　生成模块特征对比模块生成的二值决策图在交界区域可能会出现小的毛刺和噪点，同时，交界线在不适当的决策下，也可能出现断开的情况。因此，本文采用了一致性验证方法，首先对二值决策图像应用形态学先开后闭操作，形态描述符为小圆盘形结构。其中第一、三行是处理前的决策图，第二、四行是处理后的决策图;经过形态学处理，消除了决策图中的细线、小空洞等，同时将聚焦区域连接在了一起，聚焦交界处更加平滑。

　　另外，若直接采用形态学处理后的二值决策图计算融合图像，在聚焦区域和散焦区域会伪影现象产生，因此，本文利用了引导滤波器来提高决策图的质量。引导滤波器是一中效果良好的保边缘滤波器，它使边缘过渡更加平滑，减少梯度跳变，同时图像轮廓基本保持不变。在本实验中，引导滤波参数窗口大小ω设为，正则化参数ε设置为0.1。

　　2实验

　　2.1实验设置

　　本实验中，实验环境为Ubuntu20.04系统，Intel(R)Core(TM)i79700CPU，NVIDIARTX2080TiGPU，32GB内存。由于采用无监督策略，我们使用coco2014dataset数据集和岩石薄片图像数据集训练编解码网络，迭代周期中，有37145张开源图像和1000张岩石薄片用于训练网络;20501张图像作为验证集，用于验证重建能力。

　　网络学习速率设为1×10，每epoch衰减至0.8倍，使用Adam方法优化网络模型参数。为了验证网络模型最终融合效果，实验测试了36组通用图像的融合效果，这些图像广泛用于多聚焦融合研究。其中包括“Lytro”数据集的20组图片，以及16组其他图像。最后，本实验测试了岩石薄片图像的聚焦效果，岩石薄片图像由徕卡显微镜10倍镜下采集而成。

　　2.2实验结果分析

　　我们首先给出了该融合方法主观上的融合效果，其中包括普通场景图像和岩石薄片图像的结果。每一列的前两行是同一视域下不同聚集位置的两张图片，第三行是由本实验生成的网络决策图，第四行是当前列对应的融合结果图。可以看到，编解码器网络和融合层能准确识别出聚焦与失焦区域;同时在决策图的引导下，最终生成了效果良好的融合图像。

　　图像融合论文范例： 基于稀疏表示的车用带钢表面图像信息修复

　　http://www.qikanzj.com/tuijianlunwen/36548.html

　　3结论

　　为解决岩石薄片图像多聚焦融合问题，本实验训练了一个基于无监督方法的深度学习神经网络，用该网络提取图片的深层特征图，再计算特征图空间频率得到决策图，最后使用经图像处理后的决策图引导生成最终的融合图。通过一系列实验数据验证对比，融合结果在主观效果和客观指标上都明显优于其他方法，实验结果说明，该模型能准确识别并计算出岩石薄片图像聚焦和失焦区域，并生成效果良好的融合图，有效地解决了显微镜岩石薄片多聚焦图像融合的问题;同时，本方法有较强的通用性和泛化能力，在通用的测试图像和地质领域的岩石薄片图像上同时具有良好的融合效果。但是由于网络参数量相对较大，将该方法应用到是实际工程中时，需要较好的硬件设备支撑;因此，需要进一步研究小网络模型效果，减少模型计算量。

　　参考文献

　　[1]LiS,KangX,FangL,etal.Pixellevelimagefusion:Asurveyofthestateoftheart[J].InformationFusion,2017,33：100112.

　　[2]杜晨光,胡建文,胡佩.半监督卷积神经网络遥感图像融合[J].电子测量与仪器学报,2021,35(6):6370.

　　[3]LiS,KangX,HuJ,etal.Imagemattingforfusionofmultifocusimagesindynamicscenes[J].InformationFusion,2013,14(2):14762.

　　[4]LiS,KangX,HuJ.ImageFusionWithGuidedFiltering[J].IEEETransactionsonImageProcessing,2013,22(7):28642875.

　　作者：刘强滕奇志1何海波