基于残差3DCNN和三维Gabor滤波器的高光谱图像分类

　　摘要：高光谱图像含有数百个波段，包含丰富的光谱信息，因此被广泛应用于地物分类中，但仍存在着维数灾难的问题。高光谱图像中同时也含有丰富的纹理信息，有效利用纹理信息能够显著提高分类精度。三维Gabor滤波器不仅能够保留图像丰富的光谱信息，还能提取到图像的纹理特征。为了充分利用高光谱图像的特征，提出一种基于三维Gabor和残差三维卷积神经网络(Res-3DCNN)的分类方法。三维卷积神经网络(3DCNN)能够直接对三维立方体数据进行处理，提取到深层纹理-光谱信息，然而随着网络层的加深会产生网络退化问题，因此利用残差思想对3DCNN模型进行改进。在PaviaU、IndianPines和Salinas三个公共高光谱图像数据集上进行实验，分别取得99.17%、97.40%、98.56%的平均分类精度，结果表明该方法能有效提高高光谱图像的地物分类精度。

　　关键词：高光谱图像分类;卷积神经网络;三维Gabor滤波器;三维卷积;残差学习

　　卫星传感器捕获的高光谱图像(HyperspectralImages，HSI)[1]每个像素都含有大量光谱带，能够同时获取地物的空间信息和光谱信息。与RGB图像相比，高光谱图像能够更精细、更准确地识别地物信息。因此高光谱图像在遥感应用中发挥了重要作用，如目标检测、地物分类等，然而，高光谱图像分类仍然面临着维数灾难[2]的问题。随着深度学习的应用愈发广泛，利用深度学习对高光谱图像进行分类逐步成为目前的研究热点。

　　卫星通信论文范例：基于卫星通信的应急通信系统

　　卷积神经网络(ConvolutionalNeuralNetworks,CNN)[3]的网络结构简单，不需要人工设计参数，并且能够提取深层特征。Chen等人[4]提出首次将空间信息加入到基于光谱信息的堆叠自编码器(SAE)中，提出一种新的融合光谱信息和空间信息的深度学习框架。Huang等人[5]提出双向递归神经网络(Bi-RNN)，用于高光谱图像分类，考虑了波段之间的相关性，同时利用前向和后向的信息进行分类。无论是SAE还是RNN在输入时都要将特征拉成一维的向量，以适应网络结构，而高光谱图像是三维结构，无法完整保留空间特征。

　　二维卷积神经网络(2DCNN)[6]在三通道图像上表现良好，但是高光谱图像有上百个波段，2DCNN无法很好地利用这些波段信息。3D图像的处理促进了三维卷积神经网络(3DCNN)[7]的发展，3DCNN可以在空间维度上实施卷积操作，有效利用了图像的空间特征，而相邻像素一般在很小的空间里属于同一类别的可能性很高，而且3DCNN可直接对三维数据进行特征提取，得到深层空间和光谱信息。

　　但随着网络层次的加深，网络难以收敛，尤其是在样本量较少的情况下，网络结构的加深并不能有效提高分类精度，甚至会呈现梯度消失和梯度爆炸的现象。残差学习和普通神经网络区别在于引入捷径连接，构造残差模块，残差模块以跳层连接的形式实现，将单元的输入直接与单元的输出加在一起，再使用激活函数进行组合，有效防止了网络层数加深时产生的梯度消失或梯度爆炸问题。

　　并且残差网络容易优化、不会引入额外的参数。高光谱图像中的纹理信息，是辨别地物类别的重要因素。Gabor滤波器[8]具有提供区分性和信息性的特性，对图像的边缘变化敏感，有较好的方向性和尺度选择性。与其它滤波方法相比，Gabor滤波器在提取纹理信息方面显示出优越性能，可以同时在方向和尺度两个维度进行滤波，获取纹理特征。付青等[9]提出了Log-Gabor-CNN方法，使用Log-Gabor提取其纹理特征。但Log-Gabor为二维Gabor滤波器，只能获取其纹理特征而没有考虑光谱信息。

　　三维Gabor滤波器[10]能够在提取纹理特征的同时保留光谱信息。冯逍等[11]将三维Gabor滤波器与SVM[12]结合(Gabor-SVM)用于高光谱影像分类。而SVM分类器虽然可以通过调节输入的信息比如空谱信息来获得分类结果，由于是基于浅层特征的分类，精度不高。魏祥坡等[13]提出了双通道卷积神经网络和三维Gabor结合的地物分类方法Gabor-DC-CNN(Gabor-dual-channel-CNN)，使用2DCNN提取图像的空间信息，利用三维Gabor滤波器，对立方体数据进行滤波，输入到一维卷积神经网络(1DCNN)中进行深层光谱-纹理特征提取，最后将两种特征进行融合。1DCNN的感受野较小，只能考虑每个位置单独的信息，而且需要双通道进行特征提取，最后进行融合，需要大量的训练时间，效率不高。

　　为了充分利用高光谱图像立方体数据的信息，本文提出了一种基于三维Gabor滤波器和残差3DCNN的高光谱图像分类方法。该方法可以通过三维Gabor滤波器得到包含纹理-光谱信息的立方体数据，3DCNN可以直接对处理后的立方体数据进行特征提取，充分利用数据的纹理-光谱信息。在三维卷积神经网络中，添加了多个残差模块，用于更有效地提取抽象特征表示。同时，通过残差模块，解决随网络深度增加导致的梯度弥散和梯度爆炸问题，提升网络性能，有效提高了高光谱图像中的地物信息的分类精度。

　　1本文方法

　　本文方法针对高光谱三维立方体数据，首先使用三维Gabor滤波器，得到包含纹理-光谱信息的三维立方体数据;然后输入到残差三维卷积神经网络中进行特征提取，最后进行地物分类。

　　1.1三维Gabor滤波器

　　由于高光谱图像三维数据的特殊性，二维Gabor滤波器只能获取纹理特征没有考虑光谱特征。三维Gabor能够在频域和空间域找到最好的组合定位，在提取纹理信息的基础上，考虑了图像的光谱特征。对于纹理信息和光谱信息拥有较好的识别能力。

　　网络结构中共包含3个残差模块，其中1个虚线范围表示使用一个残差模块，包括2个5×5×5的三维卷积核和一个特征融合模块。本文设计的残差模块，放在卷积层之后，将上一层卷积得到的特征，与残差模块内经过2层卷积得到的特征进行特征融合，经过ReLU激活函数后，继续输入到下一个池化层。

　　这使得该残差模块在输入特征基础上学习到新的特征，从而拥有更好的特征表示。为了让激活函数更有效地使用输入信息，在每次ReLU之前采用批量归一化BN(BatchNormalization)，为了防止实验结果过拟合，采用Dropout正则化[16]方式，随机删除部分隐藏层结果。之后，将获得的结果输入全连接层。最后，使用Softmax激活函数，进行分类操作，得到其类别标签。

　　2实验与分析

　　实验时的硬件运行环境是AMDRyzen53600XCPU@3.80GHz处理器，RadeonRX5500XT@8GBGDDR6显卡，金士顿骇客3200MHz@8gDDR4内存，编译环境Python3.6+Tensorflow1.13。2.1实验数据为了证实所提方法的有效性，本文使用目前公开且具有代表性的PaviaU、IndianPines和Salinas数据集进行实验。

　　2.2参数设置

　　训练网络时参数设置如下：方差为0.1、均值为0、Dropout为0.5、偏置为0.1的截断正态分布，初始学习率为0.001。从训练时间和测试时间的结果可以看出，本文方法比Gabor-DC-CNN方法消耗的时间少，主要因为Gabor-DC-CNN是双通道卷积神经网络，需要分别进行训练，所需时间稍长。

　　和3DCNN方法相比，训练时间多了10s左右，主要因为使用了Gabor滤波器进行滤波，加入残差会在原来的网络结构上增加一条路径，从而降低了网络运行效率，增加了训练时间。Log-Gabor-CNN是2DCNN，相比三维卷积在时间效率上会快一些，但同时分类精度会略有下降。Gabor-SVM是使用三维Gabor滤波和SVM进行分类，和其它深度学习方法相比优点在于省去了网络训练步骤，因此效率更高，和本文方法相比训练时间快了50s左右，但分类精度不高。

　　3结论

　　本文针对高光谱图像维度高，具有丰富的光谱信息和纹理信息的特性，提出了一种基于三维Gabor滤波器和残差3DCNN的高光谱图像分类方法。主要贡献为：(1)通过三维Gabor滤波器得到的纹理特征和光谱信息，有助于高光谱遥感图像的地物分类。(2)通过残差三维卷积神经网络对处理后的数据进行深层特征提取，得到深层光谱纹理特征，利用残差模块，有效解决了网络训练中梯度消失以及梯度爆炸问题，有效提高地物分类精度。实验结果表明，本文提出的方法3DGabor-Res-3DCNN的分类精度能够达到97.86%。与其它高光谱图像分类方法相比，本文使用的方法能够有效提高分类精度。在之后的研究工作中，准备在保证分类精度的同时，进一步提高算法的运行效率。

　　参考文献(References)：

　　[1]AhmadM,ShabbirS,OlivaD,etal.Spatial-priorgeneralizedfuzzinessextremelearningmachineautoencoder-basedactivelearningforhyperspectralimageclassification[J].Optik,2020,206:163712-.

　　[2]HSIEHPF.Impactandrealizationofincreasedclassessep-arabilityon thesmallsamplesizeprobleminthehyperspectralclassification[J].CanadianJournalofRemoteSensing，2009，35(3):248-261.

　　[3]KRIZHEVSKYA,SUTSKEVERI,HINTONGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks[J].CommunicationsoftheACM,2017,60(6):84-90.

　　[4]CHENY,LINZ,ZHAOX,etal.DeepLearning-BasedClassificationofHyperspectralData[J].IEEEJournalofSelectedTopicsinAppliedEarthObservations&RemoteSensing,2017,7(6):2094-2107.

　　[5]HUANGS,WANGX,HEH,etal.HyperspectralImageClassificationBasedonBidirectionalRecurrentNeuralNetwork[C]//2019IEEEInternationalConferenceonSignalProcessing,CommunicationsandComputing(ICSPCC).IEEE,2019.

　　[6]H.LEE,H.KWON.ContextualdeepCNNbasedhyperspectralclassification[J].2016IEEEInternationalGeoscienceandRemoteSensingSymposium(IGARSS),Beijing,2016,pp.3322-3325,doi:10.1109/IGARSS.2016.7729859

　　作者：张明华1，牛玉莹1，杜艳玲1，黄冬梅1,2，刘刻福3