基于图像处理和深度迁移学习的芒果果实病状识别

　　摘要：【目的】基于计算机层析成像(Computedtomography,CT)设备所得芒果CT序列图像，实现芒果内部品质的无损检测和病状识别分类。【方法】利用分段函数法、中值滤波结合双边滤波，实现芒果图像增强;采用局部自适应阈值法，实现二值化处理;采用种子填充法进行区域填充;最后通过差影法准确提取芒果果实内部组织的坏损区域。基于深度迁移学习模型，对未处理和已处理的芒果图像数据开展训练和测试，通过AlexNet和GoogLeNet深度学习网络开展迁移学习，调整超参数完成训练过程的网络微调，在不同模型中对比未处理和已处理的芒果测试集在模型上的分类结果。【结果】基于未处理数据集，GoogLeNet模型在学习率为0.0002下训练，Accuracy和Macro-average指标分别为98.79%、98.41%。基于已处理数据集，GoogLeNet模型在学习率为0.0002下训练，Accuracy和Macro-average指标分别为100%和100%。深度迁移学习模型在已处理数据集下的模型分类指标较未处理的数据集下有较大的提升。基于同一数据集并且超参数一致时，GoogLeNet网络的分类效果明显优于AlexNet网络。【结论】设定学习率为0.0002、Epoch值为3、MiniBatch值为64，基于GoogLeNet网络开展深度迁移学习训练，将所得模型作为最终的分类模型。

　　关键词：芒果;病状识别;CT成像;坏损区域提取;深度迁移学习;图像分类

　　芒果Mangiferaindica作为著名的热带、亚热带水果，以其色香味俱佳而享有“热带果王”的美誉，在热带及南亚热带地区有广泛栽培，具有极高的营养价值和经济价值[1]。我国是芒果原生产地之一，种植历史悠久，在海南、广东、广西、福建、云南、四川等省份建立的规模化种植的芒果园，成为重要的地区特色农业经济产业。

　　图像处理论文范例：基于残差3DCNN和三维Gabor滤波器的高光谱图像分类

　　由于长期施用过量的化学肥料和农药，土壤环境不断地发生恶化，果类病毒产生新的抗药性，芒果出现新的感染状况并产生诸多病症，如海绵组织病、心腐病、软鼻子病、空心病等生理性病害，对芒果的品质产生了严重的影响。在部分芒果产区，由于此类病害所造成的芒果损失率甚至达到了30%以上。患有此类病害的芒果，表面与没有患病的芒果相比并无差异，凭肉眼无法观测出来，经验丰富的果农也无法准确对此类芒果做到挑拣和分类,这也就对芒果果实的品质检测和分级技术提出了新的应用方向与挑战[2-5]。

　　现代农业无损检测技术正朝着智能化方向发展，结合计算机图形图像分析与深度学习的技术正成为水果品质检测的新方向和研究热点[5-7]。研究采用可见/近红外光谱、核磁共振和X射线等检测技术，无损的获得果类果实的内部组织特征图像，然后结合图像处理和模式识别等相关技术，进行组织提取和病状类型分析识别，从而实现果实品质检测和分级[8-9]。国内外众多学者在农产品果果类检测方向开展了大量的研究。

　　2018年余心杰等[10]基于可见光和近红外光(Visible-nearinfrared,VIS-NIR)高光谱反射成像技术，研究开发了一种由堆栈自编码器(Stackedauto-encoder,SAE)和全连接神经网络组成的深度学习方法，用于预测收获的库尔勒香梨的硬度和可溶性固形物含量(Solublesolidscontent,SSC)，证明了深度学习方法与高光谱成像技术相结合，可用于库尔勒香梨的快速无损检测硬度和SSC。

　　2019年AminNasiri等[11]采用深卷积神经网络模型VGG-16在枣果图像数据集上进行训练和测试，来鉴别健康枣果和缺陷枣果并用来预测健康枣的成熟期，VGG-16模型的分类准确率达到了96.98%，证明了深卷积神经网络(Convolutionalneuralnetwork,CNN)模型优于传统的基于图像特征的枣果图像分类方法。

　　2019年万少华等[12]提出了一种改进的快速R-CNN深度学习网络模型，用于机器人视觉系统，实现了包括苹果、芒果和桔子等多类水果检测，达到了91%以上的检测正确率，该深度学习模型提高了图像处理速度，也更适合于实际场景。2020年Yutaro等[13]通过预训练的VGG16网络进行了微调，构建了荔枝品种识别模型，该模型实现了98.33%的准确性对荔枝水果图像进行品种识别，研究表明深度学习可用于区分荔枝品种。

　　迁移学习是一种机器学习的方法[14-17]，是解决训练数据不足这一基本问题而发展起来的重要方法，其基本原理是通过已学习的相关任务中知识转移来改进新任务的学习[17-20]。近年来深度学习技术在图像识别分析领域取得了长足的进步，但是必须要有海量的训练数据作为支撑，来理解数据的潜在模式，才能够实现网络模型的训练[20-22]。

　　深度迁移学习将在原域中预先训练好的深度学习网络结构重新利用，将其用于目标领域的深度神经网络的一部分，因为原网络已经学习了图像丰富特征，有很好的泛化性，可通过网络微调可以实现相应的目标领域学习，大大加快了学习速度[23-25]。

　　本文基于芒果果实计算机层析成像(Computedtomography,CT)设备所得的芒果CT序列图像,提出了传统图像处理技术和深度迁移技术相结合的芒果病状识别判断方法。工作内容包括：1)芒果果实CT序列图像内部坏损区域的提取方法研究;2)利用AlexNet和GoogLeNet[26-28]预训练网络开展芒果病状的识别研究。

　　1研究方法

　　1.1芒果

　　CT序列图像的获取基于平板探测器的计算机层析成像系统采集芒果CT序列图像。该系统主要由X射线源分系统、平板探测器分系统、机械扫描分系统、图像处理分系统以及安全及辅助分系统组成[29]。该系统采用的平板探测器为VARIANPaxScan2520V，其像元尺寸为0.127mm，A/D转换器位数为14位。

　　选择外表无破损、内部组织坏损的芒果类型。实验室环境要求要常温，湿度小于82%，磁场干扰较小，所有芒果样品图像采集的过程中实验室条件、采集方法和参数设置必须一致，这样才能减少误差。设备参数：平板探测器的积分时间为200ms，X光机的电压为45~50kV，电流为1mA，CT检测时根据检测对象大小设置热区参数，扫描方式为标准连续扫描。

　　1.2芒果CT序列图像预处理

　　本文采集海绵组织病和空心病芒果16位DICOM格式CT序列图像(512ⅹ512)，海绵组织病序列图像650张，空心病序列图像379张，有效图像分别为624张和365张。海绵组织病和空心病芒果CT序列图像。芒果CT图像的像素点的灰度值集中分布在0~35以内，芒果外区域集中在0~10。a和b分别是对海绵组织病芒果和空心病的CT序列图像作灰度值统计，验证了芒果有效像素值分布在灰度值较低范围，截取256灰度级的原始图像灰度。

　　1.3图像降噪

　　芒果CT序列图像在获取的过程中，因为受到温湿度、磁场干扰、信号传输过程中的损耗、振动噪声等实验条件的限制，降低了图像的质量，造成最终的成像效果失真，这样必然影响后续的图像分析与研究，采用图像滤波处理的方法来进行降噪处理。根据获取的芒果CT序列图像的成像特点，研究采用空间域滤波处理的方式。空间域滤波包括：线性滤波和非线性滤波。最终采用了中值滤波和双边滤波相结合的方法，对图像实现降噪处理。中值滤波有去除脉冲噪声、椒盐噪声，保留图像的边缘细节的作用。

　　1.4图像分割

　　图像分割是为了提取芒果CT图像内部组织坏损区域，对芒果果实内部的各种病害进行特征分析。不同病状芒果以及同一芒果不同层级序列图像呈现出不同的差异特点，使用图像二值化、形态学填充和差影法相结合的图像分割算法。因为芒果CT序列图像上的不同部分具有不同亮度，局部自适应阈值法可以在同一幅图像上的不同区域采用的是不同的阈值，亮度较高的图像区域的二值化阈值通常会较高，而亮度较低的图像区域的二值化阈值则会相适应地变小，从而在亮度不同的情况下得到更好的结果。本文选择了局部自适应阈值法，进行图像的二值化处理。

　　2分类算法

　　2.1分类模型

　　深度迁移学习模型，针对未做图像处理和已做图像处理的芒果图像数据开展训练和测试，分析分类识别效果。基于AlexNet和GoogLeNet深度学习网络模型，芒果序列图像数据集作为训练数据开展迁移学习，调整超参数，完成训练过程的网络微调，实现分类任务。在不同模型下，对比了未做图像处理和做了图像处理的芒果图像测试集在模型的分类结果。

　　AlexNet和GoogLeNet已基于超过一百万个图像进行训练，将图像分为1000个对象类别，学习了丰富的特征表示。AlexNet是在LeNet的基础上加深了网络的结构，学习更丰富更高维的图像特征，其特点包括：更深的网络结构;使用层叠的卷积层，卷积层、卷积层和池化层来提取图像的特征;使用Dropout抑制过拟合;使用数据增强抑制过拟合;使用Relu替换之前的Sigmoid的作为激活函数。GoogLeNet相比与AlexNet网络，增加了网络层数和Inception模块增强卷积模块功能，在增加网络深度和宽度的同时减少了参数，起参数数量约为AlexNet的1/12，提升了计算性能。

　　2.2模型算法流程

　　修改预先训练好的网络并使用迁移学习进行训练以执行新识别任务，微调预先训练好的网络比构造和训练新网络更快、更容易，使用更少数量的训练图像迅速迁移学习到新任务。

　　3实验结果与分析

　　3.1芒果图像数据集

　　芒果数据集分为训练集、验证集和测试集，打上标签。芒果图像数据集分为两大类，即未经图像处理数据集和经图像处理后的数据集。其中未经图像处理数据集包括3类：无病症芒果CT图片(2168张)，海绵组织病芒果CT图片(1924张)，空心病芒果CT图像(864张)。经图像处理后的数据集包括5类：无病症芒果图片(2168张)、海绵组织病芒果图片(1924张)、空心病芒果图片(864张)、海绵组织病坏损区域图片(1920张)、空心病坏损区域图片(864张)。

　　4结论与讨论

　　1)针对芒果CT序列图像坏损区域获取的问题，本文采用分段函数法、中值滤波结合双边滤波的图像处理方案实现图像增强，通过局部阈值自适应法开展图像二值化处理，然后通过形态学种子填充法进行填充，最后利用差影法提取了芒果内部组织的坏损区域，能够准确地分割出坏损区域，分割效果较好。

　　2)本文训练AlexNet和GoogLeNet分类模型，通过比较Accuracy和Macro-average分类性能参数，GoogLeNet网络对芒果图像分类识别的效果最优。当学习速率为0.0002，基于未处理数据集和处理过的数据集进行分类，GoogLeNet网络分类模型性能极佳，可以作为本文芒果数据的分类模型。深度迁移学习模型在水果图像分类领域大有可为。

　　3)本文分割提取后的芒果坏损区域图像，特征明显，易于区分，在类型识别过程中可达到极高准确度，体现了结合图像处理技术开展深度学习分类识别，具有较高的实际意义。

　　4)算法的局限性。文中的芒果数据并不能代表所有的海绵组织病和空心病芒果的坏损情况，主要是由于芒果有自己的生长周期，并且坏损情况受到温湿度、土壤水平和种植手段等多方面的影响，在未来的研究中，可以通过增加数据量来探究某类型病状芒果内部坏损的演变过程。

　　参考文献：

　　[1]曹霞,周学成,范品良.基于近红外漫反射光谱技术的芒果糖度无损检测方法研究[J].农机化研究,2013(1):177-180.

　　[2]郭辉.基于机器视觉的蜜柚品质检测方法研究[D].北京：中国农业大学,2015.

　　[3]黄滔滔,孙腾,张京平.基于CT图像的苹果内部品质无损检测[J].浙江大学学报(农业与生命科学版),2013,39(1)：92-97.

　　[4]曹霞.核桃果实内部品质的无损检测技术研究[D].广州：华南农业大学,2013.

　　[5]孙腾.CT技术及图像变换对苹果内部品质的无损检测模型研究[D].杭州：浙江大学,2013.

　　[6]郭文川,孔繁荣,王转卫,等.梨生长发育后期介电特性、生理特性和内部品质的关系[J].现代食品科技,2015,31(11):56-61

　　作者：张德军1,周学成1,2,杨旭东1