基于 Spark 的花卉图像分类研究

来源：计算机技术与发展杂志2022年第07期北京时间：

作者：侯向宁;徐草草;杨井荣

摘要：针对传统单机模式对海量花卉图像数据分类效率低下以及现有网络模型对花卉分类准确率不高的问题,首先通过搭建 Hadoop 及 Spark 分布式计算框架,利用 HDFS 存储海量花卉图像数据,Spark 进行分布式并行计算,HBASE 存储相关的集群参数及网络模型参数。 其次在对现有的 VGG16 网络模型进行研究的基础上, 将选择性软注意力机制引入VGG16 网络对其进行改进,使 VGG16 网络可以从不同的感受野获取信息,并使网络泛化能力变得更强。 最终在 Spark 分布式计算框架中采用 TensorFlowOnSpark 技术,实现花卉图像特征提取、模型训练及分类测试的并行化,既降低了模型训练的时间,同时也提高了花卉分类的准确率。 实验表明,与未引入 SK( 选择性内核) 单元的 VGG16 模型相比,花卉分类的准确率提高了近 15. 3 个百分点。 实验还表明,分布式计算有利于负载均衡,极大地降低了模型训练及分类测试的耗时,能进一步提高海量花卉数据分类的效率。

关键词：花卉分类;Hadoop;Spark;VGG16;TensorFlowOnSpark;SK 单元