基于Hadoop/Hive的乳制品溯源数据计算及性能优化

来源：华东师范大学学报·哲学社会科学版杂志2018年第4期北京时间：

作者：朱淑鑫, 李悦, 袁培森, 徐焕良, 王康, 谢忠红

单位：朱淑鑫,女,副教授,研究方向为农业信息化与大数据处理.E-mail:zsx@njau.edu.cn

摘要：为了提升传统乳制品溯源系统应对大规模企业生产数据的性能，本文分析了乳制品相关企业供应链业务流程、关键溯源单元和溯源信息，结合Hadoop/Hive大数据技术和分布式数据库技术，设计并构建了基于Hadoop/Hive的乳制品溯源框架.搭建模拟大数据环境并使用实际生产数据对系统性能进行测试，实验结果表明，引入Hadoop/Hive技术后，系统的平均数据存储速度、平均数据访问速度、平均数据交互速度分别提升了87.43%、27.10%、58.16%.改进后的乳制品溯源系统存储和处理大规模数据的能力明显优于传统的乳制品溯源系统.

关键词：Hadoop/Hive,乳制品溯源,数据计算,性能优化,

基金资助：中央高校基本科研业务费专项资金（KYZ201551，KYZ201670，KYZ201752，KJQN201651）；国家科技支撑计划（2015BAK36B05）；江苏省重点研发计划项目（BE2016803）；国家自然科学基金（61502236）