《计算机应用杂志》发表论文赏析
作者:李强, 刘晓峰
单位:1. 太原理工大学 财经学院, 太原 030024;2. 山西省财政税务专科学校 信息学院, 太原 030024;3. 太原理工大学 大数据学院, 太原 030024
摘要:针对当前Hadoop存储效率不高,且副本故障后恢复成本较高的问题,提出一种基于Hopfield神经网络(HNN)的存储策略。为了实现系统整体性能的提升,首先分析影响存储效率的资源特征;然后建立资源约束模型,设计Hopfield能量函数,并化简该能量函数;最后,通过标准用例Wordcount测试,分析8个节点的平均利用率,并与三个常用算法包括基于资源的动态调用算法、基于能耗的算法和Hadoop默认存储策略进行性能和资源利用方面的比较。实验表明,与对比算法相比,基于HNN的存储策略在效率上分别平均提升15.63%、32.92%和55.92%。因此,该方法在应用中可以更好地实现资源负载平衡,将有助于改善Hadoop的存储能力,并可以加快检索。
关键词:云存储,Hadoop,Hadoop分布式文件系统,副本策略,负载均衡
基金资助:国家自然科学基金资助项目(61502330);山西省高等学校科技创新项目(20161131);山西省软科学计划研究项目(2016041008-5)。