一种面向HDFS的多层索引技术

来源：软件学报杂志2017年第3期北京时间：

作者：何龙,陈晋川,杜小勇

单位：何龙，中国人民大学 信息学院, 北京 10087211,陈晋川，中国人民大学 信息学院, 北京 100872;教育部数据工程与知识工程重点实验室(中国人民大学), 北京 10087202,杜小勇，中国人民大学 信息学院, 北京 100872;教育部数据工程与知识工程重点实验室(中国人民大学), 北京 10087203

摘要：SOH（SQL over HDFS）系统通常将数据存储于分布式文件系统HDFS（Hadoop distributed file system）中，采用Map/Reduce或分布式查询引擎来处理查询任务.得益于HDFS以及Map/Reduce的容错能力和可扩展性，SOH系统可以很好地应对数据规模的飞速增长，完成分析型查询处理.然而，在处理选择型查询或交互式查询时，这类系统暴露出了性能上的缺陷.提出一种通用的索引技术，可以应用于SOH系统中，以提高其查询处理的效率.分析了SOH系统访问HDFS文件的过程，指出了其中影响数据加载时间的关键因素.提出了split层和split内部双层索引机制；设计并实现了聚集索引和非聚集索引；最后，在标准数据集上进行了大量实验，并与现有基于HDFS的索引技术进行了比较.实验结果表明，所提出的索引技术可以有效地提高查询处理的效率.

关键词：查询;索引;HDFS;SOH;大数据

基金资助：国家重点研发计划（2016YFB1000702）；中国人民大学预研委托（团队）基金（14XNLQ06）；国家自然科学基金（61003086）