一种支持高效并行处理的矢量数据索引方法

来源：计算机工程与应用杂志2017年第11期北京时间：

作者：褚龙现1，3，李晓英2，3，陈 旭3，楚纯洁4

单位：1.平顶山学院 软件学院，河南 平顶山 467000 ；2.桂林理工大学 南宁分校，南宁 530001；3.武汉大学 软件工程国家重点实验室，武汉 430072；4.平顶山学院 资源与环境科学学院，河南 平顶山 467000

摘要：分析了HBase的存储模型和Spark的并行处理机制，提出一种矢量空间数据的分布式存储、索引和并行区域查询方法。设计了基于空间对象中心点的行键存储方案，将中心点的Hilbert编码与经纬度小数位结合实现行键的唯一性，保证地理位置接近的要素在表中存储在相邻的行。实现了基于Spark的空间索引并行构建和区域查询方法，借助空间对象中心点的Hilbert编码快速构建索引，通过多边形区域的最小外接矩形过滤查询结果。实验结果表明，索引并行构建可靠性好速度快，区域查询并行处理算法可行且效率高。

关键词：spark,hilbert,矢量数据,空间索引,分布式存储