基于分布式平台Spark的空间文本查询分析

来源：华东师范大学学报·哲学社会科学版杂志2018年第5期北京时间：

作者：徐阳, 王志杰, 钱诗友

单位：徐阳,男,硕士研究生,研究方向为分布式计算、大数据处理.E-mail:xuyangit@sjtu.edu.cn.

摘要：随着基于位置服务应用的不断推广，空间文本数据查询的应用价值（例如结合地理位置和用户标签的社交推荐）也在不断提高.但是，随着数据规模的迅速增长，传统的基于单机环境实现的技术难以为用户提供低延时和高吞吐量的服务.为此，本文基于Spark平台对分布式环境下的空间文本查询算法进行了探究.采用了面向海量空间文本数据的两层索引框架（包括全局索引和局部索引），该框架利用了分阶段过滤的策略来处理分布式下的布尔范围查询问题.同时，针对空间文本相似连接提出了Prefix-RI结构并提出了相应的分布式算法.基于Spark平台实现了所提出的分布式算法，并通过大量的实验对比验证了所提出方法的优越性.

关键词：分布式计算,空间文本分析,相似连接,

基金资助：国家重点研发计划项目（2017YFC0803700）；广东省科技计划项目（2015A030401057，2016B030307002）