支持非等值连接的分布式数据流处理系统

来源：华东师范大学学报·哲学社会科学版杂志2017年第5期北京时间：

作者：陈明珠, 王晓桐, 房俊华, 张蓉

单位：陈明珠,女,本科生,专业为计算机科学.E-mail:101521300140@stu.ecnu.edu.cn

摘要：实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中，连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而，由于现实应用产生的数据普遍存在倾斜分布现象，加之数据流本身的无界性与不可预知性，给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低，没有提供专门针对连接操作的接口；学术界推出的数据流连接查询原型系统虽然提供了接口，但大多面向等值连接，或仅能支持部分theta连接，且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统，将基于Join-Matrix的连接处理技术与Storm系统相结合，设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现.

关键词：数据流处理系统,连接处理,分布式计算,

基金资助：国家大学生创新创业训练计划（20160269127）；国家自然科学基金（61232002）；国家863计划（2015AA015307）；国家自然基金委项目（61672233）