一种高效的Flink与MongoDB连接中间件的研究与实现

来源：计算机工程与应用杂志2019年第23期北京时间：

作者：胡程，叶枫

单位：1.河海大学 计算机与信息学院，南京 211100；2.南京龙渊微电子科技有限公司 博后工作站，南京 211106

摘要：为了提高大数据处理平台Flink与MongoDB之间的读写速率，提出并实现了一种高效的Flink与MongoDB连接中间件。基于Flink的并行化思想，通过对数据进行逻辑分片，调用Mongo-Java包中的接口实现并行化将数据读取和写入。以不同规模的水文传感器数据集作为实验数据，实验了在Java单线程操作、Hadoop与MongoDB连接器和提出的Flink与MongoDB连接中间件三种连接方式下数据的读写速度。结果表明，Flink并行读写数据效率较于单线程提高了1.5倍，验证了该连接中间件可以有效地提高对海量数据的读写速率。

关键词：Flink,MongoDB,Flink与MongoDB连接中间件,数据逻辑分片,并行读写