《计算机工程与科学杂志》发表论文赏析

Flink水位线动态调整策略

来源:计算机工程与科学杂志2023年第2期北京时间:

作者:吕鹤轩, 黄山, 艾力卡木·再比布拉, 吴思衡, 段晓东,

单位:1.大连民族大学计算机科学与工程学院,辽宁 大连 116600;2.大数据应用技术国家民委重点实验室,辽宁 大连 116600;3.大连市民族文化数字技术重点实验室,辽宁 大连 116600

摘要:衡量大数据的数据挖掘性能有2个最重要的任务指标:一是实时性,二是准确性。流数据从数据产生到消息队列再通过数据源流入Flink进行计算,这个过程中因为网络传输速度不同,不同节点的计算性能不同等原因,流数据进入计算框架的先后顺序和数据产生的事件时间顺序会有局部乱序的现象。面对窗口作业的传统水位线机制在不确定乱序程度的流数据情况下无法同时兼顾作业结果的实时性和准确性。针对这个问题,建立了流数据微簇模型。通过局部乱序度算法,根据流数据微簇的流数据事件时间局部乱序程度计算出可以代表当前时刻流数据的乱序度。设计了水位线动态调整策略,使水位线根据流数据的乱序程度动态调整大小。最后,在Apache Flink框架中对基于事件时间窗口的水位线动态调整策略进行了实现。实验结果表明,弹性或不确定乱序流数据条件下,基于事件时间窗口的水位线动态调整策略可以有效地同时兼顾窗口作业的准确性和实时性。

关键词:Apache Flink,水位线;乱序流数据,事件时间,

基金资助:国家重点研发计划(2018YFB1004402)

2023年2期其他文献查阅:

单次神经网络结构搜索研究综述

拟态防御体系OSPF协议研究及分析

专用数据处理器综述

56 Gbps高速信号传输系统仿真验证设计

Flink水位线动态调整策略

基于转录组学数据的抗真菌药物预测方法研究

基于共用密钥的高效多密钥同态加密方案研究

面向工控系统漏洞的多维属性评估

基于身份的可审计多重截取签名方案

SDN环境中基于Bi-LSTM的DDoS攻击检测方案

基于时间因子的可撤销可追踪属性基加密方案

基于人眼色彩差异化感知的图像质量评价研究

基于部分卷积和多尺度特征融合的人脸图像修复模型

基于多步长的多机器人分布式巡逻算法研究

采用离散烟花算法的移动群智感知异构任务分配

基于BA-RVM算法的发动机故障诊断技术研究

基于情感语义对抗的跨语言情感分类模型

改进麻雀搜索算法优化SVM的异常点检测

精英反向黄金正弦海洋捕食者算法

面向鲁棒性增强的多任务机器阅读理解

DCsR:一种面向中文文本的集成式纠错框架

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!