《计算机工程与科学杂志》发表论文赏析

面向Flink的负载均衡任务调度算法的研究与实现

来源:计算机工程与科学杂志2022年第7期北京时间:

作者:李文佳, 史岚, 季航旭, 罗意彭

单位:(1.东北大学计算机科学与工程学院,辽宁 沈阳 110169;2.辽宁工业大学软件学院,辽宁 锦州 121000)

摘要:Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题。由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS。通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率。最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能。

关键词:Apache Flink;基于资源反馈的负载均衡任务调度算法;实时资源监控;区域划分;人工萤火虫优化算法 ,,

基金资助:科技部重点研发项目(2018YFB1004402)

2022年7期其他文献查阅:

面向Flink的负载均衡任务调度算法的研究与实现

基于MPI的并行大数据集生成器

国产通用处理器密码算法指令实现研究

多路系统Cache一致性验证中的错误追踪定位技术

基于NR-Transformer的集群作业运行时间预测

一种面向分布式深度学习的轻量级聚合通信库

小信号放大电路任意波形THD全自动测量系统研究

一种基于聚类与噪声的网络流量分类方法

无人机辅助的无线传感网络AoI最小化方案研究

基于多智能体的海外反恐运输投送模型研究

基于雾计算面向停车服务的隐私保护方案

基于特征通道和空间位置注意力的三维点云特征学习网络

面向点云三维重建的空间感知对抗神经网络

基于区域划分和四元数的彩色图像复制粘贴篡改检测

基于轻量级神经网络的目标检测研究

基于改进A*算法和动态窗口法的机器人路径规划

多文字可满足SAT问题的相变点上界

面向公平保障的共乘定价与匹配算法

一种基于CSI的高鲁棒性步态识别方法

基于多重相关信息交互的文本相似度计算方法

随机约束满足问题相变研究综述

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!