《计算机工程与科学杂志》发表论文赏析

面向容器环境的Flink的任务调度优化研究

来源:计算机工程与科学杂志2021年第7期北京时间:

作者:黄山, 房六一, 徐浩桐, 段晓东,

单位:(1.大连民族大学计算机科学与工程学院,辽宁 大连 116600;2.大数据应用技术国家民委重点实验室,辽宁 大连 116600;3.大连市民族文化数字技术重点实验室,辽宁 大连 116600)

摘要:随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。

关键词:容器,大数据,Flink,任务调度,负载均衡,容器环境,

基金资助:国家重点研发计划(2018YFB1004402)

2021年7期其他文献查阅:

基于GPU加速的脉冲多普勒雷达信号处理

大规模城市可计算模型快速构建方法研究

分布式训练异构任务调度算法研究

一种双端口发射队列及其性能优化

面向容器环境的Flink的任务调度优化研究

新型电路版图布局布线算法设计

MEDA芯片菊花链的自动容错设计

基于采样尺度自适应的多尺度量子谐振子优化算法并行化

一种基于狼群优化的改进DV_Hop定位算法

支持连接关键词搜索的属性加密方案研究

混合频谱分配的三层异构网络覆盖概率分析

一种高效的SM2数字签名批量验证算法

基于Schur分解和混沌置乱的彩色图像鲁棒水印算法

基于深度Q学习的室内无线网络资源分配算法

基于各向异性和边缘强度修正因子的边缘检测算法

多尺度深度监督的高度近视萎缩病变分割方法

SAG-Net:用于联合视盘和视杯分割的新型跳过注意力指导网络

基于全局和局部特征的无参考夜间图像质量评价

基于SSD和时序模型的微博好友推荐算法

基于时间点过程的时间序列预测模型

融合词语统计特征和语义信息的文本分类方法研究

基于二元与三元模型相结合的句法规则层次化分析算法

基于耦合度和PDG混合特征的源代码作者归属预测

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!