《计算机工程与科学杂志》发表论文赏析

面向云环境的Flink负载均衡策略

来源:计算机工程与科学杂志2022年第5期北京时间:

作者:徐浩桐, 黄山, 孙国璋, 贺菲莉, 段晓东,

单位:(1.大连民族大学计算机科学与工程学院,辽宁 大连 116600;2.大数据应用技术国家民委重点实验室(大连民族大学),辽宁 大连 116600;3.大连市民族文化数字技术重点实验室(大连民族大学),辽宁 大连 116600)

摘要:作为新一代的大数据计算引擎,Flink得到了广泛应用。Flink在云环境下进行容器化部署时,其默认任务调度算法不能感知节点的资源信息,导致即时调整负载和自主均衡能力较差,而主流的容器编排工具虽然提供了管理容器的可能性,却也未能结合Flink特点解决平衡资源利用的同时降低容器组内的通信开销问题。针对以上问题开展研究,提出了一种面向云环境的Flink负载均衡策略FLBS,综合考虑了Flink集群中算子的分布特点和容器间通信机制,以节点间通信开销和均衡负载作为评估标准。实验结果表明,与Flink默认调度策略相比,FLBS能够有效提高计算效率,提升系统性能。

关键词:Flink,容器,通信开销,负载均衡,迁移,

基金资助:国家重点研发计划(2018YFB1004402)

2022年5期其他文献查阅:

高速芯片封装中多平行传输线的设计与优化

一种类脑处理器片上网络的验证框架

面向云环境的Flink负载均衡策略

基于Hellinger距离的不平衡漂移数据流Boosting分类算法

可防止无关属性干扰的属性基加密方案

基于ECC的区块链数据共享系统设计

基于随机森林算法的无线传感网络攻击流量阻断模型构建

基于半监督生成对抗网络的恶意代码家族分类实现

基于染色随机游走的可重叠社区发现

基于全卷积神经网络的单幅隧道图像裂纹提取算法

判别增强的生成对抗模型在文本至图像生成中的研究与应用

基于全融合网络的三维点云语义分割

用于CD56图像分割的细胞标注精细化与自适应加权损失

基于计算机辅助诊断技术的阿尔兹海默症早期分类研究综述

基于EMD距离的稀疏自编码器

混合神经网络模型与注意力机制的地址匹配算法

基于改进蚁群优化算法的养殖场机器人路径规划

小数据集情况下基于变权重融合的BN参数学习算法

基于多图卷积神经网络和注意力机制的学术新星预测方法

基于非负矩阵分解的群组推荐算法

基于改进在线极限学习机的短时交通流预测模型研究

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!