《计算机工程与科学杂志》发表论文赏析

分布式环境中的多作业执行调度策略与优化

来源:计算机工程与科学杂志2021年第6期北京时间:

作者:季航旭, 姜苏, 赵宇海, 吴刚, 王国仁

单位:1.东北大学计算机科学与工程学院,辽宁 沈阳 110819;2.北京理工大学计算机学院,北京 100081

摘要:分布式大数据计算引擎是科研机构、互联网企业和政府部门处理大规模数据必不可少的工具,它们的使用和推广促进了各个领域的快速发展,为社会进步做出了巨大贡献。但是,在多作业处理的情况下,目前主流的大数据计算引擎在资源分配和作业调度方面仍有许多不足之处,它们通常对多作业平均划分内存资源并以先进先出FIFO的方式调度作业,这样简单的资源划分方式和作业调度机制并不能充分利用系统性能。针对此问题,从计算引擎的作业层面做出了改进:在资源划分方面,通过提取作业特征对作业的任务量进行预估,判断作业任务量和作业预分配资源间的差异,合并对集群资源浪费较高的作业,充分利用计算资源;在作业调度方面,对作业池中的作业进行特征提取,使用多路K-means算法对作业进行聚类分析,然后基于分析的结果,使用自平衡轮询调度算法对作业进行调度,达到负载均衡的目的。为了验证所提算法的有效性,使用大规模文本数据集在分布式集群环境中进行对比实验,实验结果表明,提出的作业合并算法和多作业调度算法可以减少5%~23%的作业运行时间,提高了7.5%~29%的系统吞吐量,在最好情况下可减少40%的线程启动数。

关键词:分布式,作业合并,聚类,轮询调度,Flink,

基金资助:科技部重点研发项目(2018YFB1004402)

2021年6期其他文献查阅:

分布式环境中的多作业执行调度策略与优化

编译器中激进蝴蝶优化方法的研究与实现

FPD平行端口矩形区域内电阻驱动的自动布线算法

基于TPU和FPGA的深度学习边缘计算平台的设计与实现

基于机器学习方法的高速信道建模研究

基于ARM SVE的光滑粒子流体动力学SIMD加速方法

一种基于国产异构众核处理器的C++智能源码转换框架

基于排序学习的构件检索方法的研究

引入线索约束的设计模式变体挖掘研究

基于无监督学习的无人机目标跟踪

一种改进的OSID的图像匹配算法

基于光源颜色和噪声的图像拼接篡改检测方法

基于加权变换的蒙古族家具纹样增强研究

基于图嵌入与拓扑结构信息的蛋白质复合物识别算法

k最近邻流序列算法对异常流检测的优化研究

融合结构-属性交互二部图随机游走的社区搜索方法

基于RCNN的问题相似度计算方法

融合相似度图和随机游走模型的多标签短文本分类算法

低信噪比下联合训练生成对抗网络的语音分离

基于Petri网的流程变体合并方法

基于时态边缘算子的时间序列自主分段表示法

基于确定性拥挤的多模态郊狼优化算法

基于一种新型分支定价算法的电动车支线镇际快递配送路径规划研究

基于改进型柯西变异灰狼优化算法训练的多层感知器

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!