《计算机工程与科学杂志》发表论文赏析

基于NR-Transformer的集群作业运行时间预测

来源:计算机工程与科学杂志2022年第7期北京时间:

作者:陈奉贤

单位:(兰州大学网络安全与信息化办公室,甘肃 兰州 730000)

摘要:高性能集群的作业调度通常使用作业调度系统来实现,准确填写作业运行时间能在很大程度上提升作业调度效率。现有的研究通常使用机器学习的预测方式,在预测精度和实用性上还存在一定的提升空间。为了进一步提高集群作业运行时间预测的准确率,考虑先对集群作业日志进行聚类,将作业类别信息添加到作业特征中,再使用基于注意力机制的NR-Transformer网络对作业日志数据建模和预测。在数据处理上,根据与预测目标的相关性、特征的完整性和数据的有效性,从历史日志数据集中筛选出7维特征,并按作业运行时间的长度将其划分为多个作业集,再对各作业集分别进行训练和预测。实验结果表明,相比于传统机器学习和BP神经网络,时序神经网络结构有更好的预测性能,其中NR-Transformer在各作业集上都有较好的性能。

关键词:高性能计算,并行作业调度,用户聚类,时序神经网络,注意力机制,

2022年7期其他文献查阅:

面向Flink的负载均衡任务调度算法的研究与实现

基于MPI的并行大数据集生成器

国产通用处理器密码算法指令实现研究

多路系统Cache一致性验证中的错误追踪定位技术

基于NR-Transformer的集群作业运行时间预测

一种面向分布式深度学习的轻量级聚合通信库

小信号放大电路任意波形THD全自动测量系统研究

一种基于聚类与噪声的网络流量分类方法

无人机辅助的无线传感网络AoI最小化方案研究

基于多智能体的海外反恐运输投送模型研究

基于雾计算面向停车服务的隐私保护方案

基于特征通道和空间位置注意力的三维点云特征学习网络

面向点云三维重建的空间感知对抗神经网络

基于区域划分和四元数的彩色图像复制粘贴篡改检测

基于轻量级神经网络的目标检测研究

基于改进A*算法和动态窗口法的机器人路径规划

多文字可满足SAT问题的相变点上界

面向公平保障的共乘定价与匹配算法

一种基于CSI的高鲁棒性步态识别方法

基于多重相关信息交互的文本相似度计算方法

随机约束满足问题相变研究综述

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!