《计算机工程与科学杂志》发表论文赏析

研发类GPU集群任务数据集的构建及分析

来源:计算机工程与科学杂志2024年第12期北京时间:

作者:罗婧, 叶志晟, 杨泽华, 傅天豪, 魏雄, 汪小林, 罗英伟,

单位:1.武汉纺织大学计算机与人工智能学院,湖北 武汉 430200;2.鹏城实验室,广东 深圳 518000;3.北京大学计算机学院,北京 100871)

摘要:近年来,随着深度学习模型训练需求增长,研究机构和企业通过搭建共享GPU集群来降低成本和提高效率。现有研究主要关注企业生产类GPU集群的任务调度和资源分配。针对研发类GPU集群鹏城云脑I,进行任务运行时关键指标的监控和数据采集,构建含任务细粒度时序资源使用信息的深度学习训练任务数据集——鹏城云脑I任务数据集。该数据集是首个面向研发类GPU集群公开数据集,揭示了研发类GPU集群中资源利用率低的现象,为研发类GPU集群高资源利用率的调度器设计提供依据和参考,推动任务调度和资源分配机制的研究。

关键词:GPU集群,深度学习,集群负载,任务数据集,资源利用率,

基金资助:国家自然科学基金(62032001,62032008)

2024年12期其他文献查阅:

2024年中国高性能计算机发展现状分析

高精度两步分支混合CORDIC算法设计及FPGA实现

开源前处理软件到通用有限元求解器的网格文件转换方法研究

Bowtie 2-NUMA:具有NUMA体系结构适应性的基因序列比对应用#br#

研发类GPU集群任务数据集的构建及分析

面向深度学习作业的干扰感知在线调度算法研究

5G-AKA认证机制脆弱性分析与验证

基于改进萤火虫算法和长短期记忆网络的恶意行为检测方法

一种基于多区块链协作的分布式位置匿名方法

基于优化特征堆叠与集成学习的车联网入侵检测模型

基于模板更新和重检测的长时目标跟踪研究

基于多尺度特征融合与背景抑制的MFFBSNet人群计数算法

一种基于孪生网络的目标轮廓跟踪方法

西夏文字的多层掩码识别方法

一种针对对话文本属性级情感信息抽取的词对关系建模方法

矛盾体分离单元结果演绎方法及应用

融合注意力机制的解耦对比聚类

基于通道筛选和自适应熵阈值的眼电伪迹自动去除算法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!