《计算机工程与科学杂志》发表论文赏析

基于MPI的并行大数据集生成器

来源:计算机工程与科学杂志2022年第7期北京时间:

作者:葛旭冉, 刘洋, 陈志广, 肖侬

单位:(1.国防科技大学计算机学院,湖南 长沙 410073;2.中山大学计算机学院,广东 广州 510006)

摘要:大数据处理分析算法在优化研究过程中,速度常常受限于数据集的规模。在数据集体量不足时,算法的通信时间往往要高于真正的计算时间,无法验证真实的效果。故设计实现了一个大数据集生成器,为运行在超级计算机上的并行大数据处理分析算法提供基准测试数据集。首先,使用MPI并行编程技术构造了一个并行随机数生成器,在此基础上设计实现了可控制规模及复杂性的人工数据集,主要包括:分类和聚类数据集、回归数据集、流形学习数据集和因子分解数据集等。其次,设计了大数据集生成器的I/O系统,提供MPI-I/O并行读、写数据集的接口,并设置了数据集在不同进程间的分发、映射规则,通过点对点通信实现不同节点之间的数据交互。实验结果表明,并行大数据集生成器有效提高了数据生成效率和生成规模,为并行大数据处理分析算法提供了高质量、大体量的测试数据集。

关键词:MPI,大数据集生成器,I/O系统,并行大数据处理算法,算法测试,

基金资助:国家重点研发计划(2018YFC1406205);国家自然科学基金(U1811461,61872392); 广东省自然科学基金 (2018B0303120);广东省基础与应用基础研究(2019B030302002)

2022年7期其他文献查阅:

面向Flink的负载均衡任务调度算法的研究与实现

基于MPI的并行大数据集生成器

国产通用处理器密码算法指令实现研究

多路系统Cache一致性验证中的错误追踪定位技术

基于NR-Transformer的集群作业运行时间预测

一种面向分布式深度学习的轻量级聚合通信库

小信号放大电路任意波形THD全自动测量系统研究

一种基于聚类与噪声的网络流量分类方法

无人机辅助的无线传感网络AoI最小化方案研究

基于多智能体的海外反恐运输投送模型研究

基于雾计算面向停车服务的隐私保护方案

基于特征通道和空间位置注意力的三维点云特征学习网络

面向点云三维重建的空间感知对抗神经网络

基于区域划分和四元数的彩色图像复制粘贴篡改检测

基于轻量级神经网络的目标检测研究

基于改进A*算法和动态窗口法的机器人路径规划

多文字可满足SAT问题的相变点上界

面向公平保障的共乘定价与匹配算法

一种基于CSI的高鲁棒性步态识别方法

基于多重相关信息交互的文本相似度计算方法

随机约束满足问题相变研究综述

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!