《计算机工程与科学杂志》发表论文赏析

面向算力网络的跨集群数据迁移系统的设计和实现

来源:计算机工程与科学杂志2025年第5期北京时间:

作者:李俊哲, 付振新, 杨宏辉, 马银萍, 李若淼, 樊春,

单位:(1.北京大学计算机学院,北京 100871;2.北京大学计算中心,北京 100871;3.北京大学长沙计算与数字经济研究院,湖南 长沙 410205)

摘要:在算力网络的建设中,如何在不同地域算力中心的集群之间进行高效可靠的数据迁移,是影响算力网络建设成功与否的关键研究课题。鉴于此,设计并实现了基于RSYNC的高性能传输软件SCOW-SYNC。首先,SCOW-SYNC采用队列和线程池架构,对传统的RSYNC进行了优化,通过并行建立多个TCP连接和并行传输,提高了带宽利用率。此外,SCOW-SYNC还支持大文件自动切分、动态压缩、后台运行、进度实时查询和SSH连接池管理等功能。经测试,SCOW-SYNC相比RSYNC能够达到125%~130%的加速比。其次,为了提高传输的安全性,面向算力中心提出了一套可靠的跨集群传输系统架构,数据传输仅在“传输节点”之间发起,使用“传输密钥”进行加密,该密钥由“管理节点”负责动态检查、生成和分发。最后,将SCOW-SYNC集成到高性能计算门户和管理平台SCOW中,实现了SCOW的跨集群传输模块,使得用户可以通过浏览器在不同集群之间进行高性能的数据迁移,并通过容器化技术部署到了北京大学跨集群环境中,提高了生产效率。

关键词:高性能计算系统软件,算力网络,并行传输,RSYNC,集群安全,

基金资助:2023年湖南省十大技术攻关项目(2023GK1010)

2025年5期其他文献查阅:

面向国产芯片的可复现矩阵分解

面向算力网络的跨集群数据迁移系统的设计和实现

用于低间隔加速部件控制的多线程无中断RISC-V处理器

面向数据密集型应用的近数据处理架构设计

一种新型低开销抗三节点翻转的锁存器设计

面向多层递归域名系统的自适应缓存管理方法

扩展汉明码下二级QR码信息隐藏方案

基于GATv2-TCN联合优化的WSN数据流异常检测算法

基于双曲图卷积神经网络的切片级漏洞检测方法

用于遥感图像时空融合的多尺度全聚合网络

基于Floyd-Steinberg误差扩散的数字半调高效计算

基于双混沌系统的双随机相位编码和压缩感知的图像加密算法

基于生成对抗网络的跨模态图像情感感知描述

基于注意力机制的特征融合推荐模型

基于随机对称搜索的进化强化学习算法

基于非对称空间特征的脑电信号情感分析研究

低资源场景下的汉语—传统蒙古语跨语言摘要方法研究

面向不平衡数据的特征子空间增强的异质集成学习

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!