《计算机工程与科学杂志》发表论文赏析

异构微差同步并行训练算法

来源:计算机工程与科学杂志2024年第11期北京时间:

作者:黄山, 吴煜凡, 吕鹤轩, 段晓东,

单位:1.大连民族大学计算机科学与工程学院,辽宁 大连 116650;2.大数据应用技术国家民委重点实验室(大连民族大学),辽宁 大连 116650;3.大连市民族文化数字技术重点实验室(大连民族大学),辽宁 大连 116650

摘要:前馈神经网络BPNN因具有非线性能力强、自学习能力强、自适应能力强以及容错能力强等优点,被广泛应用于行为识别和预测等领域。随着模型的升级优化和数据量的快速增长,基于大数据分布式计算框架的并行训练架构成为主流。ApacheFlink作为新一代大数据计算框架,因其具有高吞吐量、低时延等特点而被广泛应用。硬件设备更新换代速度的加快以及购买批次不同导致现实生活中Flink集群大多数为异构集群,意味着集群中的计算资源不均衡。现有的BPNN并行训练模型无法解决因计算资源不均衡带来的训练过程中高性能节点空转的问题。此外,异构环境下BPNN的并行训练还存在节点数量增加,节点间的通信开销也随之增加的问题。传统的小批量梯度下降方法拥有较好的寻优效果,但随机的初始化模型和小批量的梯度下降特点导致了BPNN并行化训练出现收敛速度缓慢的问题。针对以上问题,为加快异构环境下BPNN并行化训练速度,提高BPNN并行训练效率,提出了异构微差同步并行训练算法。该算法能够针对异构环境下节点性能不同的情况,对节点性能进行评分,并实时地通过数据分区模块动态地按比例分配数据,使节点性能和节点分配数据量成正比,从而减少高性能节点空转时长。

关键词:Flink,BPNN,并行训练,异构环境,

基金资助:国家重点研发计划云计算和大数据重点专项(2018YFB1004402)

2024年11期其他文献查阅:

DeepFlame:基于深度学习和高性能计算的反应流模拟开源平台

Gyration:基于RTT测量的报文偏转拥塞控制算法

基于TLSF算法的高效内存分配算法的设计与实现

一种基于浮点误差分析的混合精度鲁棒性提升方法

基于动态自重构结构的3D-HEVC帧内预测算法并行化实现

面向高性能计算机光互连的低抖动Retimer电路

异构微差同步并行训练算法

一种基于区块链的众包激励机制

一种结合遗传算法和聚类的软件定义网络控制器优化部署机制

时间敏感网络中基于边不相交路径对选择的帧复制与消除机制

基于QoS-QoE预测的传输瓶颈定位

参与式感知设备多维数据的个性化差分隐私保护方案

基于Gamma分布贝叶斯RCS估计的多目标跟踪算法

基于轻量化目标检测网络的RGB-D视觉SLAM系统

基于可学习图像滤波器的雾天驾驶场景图像语义分割

基于MCL的多速率点云动作识别

基于CNN和Transformer特征融合的烟雾识别方法

基于D2GA的逆强化学习算法

基于匮乏理论的应急物资调度模型构建及算法研究

双级交互式自适应融合的多模态神经机器翻译

融合模体感知和图Transformer编码的社区检测

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!