MADDPG算法并行优先经验回放机制

来源：系统工程与电子技术杂志2021年第2期北京时间：

作者：高昂, 董志明, 李亮, 宋敬华, 段莉

单位：1. 陆军装甲兵学院演训中心, 北京 100072；2. 中国人民解放军61516部队, 北京 100076

摘要：多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)算法是深度强化学习方法在多智能体系统(multi-agent system, MAS)领域的重要运用,为提升算法性能,提出基于并行优先经验回放机制的MADDPG算法。分析算法框架及训练方法,针对算法集中式训练、分布式执行的特点,采用并行方法完成经验回放池数据采样,并在采样过程中引入优先回放机制,实现经验数据并行流动、数据处理模型并行工作、经验数据优先回放。分别在OpenAI多智能体对抗、合作两类典型环境中,从训练轮数、训练时间两个维度对改进算法进行了对比验证,结果表明,并行优先经验回放机制的引入使得算法性能提升明显。

关键词：多智能体系统,深度强化学习,并行方法,优先经验回放,深度确定性策略梯度

基金资助：军队科研计划项目(41405030302);军队科研计划项目(41401020301)