自注意力机制结合DDPG的机器人路径规划研究

来源：计算机工程与应用杂志2024年第19期北京时间：

作者：王凤英, 陈莹, 袁帅, 杜利明

单位：1. 沈阳建筑大学 计算机科学与工程学院，沈阳 110168；2. 宿迁学院 信息工程学院，江苏 宿迁 223800

摘要：为更好解决深度确定性策略梯度算法在路径规划中存在样本利用率低、奖励稀疏、网络模型稳定速度慢等问题，提出了一种改进DDPG的算法。通过对机器人相机传感器获取图片信息加入自注意力机制，利用Dot-product方法计算图片之间的相关性，能够将较高权重精确聚焦在障碍物信息中。在复杂环境中，由于机器人缺乏经验导致难以获得正反馈的奖励，影响了机器人的探索能力。将DDPG算法与HER结合，提出DDPG-HER算法，有效利用正负反馈使机器人从成功和失败的经历中均可学习到适当奖励。通过Gazebo搭建静态和动态仿真环境进行训练和测试，实验结果表明所提出的算法能显著提高样本利用率，加快网络模型稳定的速度，解决奖励稀疏的问题，使机器人在环境未知的路径规划中能够高效地避开障碍物到达目标点。

关键词：深度强化学习,深度确定性策略梯度算法（DDPG）,后见经验算法（HER）,自注意力机制,机器人路径规划