基于梯度奖励的深度强化学习移动机器人路径规划

来源：机床与液压杂志2023年第17期北京时间：

作者：喻凯旋，林富生，宋志峰，余联庆

单位：武汉纺织大学机械工程与自动化学院;三维纺织湖北省工程研究中心;湖北省数字化纺织装备重点实验室；武汉纺织大学机械工程与自动化学院;三维纺织湖北省工程研究中心;湖北省数字化纺织装备重点实验室；武汉纺织大学机械工程与自动化学院;三维纺织湖北省工程研究中心;湖北省数字化纺织装备重点实验室；武汉纺织大学机械工程与自动化学院

摘要：针对目前深度强化学习移动机器人路径规划中稀疏奖励导致的效率低、收敛慢等问题，提出一种梯度奖励政策。使用区域分割将环境分割为缓冲区、探索区、临近区以及目标区，奖励的动态变化可以逐步缩小机器人的探索范围，同时在安全区域内也能获得正向奖励。首先输入机器人当前的位置坐标，经过神经网络后估计4个动作的 Q 值，随后通过去首动态贪婪策略达到最大化探索，最后采用基于均方误差的优先经验回放抽取样本进行梯度下降更新网络。实验结果表明：在小范围环境内探索效率可提升近40%，在大范围环境下成功率高于80%，而且在提高探索效率的同时增强了鲁棒性。

关键词：深度强化学习;路径规划;梯度奖励;区域分割;去首动态贪婪策略