深度强化学习在机器人路径规划中的应用

来源：电子测量技术杂志2023年第6期北京时间：

作者：邓修朋，崔建明，李敏，张小军，宋戈

单位：1.山东科技大学电子信息工程学院 青岛 266590; 2.山东科技大学计算机科学与工程学院 青岛 266590

摘要：针对深度强化学习算法在路径规划的过程中出现与所处环境交互信息不精确、回馈稀疏、收敛不稳定等问题，在竞争网络结构的基础上，提出一种基于自调节贪婪策略与奖励设计的竞争深度Q网络算法。智能体在探索环境时，采用基于自调节贪婪因子的ε-greedy探索方法，由学习算法的收敛程度决定探索率ε的大小，从而合理分配探索与利用的概率。根据人工势场法物理理论塑造一种势场奖励函数，在目标处设置较大的引力势场奖励值，在障碍物附近设置斥力势场奖励值，使智能体能够更快的到达终点。在二维网格环境中进行仿真实验，仿真结果表明，该算法在不同规模地图下都取得了更高的平均奖赏值和更稳定的收敛效果，路径规划成功率提高了48.04%，验证了算法在路径规划方面的有效性和鲁棒性。同时与Q-learning算法对比实验表明，所提算法路径规划成功率提高了28.14%，具有更好的环境探索和路径规划能力。

关键词：路径规划;强化学习;深度强化学习;ε-greedy策略;人工势场

基金资助：山东省自然基金联合基金(ZR2019LZH001)项目资助