引入势场及陷阱搜索的强化学习路径规划算法

来源：计算机工程与应用杂志2018年第16期北京时间：

作者：董培方1，张志安1，梅新虎2，朱 朔1

单位：1.南京理工大学 机械工程学院，南京 210094；2.南京理工大学 计算机科学与技术学院，南京 210094

摘要：移动机器人在复杂环境中移动难以得到较优的路径，基于马尔可夫过程的Q学习（Q-learning）算法能通过试错学习取得较优的路径，但这种方法收敛速度慢，迭代次数多，且试错方式无法应用于真实的环境中。在Q-learning算法中加入引力势场作为初始环境先验信息，在其基础上对环境进行陷阱区域逐层搜索，剔除凹形陷阱区域[Q]值迭代，加快了路径规划的收敛速度。同时取消对障碍物的试错学习，使算法在初始状态就能有效避开障碍物，适用于真实环境中直接学习。利用python及pygame模块建立复杂地图，验证加入初始引力势场和陷阱搜索的改进Q-learning算法路径规划效果。仿真实验表明，改进算法能在较少的迭代次数后，快速有效地到达目标位置，且路径较优。

关键词：路径规划,强化学习,人工势场,陷阱搜索,Q值初始化