基于深度强化学习的移动机器人三维路径规划方法

来源：计算机应用杂志2024年第7期北京时间：

作者：马天, 席润韬, 吕佳豪, 曾奕杰, 杨嘉怡, 张杰慧

单位：1.西安科技大学 计算机科学与技术学院, 西安 710016；2.中煤科工集团 常州研究院有限公司, 江苏 常州 213015；3.天地(常州)自动化股份有限公司, 江苏 常州 213015；4.西安理工大学 计算机科学与工程学院, 西安 710048

摘要：针对三维未知环境中存在的高复杂度和不确定性的问题，提出一种在有限观测空间优化策略下基于深度强化学习的移动机器人三维路径规划方法。首先，在有限观测空间下采用深度图信息作为智能体的输入，模拟移动受限且未知的复杂三维空间环境；其次，设计了两阶段离散动作空间下的动作选择策略，包括方向动作和位移动作，以减少搜索步数和时间；最后，在近端策略优化（PPO）算法基础上，添加门控循环单元（GRU）结合历史状态信息，以提升未知环境中搜索策略的稳定性，进而提高规划路径准确度和平滑度。实验结果表明，相较于A2C（Advantage Actor-Critic），所提方法的平均搜索时间缩短了49.07%，平均规划路径长度缩短了1.04%，同时能够完成线性时序逻辑约束下的多目标路径规划任务。

关键词：深度强化学习,移动机器人,三维路径规划,近端策略优化,深度图

基金资助：国家重点研发计划项目(2021YFB4000905);国家自然科学基金资助项目(62101432);陕西省自然科学基础研究计划项目(2022JM-508)