移动机器人行人避让策略强化学习研究

来源：计算机工程与应用杂志2023年第18期北京时间：

作者：王唯鉴, 王勇, 杨骁, 吕宗喆, 吴宗毅

单位：1.北京机械工业自动化研究所，北京 100120；2.北自所（北京）科技发展股份有限公司，北京 100120

摘要：为提升移动机器人在人员密集场景下的行人避让能力，提出一种深度强化学习行人避让方法。按照强化学习范式对问题进行建模，规定了状态空间、动作空间和奖励函数。使用图卷积网络（graph convolutional networks，GCN）聚合机器人与行人的自身潜在特征以及彼此的关联特征，输出机器人与行人之间的深度交互特征用于状态-动作对的价值估计，同时提取行人之间的深度交互特征用于行人状态预测。应用了一种改进的蒙特卡洛树搜索方法使机器人通过行人状态预测和与环境模拟交互来评估未来[K]步行动的预期收益，选择更有远见的导航路径。实验表明引入行人状态预测以及改进蒙特卡洛树搜索方法使机器人导航时间更短，避让效果更好。提出的方法在开源仿真场景CrowdNav中具备接近SOTA模型的性能，且运行时间更短。

关键词：移动机器人,避障算法,深度强化学习,图卷积网络,蒙特卡洛树搜索