基于碰撞预测的强化模仿学习机器人导航方法

来源：计算机工程与应用杂志2024年第10期北京时间：

作者：王浩杰, 陶冶, 鲁超峰

单位：青岛科技大学 信息科学技术学院，山东 青岛 266100

摘要：基于学习的机器人导航方法存在对数据的依赖性高和在一些特定环境下表现不完美的问题，例如在空旷场景下无法走直线，在障碍物密集场景下碰撞率高。为了提高机器人的导航性能，提出了一种基于碰撞预测的强化模仿学习导航方法。在无模型的情况下，根据机器人的性能，建立马尔科夫决策过程（Markov decision process，MDP）中所需要的状态空间、动作空间、奖励函数。采用深度强化学习（deep reinforcement learning，DRL）在仿真环境中进行训练，使机器人获得能够在多障碍环境中导航和避障的能力。使用收集到的专家数据按照模仿学习方法对策略继续进行训练，改善强化学习在障碍物稀疏和密集两种极端情况下表现不完美的问题。设计了一个碰撞预测模型，将传统控制与深度学习相结合，根据预测结果，使机器人自适应地在不同环境下选取合适的控制策略，大大提高了导航的安全性。通过实验，在大量从未遇到过的场景下验证了所提出方法的导航性能和泛化能力。

关键词：导航,强化学习,模仿学习,碰撞预测,混合控制