基于 Transformer 改进强化学习的无人机电力巡检规划

来源：机械与电子杂志2024年第10期北京时间：

作者：杨继阳;欧阳权;丛玉华;王瑞群;王志胜

单位：南京航空航天大学自动化学院,江苏 南京 210016

摘要：为实现无人机电力巡检过程的全自主决策,针对传统强化学习轨迹规划存在的收敛速度慢、易陷入局部最优的问题,基于 Transformer 模型改进深度强化学习,设计了电量约束下的无人机充电巡检决策算法。首先建立对电力巡检任务场景的能耗模型和马尔可夫决策模型。然后分别设计了基于图神经网络的静态编码器和基于门控循环的动态编码器以提取不同类型环境数据,同时设计了基于多头注意力机制的解码器,输出不定长的全局充电巡检策略序列以预测未来奖励。最后对收敛后的推理模型在电力巡检仿真环境进行验证。仿真结果表明,相比于传统强化学习,所提算法可以提取地图深层状态特征,路径能耗降低了 26.61% ,并具有更好的收敛性。

关键词：无人机;电力巡检;轨迹规划; Transformer ;强化学习

基金资助：国家自然科学基金资助项目( 61473144 )