结合注意力机制与好奇心驱动的近端策略优化算法

来源：计算机应用与软件杂志2024年第3期北京时间：

作者：陈至栩, 张荣芬, 刘宇红, 王子鹏, 黄继辉

摘要：大多数真实世界的问题中外在世界的激励往往极其稀疏，Agent因得不到反馈而缺乏有效的机制更新策略函数。单纯利用内在好奇心机制驱动会受到无用或有害好奇心的影响导致探索任务失败。针对以上问题，提出一种结合注意力机制与好奇心驱动的近端策略优化算法，Agent能够通过好奇心驱动探索未知环境，同时结合注意力机制的理性好奇心能够有效控制Agent因有害好奇心导致的异常探索，使近端策略优化算法保持较快速度和更稳定的状态进行策略更新。实验结果表明该方法下Agent有更好的性能，能取得更高的平均奖励回报。

关键词：深度强化学习, 注意力机制, 近端策略优化, 好奇心机制