带最大熵修正和GAIL的PPO算法

来源：计算机测量与控制杂志2025年第1期北京时间：

作者：王泽宁,刘蕾

单位：中国电子科技集团公司第十五研究所

摘要：为提高智能体在策略优化过程中的探索性和稳定性，改善强化学习中智能体陷入局部最优和奖励函数设置问题，提出了一种基于最大熵修正和GAIL的PPO算法；在PPO框架内引入最大熵修正项，通过优化策略熵，鼓励智能体在多个可能的次优策略间进行探索，从而更全面地评估环境并发现更优策略。同时，为解决强化学习过程中因奖励函数设置不合理引起的训练效果不佳问题，引入GAIL思想，通过专家数据指导智能体进行学习；实验表明，引入最大熵修正项和GAIL的PPO算法在强化学习任务上取得了良好的性能，有效提升了学习速度和稳定性，且能有效规避因环境奖励函数设置不合理引起的性能损失。该算法为强化学习领域提供了一种新的解决策略，对于处理具有挑战性的连续控制问题具有重要意义。

关键词：强化学习;PPO算法;生成式对抗模仿学习;深度学习;最大熵学习