基于逆强化学习的奇异摄动系统最优控制算法研究

来源：计算机测量与控制杂志2025年第12期北京时间：

作者：沈敏胤,刘飞

单位：江南大学轻工过程先进控制教育部重点实验室

摘要：针对具有双时间尺度特性的奇异摄动系统最优控制，给出一种基于全阶模型直接求解的逆强化学习算法，对比传统的将原始奇异摄动系统经时间尺度分离为快慢两个时间尺度的复合控制方法，降低了问题求解的复杂度。首先设计了一种基于模型的策略迭代逆强化学习算法，利用系统动力学和最优控制策略增益来重构未知成本函数；在此基础上，采用无模型off-policy 逆强化学习算法，仅依赖于系统显示的最优行为数据，无需系统动力学模型和最优控制策略增益的先验知识，即可准确重构成本函数，使系统能够跟踪学习最优行为，同时在存在探测噪声的情况下也能实现无偏估计，仿真算例实验验证了方法的有效性。

关键词：奇异摄动系统;逆强化学习;最优控制;off-policy;数据驱动控制