基于Q学习算法的随机离散时间系统的随机线性二次最优追踪控制

来源：南京信息工程大学学报·自然科学版杂志2021年第5期北京时间：

作者：张正义，赵学艳

单位：张正义,华南理工大学 自动化科学与工程学院, 广州, 510640,赵学艳,华南理工大学 自动化科学与工程学院, 广州, 510640,auxyzhao@scut.edu.cnis_first_author:0,is_contact_author:,sequence:2,first_name:,middle_name:,last_name:,resume:,institute_superscript:

摘要：针对随机线性离散时间系统，利用Q学习算法求解无限时域的随机线性二次最优追踪控制（SLQT）问题.首先，假设通过命令生成器生成追踪所需的参考信号，并建立一个由原随机系统和参考轨迹系统组成的增广系统，把最优追踪问题转化为最优调节问题的形式.其次，为了在线求解随机系统的最优追踪问题，将随机系统转为确定性系统，并根据增广系统定义随机线性二次最优追踪控制的Q函数，在无需知道系统模型参数的情况下在线求解增广随机代数方程（GSAE）.再次，证明了Q学习算法和增广随机代数方程的等价性，给出了Q学习算法实现步骤.最后，给出一个仿真实例说明Q学习算法的有效性.

关键词：随机系统;Q学习算法;最优追踪控制;随机代数方程

基金资助：国家自然科学基金（61873099，62073144）；广东省自然科学基金（2020A1515010441）；广州市科技计划（202002030158，202002030389）