基于Q学习的供热末端自适应PID控制算法

来源：计算机测量与控制杂志2020年第6期北京时间：

作者：段中兴,赵莎,马祥双

单位：西安建筑科技大学 信息与控制工程学院

摘要：城市建筑集中供热末端“全开”和“全关”控制方式不仅热舒适性差,也造成了较大热损耗。为改善这一问题,在研究了强化学习的基础上提出基于Q学习PID参数的供热末端流量控制算法。首先分析了散热器等的热动态及传热过程,建立了供热房间热平衡数学模型,然后以PID控制算法为基础,温度偏差为控制器输入,调节阀开度控制量为输出,选择温差变化为智能体奖惩的学习策略,通过Q学习算法对PID参数进行在线自适应整定,最后在集中供热末端流量调节的仿真实验中验证了控制器的调控性能并与传统PID控制结果进行了对比。实验结果表明,基于Q学习的自适应PID流量控制算法能够使室内温度变化和调节阀开度变化更加平缓,且节省约33%的供热量,节能效果较明显。

关键词：供热末端; Q学习;PID控制;流量调节

基金资助：“十三五”国家重点研发计划(编号：2017YFC0704207)资助 ]自适应学习率方法。训练出当前状态下最优的PID增益后,根据式(2)~式(7)计算出控制量,在控制量作用后再观察新状态下的流量和室温,比较前后时刻状态获得奖励,并继续进行训练学习,不断通过观察状态训练Q表,得出每个状态下的PID增益以控制阀门开度改变环境状态。故结合Q学习PID控制算法的伪代码如算法2所示