基于改进SAC的倒立摆控制算法研究

来源：电子测量技术杂志2024年第1期北京时间：

作者：张晓莉，郭仕林，刘鼎，宋婉莹

单位：西安科技大学通信与信息工程学院 西安 710600

摘要：针对倒立摆系统控制过程中易受外界干扰和自然不稳定的特点，以及深度强化学习SAC算法采样数据利用率较低和随机离线策略网络收敛较慢的问题，提出了一种结合近端经验采样和优化策略网络结构的改进算法PRER_SAC。构建神经网络拟合函数，策略网络使用性能更优的Mish函数作为激活函数,设置自调节温度系数以增强智能体的探索能力；设计远、近两个经验池，及一种改变数据存放频率的训练策略，提高数据样本的利用率。通过仿真实验对比，所提方法在同等训练次数下所得回报值和算法收敛速度优于DDPG和 SAC 算法，同传统控制方法PID和LQR相比，有更好的控制效果。最后，对训练好的智能体加入角度扰动，可在2 s内被消除抑制，证明提出的算法具有较强的适用性。

关键词：激活函数;神经网络;深度强化学习;倒立摆系统

基金资助：国家自然科学基金青年项目(61901358)、中国博士后科学基金面上项目(2019QDJ207)、陕西省教育厅一般专项(20JK0757)资助