基于D-DQN强化学习算法的双足机器人智能控制研究

来源：计算机测量与控制杂志2024年第3期北京时间：

作者：李丽霞,陈艳

摘要：针对现有双足机器人智能控制算法存在的轨迹偏差大、效率低等问题,提出了一种基于D-DQN强化学习的控制算法。先分析双足机器人运动中的坐标变换关系和关节连杆补偿过程,然后基于Q值网络实现对复杂运动非线性过程降维处理,采用了Q值网络权值和辅助权值的双网络权值设计方式,进一步强化DQN网络性能,并以Tanh函数作为神经网络的激活函数,提升DQN网络的数值训练能力。在数据训练和交互中经验回放池发挥出关键的辅助作用,通过将奖励值输入到目标函数中,进一步提升对双足机器人的控制精度,最后通过虚拟约束控制的方式提高双足机器人运动中的稳定性。实验结果显示:在D-DQN强化学习的控制算法,机器人完成第一阶段测试的时间仅为115s,综合轨迹偏差0.02m,而且步态切换极限环测试的稳定性良好。

关键词：D-DQN;强化学习;双足机器人;智能控制;经验回放池;虚拟约束控制

基金资助：2022年度广州华商学院高等教育教学改革项目（HS2022ZLGC71）