基于强化学习的艾灸机器人温度控制策略研究

来源：电子测量技术杂志2022年第24期北京时间：

作者：张博，黄山，张浛芮，李应昆，涂海燕

单位：1.四川大学电气工程学院 成都 610065; 2.四川省成都市第五人民医院康复医学科 成都 611130; 3.四川省成都中医药大学附属医院针灸康复科 成都 610072

摘要：针对传统PID控制算法在艾灸机器人温度控制中存在参数辨识复杂、适应性差等问题，将强化学习引入到艾灸机器人温控领域中，提出了一种改进强化学习算法。首先，通过多物理场仿真软件和神经网络联合搭建智能体离线训练仿真环境，以解决智能体在线训练效率低下的问题；然后，提出一种结合奖励引导和余弦退火策略的改进强化学习算法，提高算法的收敛性和成功率；最后，将仿真环境训练后的模型迁移到真实环境进行实验验证。实验结果表明，温度超调量为0.2 ℃，稳态温度保持在43.1 ℃±0.4 ℃内，改进后的强化学习算法相比于传统PID控制算法的温度控制能力更好。

关键词：艾灸机器人;温度控制;强化学习;奖励引导;余弦退火

基金资助：四川省重大科技专项(2019ZDZX0019)、四川省中医药管理局项目(2018KF013)资助