基于记忆启发的强化学习方法研究

来源：计算机技术与发展杂志2023年第06期北京时间：

作者：刘晓峰*;刘智斌;董兆安

单位：1. 曲阜师范大学 图书馆,山东 日照 276826;2. 曲阜师范大学 计算机学院,山东 日照 276826

摘要：该文旨在研究人工智能领域的强化学习问题。 在处理优化问题的过程中,强化学习具有不依赖于模型信息的特点,在信息产业和生产领域逐步获得应用,并取得了较好的效果。 然而,传统的强化学习算法通过随机探索获得优化行为,存在学习速度慢、收敛不及时的问题。 为了提高强化学习的效率,提出一种方法,让 Agent 利用自身学习得到的知识,指导和加速其以后的学习过程。 将 Q?学习和启发式 Shaping 回报函数结合起来,利用记忆的知识加速了 Agent 的学习过程。 另外,证明了采用启发函数与不使用启发函数在策略优化上的一致性。 针对一个路径规划问题,采用了学习过程中生成的势场函数作为启发函数,通过启发函数对强化学习的探索过程给予指导。 在实验中对该方法进行了验证,分析了采用不同参数带来的不同效果,并提出了一个解决死点问题的方法。 结果表明,该方法对强化学习过程有明显的加速作用,并能取得优化的搜索路径。

关键词：强化学习;Q 学习;启发式搜索;Shaping 函数;路径规划