基于BP神经网络的双层启发式强化学习方法

来源：计算机研究与发展杂志2015年第3期北京时间：

作者：刘智斌,曾晓勤,刘惠义,储荣,

摘要：强化学习通过与环境交互的方式进行学习，在较大状态空间中其学习效率却很低.植入先验知识能够提高学习速度，然而不恰当的先验知识反而会误导学习过程，对学习性能不利.提出一种基于BP神经网络的双层启发式强化学习方法NNH-QL，改变了传统强化学习过程的盲目性.作为定性层，高层由BP神经网络构成，它不需要由外界提供背景知识，利用Shaping技术，将在线获取的动态知识对底层基于表格的Q学习过程进行趋势性启发.算法利用资格迹技术训练神经网络以提高学习效率.NNH-QL方法既发挥了标准Q学习的灵活性，又利用了神经网络的泛化性能，为解决较大状态空间下的强化学习问题提供了一个可行的方法.实验结果表明：该方法能够较好地提高强化学习的性能且具有明显的加速效果.

关键词：NNH-QL, 强化学习, Q学习, 神经网络, 路径规划,