一种近似模型表示的启发式Dyna优化算法

来源：计算机研究与发展杂志2015年第12期北京时间：

作者：钟珊,刘全,傅启明,章宗长,朱斐,龚声蓉,

摘要：针对基于查询表的Dyna优化算法在大规模状态空间中收敛速度慢、环境模型难以表征以及对变化环境的学习滞后性等问题,提出一种新的基于近似模型表示的启发式Dyna优化算法(aheuristicDynaoptimizationalgorithmusingapproximatemodelrepresentation,HDyna-AMR),其利用线性函数近似逼近Q值函数,采用梯度下降方法求解最优值函数.HDyna-AMR算法可以分为学习阶段和规划阶段.在学习阶段,利用agent与环境的交互样本近似表示环境模型并记录特征出现频率；在规划阶段,基于近似环境模型进行值函数的规划学习,并根据模型逼近过程中记录的特征出现频率设定额外奖赏.从理论的角度证明了HDyna-AMR的收敛性.将算法用于扩展的Boyanchain问题和Mountaincar问题.实验结果表明,HDyna-AMR在离散状态空间和连续状态空间问题中能学习到最优策略,同时与Dyna-LAPS(Dyna-styleplanningwithlinearapproximationandprioritizedsweeping)和Sarsa(λ)相比,HDyna-AMR具有收敛速度快以及对变化环境的近似模型修正及时的优点.

关键词：强化学习, 模型学习, 规划, 函数逼近, 机器学习,