一种权重平均值的深度双Q网络方法

来源：计算机研究与发展杂志2020年第3期北京时间：

作者：吴金金,刘全,陈松,闫岩,

摘要：深度强化学习算法的不稳定性和可变性对其性能有重要的影响.深度Q网络模型在处理需要感知高维输入数据的决策控制任务中性能良好.然而，深度Q网络存在着高估动作值使agent性能变差的问题.尽管深度双Q网络能够缓解高估带来的影响，但是仍然存在低估动作值的问题.在一些复杂的强化学习环境中，即使是很小的估计误差也会对学习到的策略产生很大影响.为了解决深度Q网络中高估动作值和深度双Q网络中低估动作值的问题，提出一种基于权重平均值的深度双Q网络方法(averagedweighteddoubledeepQ-network,AWDDQN)，该方法将带权重的双估计器整合到深度双Q网络中.为了进一步地减少目标值的估计误差，通过计算之前学习到的动作估计值的平均值来产生目标值，并且根据时间差分误差动态地确定平均动作值的数量.实验结果表明:AWDDQN方法可以有效减少估计偏差，并且能够提升agent在部分Atari2600游戏中的表现.

关键词：深度强化学习, 深度Q网络, 估计误差, 权重双估计器, 时间差分,