融合对比预测编码的深度双Q网络

来源：计算机工程与应用杂志2023年第6期北京时间：

作者：刘剑锋, 普杰信, 孙力帆

单位：河南科技大学 信息工程学院，河南 洛阳 471023

摘要：在模型未知的部分可观测马尔可夫决策过程（partially observable Markov decision process，POMDP）下，智能体无法直接获取环境的真实状态，感知的不确定性为学习最优策略带来挑战。为此，提出一种融合对比预测编码表示的深度双Q网络强化学习算法，通过显式地对信念状态建模以获取紧凑、高效的历史编码供策略优化使用。为改善数据利用效率，提出信念回放缓存池的概念，直接存储信念转移对而非观测与动作序列以减少内存占用。此外，设计分段训练策略将表示学习与策略学习解耦来提高训练稳定性。基于Gym-MiniGrid环境设计了POMDP导航任务，实验结果表明，所提出算法能够捕获到与状态相关的语义信息，进而实现POMDP下稳定、高效的策略学习。

关键词：部分可观测马尔可夫决策过程,表示学习,强化学习,对比预测编码,深度双Q网络