基于双深度 Q 网络的智能决策系统研究

来源：计算机技术与发展杂志2022年第02期北京时间：

作者：况立群;冯利;韩燮;贾炅昊;郭广行

单位：1. 中北大学 大数据学院,山西 太原 030051;2. 北方自动控制技术研究所,山西 太原 030006;3. 太原师范学院 地理科学学院,山西 太原 030006

摘要：目前智能决策系统中的经典算法智能化程度较低,而更为先进的强化学习算法应用于复杂决策任务又会导致存储上的维度灾难问题。 针对该问题,提出了一种基于双深度 Q 网络的智能决策算法,改进了目标 Q 值计算方法,并将动作选择和策略评估分开进行,从而获得更加稳定有效的策略。 智能体对输入状态进行训练,输出一个较优的动作来驱动智能体行为,包括环境感知、动作感知及任务协同等,继而在复杂度较高的决策环境中顺利完成给定任务。 基于 Unity3D 游戏引擎开发了虚拟智能对抗演练的验证系统,对演练实时状态和智能体训练结果进行可视化,验证了双深度 Q 网络模型的正确性和稳定性,有效解决了强化学习算法存在的灾难问题。 该智能决策算法有望在策略游戏、对抗演练、任务方案评估等领域发挥作用。

关键词：深度强化学习;深度 Q 网络;对抗演练;仿真训练;Unity3D