规则引导的智能体决策框架

来源：计算机技术与发展杂志2022年第10期北京时间：

作者：牟轩庭;张宏军;廖湘琳;章乐贵

摘要：虽然近年来深度强化学习在决策智能中取得突破,但复杂场景中的巨大动作空间仍然是算法成功学习的一大挑战。 导致这一问题的主要原因在于缺乏指导的智能体难以累积足够的成功经验,样本数据质量低下,影响模型正确收敛,而加入人类知识进行辅助是一种有效的方法。 为此提出了规则引导的智能体决策框架,介绍了决策框架的总体组成;针对不同态势下存在的无效动作导致探索困难的问题,提出了规则引导的智能体决策方法,选择近端策略优化算法和注意力机制构建了简单的智能体网络,利用专家经验设计规则引导层,根据态势特征对智能体的动作空间进行动态约束。 实验结果表明:该方法提高了智能体在星际争霸 II 小型任务“ 训练陆战队员” 中的成绩,并且去掉规则引导层后仍然能够保持部分性能。

关键词：深度强化学习;专家经验;规则;动作空间;近端策略优化算法;注意力机制