Actor-Critic框架下的多智能体决策方法及其在兵棋上的应用

来源：系统工程与电子技术杂志2021年第3期北京时间：

作者：李琛, 黄炎焱, 张永亮, 陈天德

单位：1. 南京理工大学自动化学院, 江苏 南京 210094；2. 陆军工程大学指挥控制工程学院, 江苏 南京 210007

摘要：将人工智能应用于兵棋推演的智能战术兵棋正逐年发展, 基于Actor-Critic框架的决策方法可以实现智能战术兵棋的战术行动动态决策。但若Critic网络只对单算子进行评价, 多算子之间的网络没有协同, 本方算子之间各自行动决策会不够智能。针对上述方法的不足, 提出了一种基于强化学习并结合规则的多智能体决策方法, 以提升兵棋推演的智能水平。侧重采用强化学习对多算子的行动决策进行决策分析, 并结合产生式规则对战术决策进行规划。构建基于Actor-Critic框架的多算子分布执行集中训练的行动决策模型, 对比每个算子互不交流的封闭式行动决策学习方法, 提出的分布执行集中训练方法更具优势且有效。

关键词：智能战术,兵棋推演,多智能体强化学习,Actor-Critic框架,分布执行集中训练

基金资助：国家自然科学基金(61374186);2018年装备预研领域基金(61403120205)