面向关系建模的合作多智能体深度强化学习综述

来源：计算机工程与应用杂志2025年第18期北京时间：

作者：熊丽琴, 陈希亮, 赖俊, 骆西建, 曹雷

单位：陆军工程大学 指挥控制工程学院，南京 210007

摘要：近年来，多智能体深度强化学习发展迅速并被广泛用于各种多智能体协同任务，已经成为人工智能领域的一个研究热点，但如何实现多智能体高效协同仍是其当前面临的重大挑战之一。作为一种流行的解决方案，面向关系建模的合作多智能体深度强化学习方法通过刻画智能体与智能体、智能体与系统整体的关系来准确捕获并利用智能体的个体贡献和智能体间相互作用以有效促进多智能体协同，具有重要研究意义和应用价值。简要介绍多智能体系统中存在的关系和多智能体深度强化学习的基础知识；从关系建模层次的角度出发将面向关系建模的合作多智能体深度强化学习算法分为基于个体间关系建模、基于个体与全局间关系建模以及基于多尺度关系建模这三类，并对其基本原理及优缺点进行全面梳理；着重介绍了其在无人集群控制、任务与资源分配、智能交通运输等领域中的应用情况。最后，总结当前面临的主要挑战并对未来研究方向进行展望。

关键词：深度强化学习,多智能体强化学习,部分可观测马尔科夫决策过程,多智能体协同,关系建模