考虑博弈的多智能体强化学习分布式信号控制

来源：交通运输系统工程与信息杂志2020年第2期北京时间：

作者：曲昭伟，潘昭天，陈永恒，李海涛，王鑫

单位：吉林大学交通学院，长春 130022

摘要：交通需求的不均衡和波动会增加分布式信号控制优化的难度. 由于现有独立动作的多智能体强化学习(IA-MARL)仅基于自身的历史经验做出决策，基于IA-MARL的分布式信号控制难以及时缓解交通需求不均衡和波动的影响. 本文融入博弈论的混合策略纳什均衡概念，改进IA-MARL的决策过程，提出考虑博弈的多智能体强化学习(G-MARL)框架. 在采用带有泊松到达率的道路网络流量不均衡输入的格子网络中，分别对基于IA-MARL 和GMARL 的分布式控制方法进行数值模拟，获取单位行程时间和单位车均延误曲线. 结果显示，与IA-MARL相比，G-MARL在单位行程时间和单位车均延误方面分别改善59.94%和81.45%. 证明G-MARL适用于不饱和且交通需求不均衡和波动的分布式信号控制.

关键词：智能交通,分布式交通信号控制,多智能体强化学习,不均衡需求下的城市道路网络,博弈论,数值模拟

基金资助：国家自然科学基金/National Natural Science Foundation of China(51705196).