基于异构多智能体自注意力网络的路网信号协调顺序优化方法

来源：交通运输系统工程与信息杂志2024年第3期北京时间：

作者：陈喜群, 朱奕璋, 谢宁珂, 耿茂思, 吕朝锋

单位：浙江大学，a. 建筑工程学院，智能交通研究所；b. 工程师学院，智能交通研究所；c. 建筑工程学院，杭州 310058

摘要：针对路网交通信号控制的复杂性，本文提出基于异构多智能体自注意力网络的路网信号协调顺序优化方法，提升路网范围内多交叉口信号控制策略性能。首先，模型考虑多交叉口交通流的空间相关性，采用基于自注意力机制的价值编码器学习交通观测表征，实现路网级通信；其次，面向多智能体策略更新的非稳态环境，模型在前序智能体的联合动作基础上，基于多智能体优势分解的策略解码器，顺序决策最优反应动作；最后，设计基于有效行驶车辆的动作掩码机制，在时效完备区间自适应调节决策频率，并提出考虑等待公平性的时空压力奖励函数，进一步提高策略性能与实用性。在杭州路网数据集上验证模型有效性，结果表明：所提模型在2个数据集和5个性能指标上均优于基准模型；相比最优基准模型，所提模型平均行程时间降低10.89%，平均排队长度降低18.84%，平均等待时间降低22.21%。此外，所提模型的泛化能力更强，且显著减少车辆等待时间过长的情形。

关键词：智能交通,深度强化学习,路网信号控制,异构多智能体,时空压力奖励

基金资助：国家自然科学基金(72171210)