混合动作表示强化学习下的城市交叉口智慧信控方法
来源：交通运输系统工程与信息杂志2025年第4期北京时间：
作者：王庞伟, 王思淼, 雷方舒, 徐京辉, 王子鹏, 王力
单位：1. 北方工业大学，城市道路交通智能控制技术北京市重点实验室，北京100144；2. 北京交通发展研究院，城市交通运行仿真与决策支持北京市重点实验室，北京100073
摘要：针对城市交叉口环境下单一离散或连续信号控制动作难以充分应对交通流量时空变化，以及现有强化学习方法无法同时解决混合动作空间中的可扩展性和动作依赖性问题，本文提出一种基于混合动作表示强化学习的城市交叉口智慧信控方法。首先，将交叉口智能体的动作空间设置为离散化信号相位选择及其相对应的连续性绿灯持续时间，并进行状态空间与奖励函数的一致性设计；其次，应用离散动作嵌入表和条件变分自编码器构建连续可解码的表示空间，将原始混合动作策略学习问题转化为隐式动作表示空间中的连续策略学习问题；再次，使用近端策略优化方法进行隐式动作表示空间策略训练，并通过解码器将输出动作解码为原始混合动作，与环境进行实时交互；最后，基于北京市高级别自动驾驶示范区实际数据开展测试验证。通过不同时段对比测试结果表明，本文所提方法相比于最优基准模型平均延误时间、平均排队长度和平均停车次数分别降低了2.57%~14.84%，4.00%~9.15%和7.25%~20.69%，达到了良好的城市交叉口信控优化效果。
关键词：智能交通,交通信号控制,表示学习,混合动作空间,近端策略优化
基金资助：车路一体智能交通全国重点实验室开放基金课题(2024-A001)；科技部雄安新区科技创新专项课题 (2022XAGG0126)。
