混合交通环境下基于动态决策间隔的强化学习信号控制方法

来源：交通运输系统工程与信息杂志2026年第1期北京时间：

作者：王福建, 马佳豪, 李廷浩, 马东方

单位：1. 浙江大学，a.建筑工程学院，智能交通研究所，b.工程师学院，智能交通研究所，杭州310058；2. 浙江大学，海洋学院，海洋传感与网络研究所，浙江舟山316021

摘要：智能网联车辆（Connected and Automated Vehicle, CAV）为交通信号控制提供了新的数据源与优化机遇。然而，现有方法普遍存在两大局限：其一，多采用固定决策间隔，难以适应交通流的动态变化，导致控制策略的全局最优性不足；其二，缺乏对低渗透率场景下混合交通流复杂交互特征的深入建模，限制了实际应用的鲁棒性。为此，本文提出一种基于近端策略优化（Proximal Policy Optimization,PPO）的动态决策间隔信号控制方法。首先，利用卷积神经网络与多头注意力机制，构建融合CAV与常规车辆（Regular Vehicle, RV）的多源交通状态表征；进而，设计融合动态决策间隔与相位选择的多离散动作空间，自适应生成信号控制策略，平衡决策效率与控制灵活性。在奖励函数设计中，引入累计延误、排队长度与延误标准差的多目标自适应加权机制，协同优化通行效率与公平性。基于实际路网仿真测试模型控制效果，结果表明：在不同交通需求下，本文方法相较于传统离散控制方法，平均等待时间和平均排队长度均降低8.50%以上；尤其在CAV渗透率低至20%时，本文方法仍能保持稳定的控制性能，验证了其在混合交通环境中的有效性与强适应性。

关键词：智能交通,交通工程,深度强化学习,混合交通环境,动态决策间隔,交通信号控制

基金资助：国家自然科学基金(52172334)；浙江省智能交通工程技术研究中心开放课题项目(2023ERCITZJ-KF09)。