基于混合近端策略优化的交叉口信号相位与配时优化方法

来源：交通运输系统工程与信息杂志2023年第1期北京时间：

作者：陈喜群, 朱奕璋, 吕朝锋

单位：浙江大学，a. 建筑工程学院，智能交通研究所；b. 工程师学院，智能交通研究所；c. 建筑工程学院，杭州 310058

摘要：交通信号优化控制是从供给侧缓解城市交通拥堵的重要手段，随着交通大数据技术的发展，利用深度强化学习进行信号控制成为重点研究方向。现有控制框架大多属于离散相位选择控制，相位时间通过决策间隔累积得到，可能与智能体探索更优动作相冲突。为此，本文提出基于混合近端策略优化(Hybrid Proximal Policy Optimization, HPPO)的交叉口信号相位与配时优化方法。首先在考虑相位时间实际应用边界条件约束下，将信号控制动作定义为参数化动作；然后通过提取交通流状态信息并输入到双策略网络，自适应生成下一相位及其相位持续时间，并通过执行动作后的交通状态变化，评估获得奖励值，学习相位和相位时间之间的内在联系。搭建仿真平台，以真实交通流数据为输入对新方法进行测试与算法对比。结果表明：新方法与离散控制相比具有更低的决策频率和更优的控制效果，车辆平均行程时间和车道平均排队长度分别降低了27.65%和23.65%。

关键词：智能交通,混合动作空间,深度强化学习,混合近端策略优化,智能体设计

基金资助：国家自然科学基金(72171210)；浙江省自然科学基金重点项目(LZ23E080002)