基于Dueling Double DQN的交通信号控制方法

来源：计算机测量与控制杂志2024年第7期北京时间：

作者：叶宝林,陈栋,刘春元,陈滨,吴维敏

单位：浙江理工大学 信息科学与工程学院

摘要：为了提高交叉口通行效率缓解交通拥堵，深入挖掘交通状态信息中所包含的深层次隐含特征信息，提出了一种基于Dueling Double DQN (D3QN) 的单交叉口交通信号控制方法。构建了一个基于深度强化学习Double DQN(DDQN)的交通信号控制模型，对动作-价值函数的估计值和目标值迭代运算过程进行了优化，克服基于深度强化学习DQN的交通信号控制模型存在收敛速度慢的问题。设计了一个新的Dueling Network解耦交通状态和相位动作的价值，增强Double DQN (DDQN) 提取深层次特征信息的能力。基于微观仿真平台SUMO搭建了一个单交叉口模拟仿真框架和环境，开展仿真测试。仿真测试结果表明，与传统交通信号控制方法和基于深度强化学习DQN的交通信号控制方法相比，所提方法能够有效减少车辆平均等待时间、车辆平均排队长度和车辆平均停车次数，明显提升交叉口通行效率。

关键词：交通信号控制;深度强化学习;Dueling Double DQN(D3QN);Dueling Network;

基金资助：国家自然科学基金青年科学基金项目（No. 61603154），浙江省自然科学基金探索项目(No. LTGS23F030002)，嘉兴市应用性基础研究项目(2023AY11034)，工业控制技术国家重点实验室开放课题(No. ICT2022B52)