基于自注意力机制的深度强化学习交通信号控制

来源：交通运输系统工程与信息杂志2024年第2期北京时间：

作者：张玺君, 聂生元, 李喆, 张红

单位：兰州理工大学，计算机与通信学院，兰州730050

摘要：交通信号控制(TrafficSignal Control, TSC)仍然是交通领域中最重要的研究课题之一。针对现有基于深度强化学习(DeepReinforcementLearning, DRL)的交通信号控制方法的状态需要人为设计，导致提取交通状态信息难度大以及交通状态信息无法全面表达的问题，为了从有限特征中挖掘潜在交通状态信息，从而降低交通状态设计难度，提出一种引入自注意力网络的DRL算法。首先，仅获取交叉口各进入口车道车辆位置，使用非均匀量化和独热编码方法预处理得到车辆位置分布矩阵；其次，使用自注意力网络挖掘车辆位置分布矩阵的空间相关性和潜在信息，作为DRL算法的输入；最后，在单交叉口学习交通信号自适应控制策略，在多交叉口路网中验证所提算法的适应性和鲁棒性。仿真结果表明，在单交叉口环境下，与3种基准算法相比，所提算法在车辆平均等待时间等指标上具有更好的性能；在多交叉口路网中，所提算法仍然具有良好的适应性。

关键词：智能交通,自适应控制,深度强化学习,自注意力网络,近端策略优化

基金资助：国家自然科学基金 (62162040)；甘肃省自然科学基金重点项目 (22JR5RA226)；甘肃省高等学校创新基金项目(2021A-028)。