信控路段混行交通生态驾驶深度强化学习模型

来源：交通运输系统工程与信息杂志2024年第3期北京时间：

作者：辛琪, 王嘉琪, 杨文科, 徐猛, 袁伟

单位：1. 长安大学，汽车学院，西安 710064；2. 北京交通大学，系统科学学院，北京 100044

摘要：针对考虑通过性约束和安全性约束的动态规划模型，其在混行和大流量条件下模型复杂度较高，甚至会出现无解的问题，本文提出一种混行信控路段智能网联车辆生态驾驶轨迹优化的深度强化学习模型。本文所提模型通过设定不同程度的奖惩机制，并采用双延迟深度确定性策略梯度算法优化混行车流中智能网联车辆接近信号交叉口的轨迹。首先，选取车距、速度差、速度、到交叉口距离、排队长度、信号相位及配时等特征作为智能体状态，刻画驾驶安全性和通行效率，特别地，将交叉口排队长度扩增到状态中，解决智能网联车辆因有人驾驶车辆排队而临时停车的问题；其次，构建基于智能体状态和预期到达交叉口时间的多目标奖励函数，同时，优化混行车流下智能网联车辆的效率、能耗、舒适性和安全性，解决动态规划模型约束与求解复杂度关联的问题。仿真训练和测试结果表明，随着智能网联车辆渗透率的提高，车辆在交叉口等待时间显著减少；与无控制相比，能耗降低约5.47%；与动态规划模型相比，能耗降低约4.42%，与基于深度确定性策略梯度轨迹规划模型相比，能耗降低约2.91%。此外，在交通需求和信号周期波动条件下，本文所提模型均可实现智能网联车辆不停车通过信号交叉口。

关键词：智能交通,轨迹优化,双延迟深度确定性策略梯度,信号交叉口,智能网联车辆

基金资助：国家自然科学基金(52002035)；长安大学中央高校基本科研业务费专项资金(300102223501，300102223205)