基于AVI数据与深度强化学习的城市快速路匝道协调控制方法

来源：中国血液净化杂志2023年第10期北京时间：

作者：蔺庆海, 何兆成, 谢俊, 武智刚, 黄玮

单位：1. 中山大学 智能工程学院, 广东 深圳 518107;2. 广东省智能交通系统重点试验室, 广东 广州 510006"],"fundList_en":["National Natural Science Foundation of China (U21B2090, 52102401); Shenzhen Science and Technology Program (JSGG20220831094604008); Guangdong Basic and Applied Basic Research Foundation (2023A1515012886)

摘要：为解决城市快速路日益严重的拥堵问题，利用深度强化学习，提出了一种基于车辆身份检测（Automatic Vehicle Identification，AVI）数据的城市快速路匝道协调控制方法，能够有效利用从AVI数据提取的OD信息，实现拥堵的缓解。首先，基于道路结构和控制对象的规则，划分了路段单元及路段组，定义了瓶颈路段组；其次，选取与瓶颈相关联的控制对象，即瓶颈路段的上游入口匝道和下游入口匝道；然后，将匝道协调控制问题形式化为马尔可夫决策过程，尤其是在奖赏函数中设计了融合全局奖励与单步奖励的综合奖励，进一步提升了训练效果，并利用深度确定性策略梯度算法（DDPG）进行了训练；最后，基于中国某特大城市一条快速路的真实卡口数据开展了实例分析，利用SUMO仿真软件测试了所提方法在匝道协调控制方法中的有效性。结果表明：与无控制、传统的单匝道控制方法以及多匝道协调控制方法相比，所提出的DDPG算法具有良好的控制效果。具体来说，对比无控制下，系统通过车辆数增加了24.71%，平均旅行时间降低了27.76%，主线路段平均速度提升了29.06%。此外，纳入下游入口匝道控制也比仅控制上游入口匝道降低系统平均旅行时间2.30%。对入口匝道的影响方面，DDPG算法控制下的匝道车均等待时间均低于其他方法，在保证系统通行效率的同时，将对入口匝道的不利影响降到了最低。所提方法可以有效的缓解城市快速路拥堵，提升通行效率。

关键词：交通工程,匝道协调控制,深度强化学习,AVI数据,OD信息,下游入口匝道

基金资助：国家自然科学基金项目（U21B2090，52102401）；深圳市科技计划项目（JSGG20220831094604008）；广东省基础与应用基础研究基金（2023A1515012886）