基于强化学习的交通情景问题决策优化

来源：计算机应用杂志2022年第8期北京时间：

作者：罗飞, 白梦伟

单位：华东理工大学 计算机科学与工程系，上海 200237

摘要：在复杂交通情景中求解出租车路径规划决策问题和交通信号灯控制问题时，传统强化学习算法在收敛速度和求解精度上存在局限性；因此提出一种改进的强化学习算法求解该类问题。首先，通过优化的贝尔曼公式和快速Q学习（SQL）机制，以及引入经验池技术和直接策略，提出一种改进的强化学习算法GSQL-DSEP；然后，利用GSQL-DSEP算法分别优化出租车路径规划决策问题中的路径长度与交通信号灯控制问题中的车辆总等待时间。相较于Q学习、快速Q学习（SQL）、、广义快速Q学习（GSQL）、Dyna-Q算法，GSQL-DSEP算法在性能测试中降低了至少18.7%的误差，在出租车路径规划决策问题中使决策路径长度至少缩短了17.4%，在交通信号灯控制问题中使车辆总等待时间最多减少了51.5%。实验结果表明，相较于对比算法，GSQL-DSEP算法对解决交通情景问题更具优势。

关键词：强化学习,交通情景,经验池,马尔可夫决策过程,决策优化

基金资助：上海市2020年度“科技创新行动计划”项目(20DZ1201400)