基于柔性演员-评论家算法的决策规划协同研究
来源：交通运输系统工程与信息杂志2024年第2期北京时间：
作者：唐斌, 刘光耀, 江浩斌, 田宁, 米伟, 王春宏
单位：1. 江苏大学，汽车工程研究院，江苏镇江212013；2.江苏罡阳转向系统有限公司，江苏泰州225318
摘要：为了解决基于常规深度强化学习(DeepReinforcementLearning,DRL)的自动驾驶决策存在学习速度慢、安全性及合理性较差的问题，本文提出一种基于柔性演员-评论家(SoftActor-Critic, SAC)算法的自动驾驶决策规划协同方法，并将SAC算法与基于规则的决策规划方法相结合设计自动驾驶决策规划协同智能体。结合自注意力机制(SelfAttentionMechanism,SAM)和门控循环单元(Gate Recurrent Unit, GRU)构建预处理网络；根据规划模块的具体实现方式设计动作空间；运用信息反馈思想设计奖励函数，给智能体添加车辆行驶条件约束，并将轨迹信息传递给决策模块，实现决策规划的信息协同。在CARLA自动驾驶仿真平台中搭建交通场景对智能体进行训练，并在不同场景中将所提出的决策规划协同方法与常规的基于SAC算法的决策规划方法进行比较，结果表明，本文所设计的自动驾驶决策规划协同智能体学习速度提高了25.10%，由其决策结果生成的平均车速更高，车速变化率更小，更接近道路期望车速，路径长度与曲率变化率更小。
关键词：智能交通,自动驾驶,柔性演员-评论家算法,决策规划协同,深度强化学习
基金资助：国家自然科学基金 (52225212)；江苏省六大人才高峰项目 (2019-GDZB-084)；泰州市科技支撑计划项目(TG202307)。
