基于SAC的自动驾驶车辆控制方法应用

来源：计算机工程与应用杂志2023年第8期北京时间：

作者：宁强, 刘元盛, 谢龙洋

单位：1.北京联合大学 智慧城市学院，北京 100101；2.北京市智能机械创新设计服务工程技术研究中心，北京 100101；3.北京联合大学 北京市信息服务工程重点实验室，北京 100101

摘要：为了改善SAC（soft actor critic）算法样本等概率采样以及网络随机初始化造成网络收敛速度慢、训练过程不稳定问题，提出一种结合优先级回放和专家数据的改进算法PE-SAC（priority playback soft actor critic with expert）。该算法依据样本价值将样本池分类，使用专家数据预训练网络，缩小无人车无效探索空间、降低试错次数，有效提升算法学习效率。同时设计一种面向多障碍物的奖励函数增强算法适用性。在CARLA平台进行仿真实验，结果表明所提出方法可以更好地控制无人车在环境中安全行驶，同等训练次数下所得奖励值和收敛速度优于TD3（twin delayed deep deterministic policy gradient algorithm）和SAC算法。最后，结合雷达点云地图与PID（proportional integral derivative）控制方法缩小仿真环境与真实场景差异性，将训练所得模型移植到园区低速无人车中验证算法泛用性。

关键词：深度强化学习,无人驾驶控制,现实场景