基于深度强化学习PPO的车辆智能控制方法

来源：计算机工程杂志2025年第7期北京时间：

作者：叶宝林, 王欣, 李灵犀, 吴维敏

单位：1. 浙江理工大学信息科学与工程学院, 浙江 杭州 3100182. 嘉兴大学信息科学与工程学院, 浙江 嘉兴 3140013. 印第安纳大学-普渡大学印第安纳波利斯分校电子与计算机工程系, 美国 印第安纳波利斯 462024. 浙江大学智能系统与控制研究所, 浙江 杭州 310027

摘要：为提高高速公路上混合环境下车辆的行驶效率、减少交通事故的发生，提出一种基于近端策略优化(PPO)的车辆智能控制方法。首先构建一个融合深度强化学习和传统比例-积分-微分(PID)控制的分层控制框架，上层深度强化学习智能体负责确定控制策略，下层PID控制器负责执行控制策略。其次为了提升车辆的行驶效率，通过定义优势距离对观测到的环境状态矩阵进行数据筛选，帮助自主车辆选择具有更长优势距离的车道进行变道。基于定义的优势距离提出一种新的状态采集方法以减少数据处理量, 加快深度强化学习模型的收敛速度。另外，为了兼顾车辆的安全性、行驶效率和稳定性，设计一个多目标奖励函数。最后在基于Gym搭建的车辆强化学习任务仿真环境Highway_env中进行测试，对所提方法在不同目标速度下的表现进行分析和讨论。仿真测试结果表明，相比深度Q网络(DQN)方法，所提方法具有更快的收敛速度，且在两种不同目标速度下均能使车辆安全平稳地完成驾驶任务。

关键词：近端策略优化,车辆控制,分层控制框架,多目标奖励函数,深度Q网络

基金资助：嘉兴市应用性基础研究项目(2023AY11034); 浙江省自然科学基金(LTGS23F030002); 浙江省“尖兵”“领雁”研发攻关计划项目(2023C01174); 国家自然科学基金(61603154); 工业控制技术国家重点实验室开放课题(ICT2022B52)