有向无环图区块链辅助深度强化学习的智能驾驶策略优化算法

来源：电子与信息学报杂志2024年第12期北京时间：

作者：黄晓舸, 李春磊, 黎文静, 梁承超, 陈前斌

单位：重庆邮电大学通信与信息工程学院 重庆 400065

摘要：深度强化学习(DRL)在智能驾驶决策中的应用日益广泛，通过与环境的持续交互，能够有效提高智能驾驶系统的决策能力。然而，DRL在实际应用中面临学习效率低和数据共享安全性差的问题。为了解决这些问题，该文提出一种基于有向无环图(DAG)区块链辅助深度强化学习的智能驾驶策略优化(D-IDSO)算法。首先，构建了基于DAG区块链的双层安全数据共享架构，以确保模型数据共享的效率和安全性。其次，设计了一个基于DRL的智能驾驶决策模型，综合考虑安全性、舒适性和高效性设定多目标奖励函数，优化智能驾驶决策。此外，提出了一种改进型优先经验回放的双延时确定策略梯度(IPER-TD3)方法，以提升训练效率。最后，在CARLA仿真平台中选取制动和变道场景对智能网联汽车(CAV)进行训练。实验结果表明，所提算法显著提高了智能驾驶场景中模型训练效率，在确保模型数据安全共享的基础上，有效提升了智能驾驶的安全性、舒适性和高效性。

关键词：智能驾驶, 数据共享, 深度强化学习, 有向无环图

基金资助：国家自然科学基金(62371082, 62001076)，广西科技计划(AB24010317)，重庆市自然科学基金(CSTB2023NSCQ-MSX0726, cstc2020jcyj-msxmX0878)