基于联邦深度强化学习的车联网资源分配

来源：电子测量技术杂志2021年第10期北京时间：

作者：王晓昌，吴璠，孙彦赞，吴雅婷

单位：1．上海大学 上海先进通信与数据科学研究院 上海 200444;2. 上海大学 特种光纤与光接入网重点实验室 上海 200444;3. 上海大学 特种光纤与先进通信国际合作联合实验室 上海 200444;4. 上海大学经济学院，上海 200444

摘要：车辆通信（Vehicle to Everything，V2X）能够有效的提高交通安全性和移动性，是车辆部署场景中的关键技术之一。V2X通信链路需要满足不同应用的服务质量（Quality of Service, QoS）要求，如车对车(Vehicle to Vehicle，V2V)链路的延迟和可靠性要求。面向车辆高速移动性导致的无线信道快速变化，为保证不同车辆链路的QoS约束和车辆动态网络的鲁棒性，提出一种基于联邦深度强化学习（Federal Deep Reinforcement Learning，FDRL）的频谱分配和功率控制联合优化框架。框架首先根据不同车辆链路需求提出了对应的优化问题，并定义了强化学习的状态空间、动作空间和奖励函数；然后介绍了联邦深度强化学习的训练框架；最后，通过分布式的车辆端强化学习和基站聚合平均训练，找到最佳的频谱分配和功率控制策略。仿真结果表明，与其他对比算法相比，所提出算法能够提高车对基站(Vehicle to Infrastructure，V2I) 的总用户信道容量，并保证了新加入车辆时动态网络的鲁棒性。

关键词：车辆通信;深度强化学习;资源分配;联邦学习

基金资助：国家重点研发计划资助（ 2019YFE0196600），国家自然科学基金资助（61501289，61671011，61420106011，61701293）