基于参数化强化学习的车联网内容缓存和功率分配联合优化

来源：电子与信息学报杂志2023年第7期北京时间：

作者：雒江涛, 杨和平, 冉泳屹

单位：1.重庆邮电大学通信与信息工程学院 重庆 4000652.重庆邮电大学电子信息与网络工程研究院 重庆 400065

摘要：车联网场景下的业务内容具有海量和高度动态的特性，使得传统缓存机制无法较好地感知内容动态变化，且巨量接入设备与边缘缓存设备的有限资源之间的矛盾会引起系统时延性能差的问题。针对上述问题，该文提出一种基于强化学习的联合内容缓存和功率分配算法。首先，考虑联合优化内容缓存和功率分配，建立最小化系统整体时延的优化模型。其次，将该优化问题建模为马尔可夫决策过程(MDP)，并进一步将内容缓存和内容提供者的选择映射为离散动作集，并将功率分配映射为与离散动作相对应的连续参数。最后，借助参数化深度Q-Networks (P-DQN)算法求解这个具有离散-连续混合动作空间的问题。仿真结果表明，相较对比算法，该文所提算法能提高本地缓存命中率并降低系统传输时延。

关键词：车联网, 内容缓存, 功率分配, 深度强化学习

基金资助：国家自然科学基金(62171072, 62172064, 62003067)