基于深度强化学习的无人机辅助移动边缘计算系统能耗优化

来源：电子与信息学报杂志2023年第5期北京时间：

作者：张广驰, 何梓楠, 崔苗

单位：广东工业大学信息工程学院 广州 510006

摘要：近年来，部署搭载有移动边缘计算(MEC)服务器的无人机(UAVs)为地面用户提供计算资源已成为一种新兴的技术。针对无人机辅助多用户移动边缘计算系统，该文构建了以最小化用户平均能耗为目标的模型，联合优化无人机的飞行轨迹和用户计算策略的调度。通过深度强化学习(DRL)求解能耗优化问题，提出基于柔性参与者-评论者(SAC)的优化算法。该算法应用最大熵的思想来探索最优策略并使用高效迭代更新获得最优策略，通过保留所有高回报值的策略，增强算法的探索能力，提高训练过程的收敛速度。仿真结果表明与已有算法相比，所提算法能有效降低用户的平均能耗，并具有很好的稳定性和收敛性。

关键词：无人机通信, 深度强化学习, 移动边缘计算, 轨迹规划, 调度策略

基金资助：广东省科技计划(2021A0505030015, 2020A050515010)，广东特支计划(2019TQ05X409)，智慧城市物联网国家重点实验室(澳门大学)开放课题(SKL-IoTSC(UM)-2021-2023/ORPF/A04/2022)