考虑能耗中断的无人机通信中基于深度强化学习的资源管理

来源：电子与信息学报杂志2023年第8期北京时间：

作者：罗佳, 陈前斌, 唐伦, 张志才

单位：1.重庆邮电大学网络空间安全与信息法学院 重庆 4000652.重庆邮电大学通信与信息工程学院移动通信技术重点实验室 重庆 4000653.山西大学现代通信技术研究所 太原 237016

摘要：最新研究表明，高速传输导致的手机温度变化会影响相应的传输性能。针对高速传输下未考虑与手机温度有关的能耗中断而导致传输性能降低的问题，该文提出一种基于深度强化学习的资源管理方案去考虑无人机(UAV)通信场景下的能耗中断。首先，给出无人机通信的网络模型与智能手机热传递模型的分析；其次，将能耗中断的影响以约束条件的形式整合到无人机场景的优化问题中，并通过联合考虑带宽分配、功率分配和轨迹设计优化系统吞吐量；最后，采用马尔可夫决策过程描述相应的优化问题并通过名为归一化优势函数的深度强化学习算法求解。仿真表明，所提方案能有效提升系统吞吐量并得到合理的无人机飞行轨迹。

关键词：无人机通信, 能耗中断, 深度强化学习, 带宽分配, 轨迹设计

基金资助：国家自然科学基金(62071078)，重庆市自然科学基金(cstc2021jcyj-bsh0175)，四川省科技计划(2021YFQ0053)