基于K-臂赌博机的多无人机空地网络动态资源分配方法

来源：电子与信息学报杂志2022年第9期北京时间：

作者：马楠, 许魁, 夏晓晨, 谢威, 徐键卉, 申麦英

单位：陆军工程大学 南京 210007

摘要：针对配置大规模MIMO的多无人机空地网络中的动态资源分配问题，从最大化系统吞吐量的角度出发，该文提出一种基于K-臂赌博机的强化学习算法联合优化多个无人机的用户选择与功率分配策略。首先根据地理位置对用户进行分簇，利用簇中心节点规划无人机飞行路径；其次在不考虑无人机之间端到端通信的情况下，将多无人机资源分配问题转化为相互独立的多个智能体强化学习问题；最后提出分幕式多智能体多状态K-臂赌博机算法来实现用户选择与功率分配的联合优化。通过将无人机每个时刻的位置索引定义为状态空间，从而使得无人机可动态适配自身位置及信道的动态变化。仿真结果表明，所提方案可根据环境状态变化自主智能调整资源分配策略，相比于已有方案能有效提升系统总吞吐量。

关键词：无人机空地网络, 动态资源分配, 多智能体强化学习, K-臂赌博机, 大规模MIMO

基金资助：国家自然科学基金(62071485, 61901519, 61771486, 62001513)， 江苏省基础研究计划(BK20192002)，江苏省自然科学基金(BK20201334, BK20181335, BK20200579)