基于多智能体Actor-Critic算法的异构网络能效优化

来源：电子测量技术杂志2022年第22期北京时间：

作者：张茜茜，李君，李正权，于心远，沈国丽，刘子怡，刘兴鑫

单位：1.南京信息工程大学， 南京 210044; 2.无锡学院 无锡 214105; 3.江南大学轻工过程先进控制教育部重点实验室，无锡 214122; 4.北京邮电大学网络与交换技术国家重点实验室，北京 100876

摘要：为了最大限度地提高异构网络（Heterogeneous Hetworks，HetNets）的能量利用率，本文将能效优化问题设计为一个多级决策问题，根据优化目标的资源分配，首先将初始问题分解为对参数ABS（几乎空白子帧，Almost Blank Subframe）比例和CRE（小区间范围扩展，Cell Range Expansion）进行优化的两个子问题，采用多智能体Actor-Critic（Multi-Agent Actor-Critic，MAAC）算法对子问题进行求解，然后通过迭代各优化子问题的解，解决初始优化问题。在参数优化过程中，将单个小基站作为一个智能体，采用MAAC算法对各自CRE寻找最优解，实现小区间异步CRE优化。实验结果表明，该方法在保持能效稳定提高的前提下，相比较于表格式Q学习的循环Q学习算法，其收敛速度提高了40％，并且通过异步优化CRE的方式取得了基站间更均衡的负载。

关键词：异构网络;eICIC;多智能体;MAAC

基金资助：国家自然科学基金（No.61571108）；网络与交换技术国家重点实验室(北京邮电大学)开放课题资助项目(No.SKLNST-2020-1-13)；南京信息工程大学无锡研究生创新实践项目(WXCX202101)