一种基于可解释深度强化学习的动态频谱接入方法

来源：电讯技术杂志2024年第12期北京时间：

作者：耿凯,张建照,姚昌华

单位：(1.南京信息工程大学 电子与信息工程学院,南京 210044;2.国防科技大学第六十三研究所，南京 210007)

摘要：针对基于强化学习的动态频谱接入模型性能有限、可解释性差的问题，提出了一种基于权重分析的动态频谱接入方法。采用储备池计算（Reservoir Computing,RC）网络来替代传统的深度Q学习网络(Deep Q-Learning Network,DQN)，以简化网络结构并提高计算效率。同时引入权重分析的可解释方法，通过生成热力图来反映神经网络对不同信道的认知和偏好，从而提高了模型的可解释性。仿真结果表明，在多用户环境中，该算法在平均成功率、平均碰撞率和平均奖励等关键指标上显著优于Q-Learning等传统强化学习算法。相较于DQN+MLP算法，该算法不仅加快了收敛速度，而且在平均成功率达到0.8、平均碰撞率接近0以及平均奖励等关键指标上的表现与之相当。

关键词：动态频谱接入；可解释人工智能；储备池计算；深度强化学习；

基金资助：国家自然科学基金资助项目（62131005,62231012,61971439,U22B2002）；通信抗干扰全国重点实验室基础科研创新基金（稳定支持）项目（IFN20230207）