基于强化学习的 D3QN 拥塞控制算法

来源：计算机技术与发展杂志2023年第02期北京时间：

作者：过萌竹;孙君

摘要：在大规模机器类通信 ( Machine Type Communication, MTC) 中, 短时间内大量的设备涌入 LTE - A ( Long TermEvolution-Advanced) 网络,这些设备同时发起随机接入会引起严重的网络拥塞,需要采取合适的措施对拥塞加以控制。 为此,提出了一种基于强化学习的 D3QN( Dueling Double Deep Q-network) 算法。 D3QN 以 DQN( Deep Q-Network) 为基础,使用 Double 和 Dueling 两种方法进行改进,并采用优先经验回放对训练数据进行采样,使算法收敛速度更快并且更加稳定。考虑多基站的场景,设备可以对其所在区域内的任一基站发送接入请求。 该方案中,使用具有无记忆特性的泊松过程对采用二步的随机接入的 MTC 设备的到达进行建模,设备通过基站广播的发生冲突的前导码数量,改变强化学习中的奖励,使得 MTC 设备能够找到拥塞少的基站进行接入,减少可能的前导码冲突。 在不同的负载场景中,将所提方案与传统方案以及其他基于强化学习的方案进行了比较,证明了所提方案在解决大规模问题时的实用性和有效性。

关键词：大规模机器类通信;随机接入;强化学习;经验回放;基站选择;深度 Q 网络