基于改进深度强化学习的边缘计算服务卸载算法

来源：计算机应用杂志2023年第5期北京时间：

作者：曹腾飞, 刘延亮, 王晓英

单位：青海大学 计算机技术与应用系，西宁 810016

摘要：在边缘计算（EC）网络中，针对边缘节点计算资源和存储空间有限的问题，提出一种基于改进深度强化学习（DRL）的边缘计算服务卸载（ECSO）算法，以降低节点处理时延和提高服务性能。具体来说，将边缘节点服务卸载问题转化为资源受限的马尔可夫决策过程（MDP），利用DRL算法解决边缘节点的请求状态转移概率难以精确预测的问题；考虑到边缘节点执行缓存服务的状态动作空间过大，定义新的动作行为替代原有动作，并依据提出的动作筛选算法得到最优动作集合，以改进计算动作行为奖励值的过程，进而大幅度降低动作空间大小，提高算法训练的效率以及收益。仿真实验结果表明，对比原深度Q网络（DQN）算法、邻近策略优化（PPO）算法以及传统的最流行（MP）算法，ECSO算法的总奖励值分别提升了7.0%、12.7%和65.6%，边缘节点服务卸载时延分别降低了13.0%、18.8%和66.4%，验证了算法的有效性，说明ECSO能有效提升边缘计算服务的卸载性能。

关键词：边缘计算,缓存服务,服务卸载,深度强化学习,动作行为奖励

基金资助：国家自然科学基金资助项目(62101299);青海省自然科学基金资助项目(2020?ZJ?943Q)