混合动作空间下的多设备边缘计算卸载方法

来源：计算机工程与应用杂志2024年第10期北京时间：

作者：张冀, 齐国梁, 朵春红, 龚雯雯

单位：1.华北电力大学（保定） 计算机系，河北 保定 071000；2.河北省能源电力知识计算重点实验室，河北 保定 071000

摘要：为降低多设备多边缘服务器场景中设备层级的总成本，并解决现有深度强化学习（deep reinforcement learning，DRL）只支持单一动作空间的算法局限性，提出基于混合决策的多智能体深度确定性策略梯度方法（hybrid-based multi-agent deep determination policy gradient，H-MADDPG）。首先考虑物联网设备/服务器计算能力随负载的动态变化、时变的无线传输信道增益、能量收集的未知性、任务量不确定性多种复杂的环境条件，建立MEC系统模型；其次以一段连续时隙内综合时延、能耗的总成本最小作为优化目标建立问题模型；最后将问题以马尔科夫决策过程（Markov decision procession，MDP）的形式交付给H-MADDPG，在价值网络的辅助下训练并行的两个策略网络，为设备输出离散的服务器选择及连续的任务卸载率。实验结果表明，H-MADDPG方法具有良好的收敛性和稳定性，从计算任务是否密集、延迟是否敏感等不同角度进行观察，H-MADDPG系统整体回报优于Local、OffLoad和DDPG，在计算密集型的任务需求下也能保持更大的系统吞吐量。

关键词：物联网（IoT）,边缘计算卸载,多智能体深度确定性策略梯度（MADDPG）,混合动作空间