结合深度强化学习的边缘计算网络服务功能链时延优化部署方法

来源：电子与信息学报杂志2024年第4期北京时间：

作者：孙春霞, 杨丽, 王小鹏, 龙良

单位：兰州交通大学电子与信息工程学院 兰州 730070

摘要：该文针对边缘网络资源受限且对业务流端到端时延容忍度低的问题，结合深度强化学习与基于时延的Dijkstra寻路算法提出一种面向时延优化的服务功能链(SFC)部署方法。首先，设计一种基于注意力机制的序列到序列(Seq2Seq)代理网络和基于时延的Dijkstra寻路算法，用于产生虚拟网络功能(VNF)的部署以及服务SFC的链路映射，同时考虑了时延优化模型的约束问题，采用拉格朗日松弛技术将其纳入强化学习目标函数中；其次，为了辅助网络代理快速收敛，采用基线评估器网络评估部署策略的预期奖励值；最后，在测试阶段，通过贪婪搜索及抽样技术降低网络收敛到局部最优的概率，从而改进模型的部署。对比实验表明，该方法在网络资源受限的情况下，比First-Fit算法与TabuSearch算法的时延分别降低了约10%和86.3%，且较这两种算法稳定约74.2%与84.4%。该方法能较稳定地提供更低时延的端到端服务，使时延敏感类业务获得更好体验。

关键词：服务功能链部署, 深度强化学习, 边缘网络, 端到端时延

基金资助：甘肃省高校产业支撑计划(2023CYZC-40)，甘肃省优秀研究生“创新之星”项目(2023CXZX-546)