云原生下基于深度强化学习的移动目标防御策略优化方案

来源：电子与信息学报杂志2023年第2期北京时间：

作者：张帅, 郭云飞, 孙鹏浩, 程国振, 扈红超

单位：1.战略支援部队信息工程大学信息技术研究所 郑州 4500022.军事科学院 北京 100000

摘要：针对云原生环境下攻击场景的复杂性导致移动目标防御策略配置困难的问题，该文提出一种基于深度强化学习的移动目标防御策略优化方案(SmartSCR)。首先，针对云原生环境容器化、微服务化等特点，对其安全威胁及攻击者攻击路径进行分析；然后，为了定量分析云原生复杂攻击场景下移动目标防御策略的防御效率，提出微服务攻击图模型并对防御效率进行刻画。最后，将移动目标防御策略的优化问题建模为马尔可夫决策过程，并使用深度强化学习解决云原生应用规模较大时带来的状态空间爆炸问题，对最优移动目标防御配置进行求解。实验结果表明，SmartSCR能够在云原生应用规模较大时快速收敛，并实现逼近最优的防御效率。

关键词：云原生, 移动目标防御, 强化学习, 微服务

基金资助：国家重点研发计划(2021YFB1006200, 2021YFB1006201)，国家自然科学基金(62072467)