本体指导下的安全强化学习最优化策略

来源：吉林大学学报·理学版杂志2025年第1期北京时间：

作者：郝嘉宁, 姚永伟, 叶育鑫

单位：1. 吉林大学 计算机科学与技术学院, 长春 130012; 2. 浪潮通用软件有限公司, 济南 250101;3. 中国人民解放军 63611部队, 新疆 库尔勒 841000；4. 吉林大学 符号计算与知识工程教育部重点实验室, 长春 130012

摘要：针对安全强化学习实现过程中, 基于屏蔽的实现方式可能受制于没有合适的备用策略可供使用, 导致判断出危险也不能阻止系统离开安全状态, 结合知识的实现方式虽然能通过提取概念特征, 用结构化的知识对指定状态给予安全指导, 但有时知识蕴含的指导可能并不是最优的策略, 甚至可能不如智能体探索习得策略的问题, 提出一个本体指导下的安全强化学习最优化策略, 实现风险识别规避、动作生成最优化. 基于该理论设计和实现了一个在无人机避障场景下的仿真系统, 并使用5种不同的强化学习算法进行效果验证. 实验结果表明, 基于本体指导的安全强化学习最优化策略能在屏蔽风险动作的基础上, 实现智能体备用策略选取, 比传统强化学习方法性能更优.

关键词：安全强化学习,屏蔽机制,本体,深度神经网络,联合查询