基于RGCAL-TD3的奖励引导保守优势学习路径规划方法
来源:计算机集成制造系统杂志2025年第10期北京时间:
作者:王科平, 李宏涛, 王田, 杨艺
单位:1.河南理工大学电气工程与自动化学院2.北京航空航天大学人工智能研究院
摘要:针对现有基于深度强化学习的路径规划方法在动态场景中样本利用率低下的问题,在双延迟深度确定性策略梯度算法(TD3)基础上,提出一种奖励引导的保守优势学习方法(RGCAL)。首先,鉴于动态场景的部分可观测特性,将路径规划任务建模为部分可观测马尔可夫决策过程。其次,将奖励引入到保守优势学习中,在此基础上重新定义了优势学习算子,并参与到TD误差的更新,从而根据回放经验中的奖励值增强对动作差距非线性的学习能力。最后,在Gazebo平台设计了多种动态实验场景,与主流深度强化学习算法进行对比实验。仿真实验结果表明,所提算法的样本利用率优于其他算法,在运行时间、移动步数以及导航成功率等指标上也具有整体优势。最后,在真实场景下进行了测试,进一步验证了所提算法的可行性和有效性。
关键词:动态场景,路径规划,深度强化学习,奖励引导的保守优势学习,动作差距
基金资助:国家自然科学基金资助项目(61972016)。
2025年10期其他文献查阅:
云-边-端协同环境下基于改进深度Q网络的资源调度机制
基于工业软件平台的产业集群多模式协同应用研究
基于无人机辅助与能量收集的移动边缘计算任务卸载优化
基于改进常青藤优化算法的智算中心资源多目标配置优化
“东数西算”驱动的工业5.0算力网络:创新架构与协同应用
边缘云环境下面向成本优化的应用部署算法
基于BERT-Tiny Transformer-CRF的自动化装配命名实体识别方法
双智能体动态博弈连铸阶段任务卸载方法
多智能体协同驱动的行车双时间尺度运维与推理方法
基于多维协同注意力机制的航空碳纤维构件缺陷轻量化实时检测模型
本体驱动的复杂产品设计模型集成
安全头盔热塑性“复材结构一体化”成形/型与结构优化
考虑载荷不确定性的正交各向异性结构拓扑优化设计
考虑人机协同中共存与合作情形的多处理机工件调度
改进的樽海鞘群算法求解带设置操作员的混合流水车间调度问题
融合领域知识与禁忌搜索的多层级柔性装配作业车间调度
分布式制造场景下的多类型生产服务资源动态配置
基于CVRP的炼钢-连铸一体化批量计划研究
基于行为克隆和奖励重构的AGV路径规划算法
基于RGCAL-TD3的奖励引导保守优势学习路径规划方法
融合时序知识图谱与CNN-LSTM的流程生产工艺质量预测
基于改进Frangi滤波的芯片表面缺陷检测算法
融合部分卷积和无参数注意力机制的轻量级印刷电路板缺陷检测算法
基于节点提取和四叉树的复杂SVG分层并行渲染方法
基于特征加权集成学习的陶瓷制造能效预测方法研究
基于XGBoost-GRNN算法的分段式风功率预测
基于Tweedie指数扩散过程的恒定应力加速退化试验优化设计
多通道数据融合的自适应原型对比学习智能诊断方法
专利大数据环境下基于改进WRD的精准匹配方法
区块链赋能家用医疗产品质量监管的多方博弈策略研究
“双碳”目标下多周期供应链政府补贴、碳减排与定价协调研究