深度强化学习驱动的大跨桥梁吊索维护决策优化

来源：中国血液净化杂志2024年第11期北京时间：

作者：马亚飞, 晏鹏, 何羽, 王磊

单位：长沙理工大学　土木工程学院，湖南　长沙　410114

摘要：<p>科学合理的吊索维护策略对保障索承桥梁安全运营具有重要作用。针对易损吊索的维护更换决策问题，考虑吊索外观性与结构性损伤状态，提出了一种以桥梁全寿命周期吊索系统维护成本及风险成本之和最低为目标的预防性维护决策方法。根据维护决策问题构建了优化目标函数，以桥梁吊索服役场景为环境，桥梁运维管理系统为智能体，建立了状态空间、动作空间、状态转移概率矩阵和奖励函数，以累计折减奖励的期望代替维护优化问题目标函数，构建了基于马尔可夫决策过程的状态预测和维护决策模型。然后，以吊索系统维护决策模型为基础，基于融合目标网络、经验回放机制的竞争双深度Q网络（Dueling Double Deep Q-Network, D3QN）算法，建立了吊索系统预防性维护决策方法。最后，通过状态预测模型和预防性维护决策方法构建了吊索系统维护决策框架，以一座悬索桥为例进行了分析，通过状态预测模型使智能体与环境不断交互，模拟吊索的劣化及维护过程，产生神经网络训练所需数据，基于交互所得数据训练D3QN算法网络模型，进而获得最优维护策略，并与传统策略进行了对比。结果表明：所提方法综合考虑了桥梁吊索维护成本与结构风险，可动态自适应调整维护策略，与传统策略相比，该方法所得策略可减少维护成本12%以上。</p>

关键词：桥梁工程,吊索,马尔可夫决策过程,维护决策优化,深度强化学习