西南交通大学学报杂志投稿格式参考范文：基于制动特征自学习的磁浮列车强化学习制动控制

　　中低速磁浮作为现有城市轨道交通的有益补充，具有安全低碳、静音舒适等优点，在我国具有广阔的应用前景。制动控制系统是磁浮列车自动驾驶系统(ATO)的重要子系统，在保障列车运行安全、停车精度和舒适性方面起到关键作用。为有效调节列车速度，中低速磁浮列车主要采用电液混合制动实现正常到站停车。由于电制动与液压制动转换过程状态强耦合、液压制动力强非线性等特点，传统的列车制动控制方法难以保障中低速磁浮列车的停车精度和舒适性。因此，研究中低速磁浮列车电 - 液混合制动动态特性、混合制动优化控制方法，对提升磁浮列车停站精度和舒适性具有重要意义。

　　目前，针对传统列车制动过程的研究主要关注制动特性建模和控制算法方面。精确的制动模型和良好的控制算法是列车平稳、精准停车的重要保障，但传统基于物理参数建模方法难以准确表征磁浮列车动态特性，模型误差较大导致列车制动效果不佳。为准确描述列车制动特性，机器学习算法被广泛用于列车数据驱动建模方面研究。

　　近年来，强化学习算法凭借其强大行动决策能力和解决不确定环境下控制问题的优势，在多个领域取得大量应用研究成果，也有不少学者尝试将其用于列车运行优化控制。

　　本文针对中低速磁浮列车自动驾驶混合制动问题，提出一种混合制动特征自学习的深度强化学习(BFS - DQN)磁浮列车制动优化控制方法。采用 LSTM 学习混合制动系统的动态特征，结合强化学习方法进行磁浮列车停站制动控制策略优化，并通过仿真实验验证其在中低速磁浮列车制动优化控制中的有效性。

　　1 混合制动特征自学习方法

　　中低速磁浮列车混合制动特征因电液混合制动状态耦合、液压制动非线性而动态变化，目前广泛采用理论、静态制动特征模型，难以在仿真实验中准确反映强化学习的环境对 agent(制动控制器)的奖励情况。在此，采用 LSTM 学习混合制动的动态特征，以准确描述强化学习的奖励函数关系。

　　1.1 中低速磁浮列车混合制动原理

　　磁浮列车电 - 液混合制动遵循电制动优先、液压制动补偿的原则。ATO 发出制动指令，列车制动控制单元接收后计算全列车所需制动力，向牵引控制单元发送电制动申请值，并根据反馈的电制动实际值计算所需补充的液压制动力，最后通过控制液压夹钳施加液压制动力，实现列车减速与停车控制。

　　1.2 混合制动力特征

　　中低速磁浮列车制动过程受制动力和运行阻力影响，其运行阻力包括空气阻力、涡流阻力、附加阻力等。空气阻力与列车运行速度及车辆编组相关，集电器阻力和电磁涡流阻力与列车质量、速度有关，附加阻力主要包括坡道阻力和曲线阻力。由于电 - 液混合制动力实际值未知，将列车制动力特性用函数表示，建立基于牛顿方程的单质点列车制动模型。

　　1.3 混合制动动态特征自学习方法

　　中低速磁浮列车制动过程中，电制动响应存在延迟，液压制动离散，且运行阻力变化，导致列车实际制动力与理论制动力存在差距，影响停车精度和乘坐舒适性。传统机理模型难以准确描述列车运行动态，本文采用 LSTM 网络建立磁浮列车数据驱动的制动模型，利用列车历史制动数据进行制动特征自学习。通过均方根误差方法建立损失函数并使其最小化，以准确预测列车未来状态，验证模型准确性。

　　2 磁浮列车 BFS - DQN 制动控制方法

　　深度强化学习算法融合了深度学习和强化学习各自优势，本文提出 BFS - DQN 磁浮列车制动控制方法，通过学习磁浮列车制动特性提高强化学习控制效果。该方法先通过列车历史运行数据训练 LSTM 网络，学习列车制动特性与动态环境的关系;然后将列车运行状态作为强化学习算法输入，制动等级作为动作输出，设计奖励函数训练列车控制器学习最优控制策略;最后输出合理制动力实现制动优化控制。

　　2.1 状态空间

　　将预测到的列车运行状态，即列车位置、速度和加速度组成的三维状态空间作为强化学习智能体的观测状态，定义状态空间，其中包含列车目标停车位置、电 - 液制动转换起始速度、列车最大减速度等参数。

　　2.2 动作空间

　　选择列车制动等级作为智能体的动作，定义动作空间，其中制动等级取值范围为 0% - 100%，0% 表示惰行，100% 表示施加最大制动力。

　　2.3 奖励机制

　　设计关于舒适性和精准停车的奖励函数，通过加权求和得到总奖励。舒适性奖励函数根据单位时间内减速度的变化激烈程度描述乘客乘车体验，精准停车奖励函数根据列车实际制动距离与目标制动距离的差值描述停车精准性，还设置了惩罚函数对停车失败和减速度剧烈变化的情况给予训练失败惩罚。

　　2.4 学习策略

　　定义价值函数描述智能体从开始到结束的预期未来总奖励，列车制动控制器采用价值迭代方式学习最优制动策略。通过评估每个动作的价值，采取最大价值更新价值函数，经过多次价值迭代，价值函数收敛于最优价值函数，从而得到最优动作策略。

　　2.5 学习过程

　　数据生成：列车制动控制器观测当前运行状态，执行列车制动等级动作，列车状态预测模型生成新状态，环境根据奖励函数计算状态转移奖励。

　　经验回放：将状态、动作和奖励数据存入经验池，训练时从经验池中随机抽取样本输入主 Q 网络和目标 Q 网络，分别得到对应动作的 Q 值和目标值。

　　网络更新：BFS - DQN 中 Q 网络通过特定公式更新参数权重，间隔一定训练次数复制主 Q 网络权重参数到目标 Q 网络，经过多次循环训练，主 Q 网络收敛于目标 Q 网络，列车制动控制器学习到最优制动策略。

　　3 实验结果与分析

　　3.1 实验设置

　　以湖南省某条磁浮线路现场运营数据为例进行仿真验证，列出仿真列车的主要参数，包括列车质量、线路最高限速、编组数量、最大常用制动力、最大常用减速度、线路最大坡度等。

　　3.2 收敛性对比

　　采用传统 DQN 控制方法与 BFS - DQN 分别进行仿真，列出两种算法的主要训练参数，包括 LSTM 迭代次数、学习率、样本批量、单次训练最大步数、训练最大次数、Q 网络学习率、更新频率、样本大小、经验池容量、折扣因子、贪婪率初始值和最终值等。通过观察奖励函数变化情况判断算法是否收敛，结果表明 BFS - DQN 方法平均奖励高于传统 DQN 方法，制动特征自学习有助于提高网络学习能力。

　　3.3 舒适性和停车精度

　　对比训练过程中平均加速度变化和平均停车误差变化情况，统计最后 5000 次训练结果。结果显示 BFS - DQN 在舒适性和停车精度方面比传统 DQN 分别提高 8.67% 和 33.33%，表明基于 BFS - DQN 的制动优化控制方法更具优越性。

　　3.4 实际运行数据验证实验

　　将训练好的列车控制器进行仿真测试，记录 50 次测试的停车误差数据，采用均方根误差(RMSE)和标准差(SD)评价不同制动算法的性能。结果表明 BFS - DQN 制动控制算法表现最好，停车误差小，离散程度低，稳定性高。同时对比 3 种制动策略下的制动曲线和减速度变化情况，发现 BFS - DQN 方法在减速度控制方面更合理，舒适性提高 41.18%。

　　3.5 现场数据实验验证

　　将目标制动距离设为不同值进行精准停车测试，统计 50 次测试的停车误差分布情况。结果表明 BFS - DQN 在不同目标制动距离干扰下稳定性高于 DQN，且 BFS - DQN 算法满足停车精度 ±30 cm 内的次数占比 100%，优于当前 ATO 制动策略和 DQN 方法。

　　4 结论

　　本文针对磁浮列车电 - 液混合制动问题提出的基于混合制动特征自学习的磁浮列车强化学习制动控制方法，经仿真实验验证，可帮助磁浮列车平稳度过电液制动转换阶段，减少纵向冲击，保障乘客舒适性，提高列车到站停车精度。

　　所提策略对不同目标制动距离的干扰具有稳定性和自适应能力，能根据列车运行状态及时调整制动策略，控制列车输出合理制动力，确保精准停车。

刘鸿恩;胡闽胜;胡海林,江西理工大学永磁磁浮技术与轨道交通研究院;江西省磁悬浮技术重点实验室;北京全路通信信号研究设计院集团有限公司,202404