基于Transformer的深度符号回归方法

来源：计算机应用杂志2025年第5期北京时间：

作者：许鹏程, 何磊, 李川, 钱炜祺, 赵暾

单位：1.四川大学 计算机学院，成都 610065；2.空天飞行空气动力科学与技术全国重点实验室（中国空气动力研究与发展中心），四川 绵阳 621000

摘要：针对利用遗传进化算法解决符号回归（SR）问题时存在的种群多样性降低以及对超参数敏感等问题，提出基于Transformer的深度符号回归（DSRT）方法。该方法在利用Transformer自回归的方式生成表达式符号序列后，将数据和表达式符号序列的拟合度值的变换值当作奖励值，再利用深度强化学习的方法更新模型参数，使模型输出的表达式序列更加拟合数据，并随着模型的不断收敛找出最优的表达式。在SR基准数据集Nguyen上对DSRT方法进行有效性测试，并在200次迭代内将它与DSR（Deep Symbolic Regression）和GP（Genetic Programming）算法进行对比，实验结果验证了DSRT方法的有效性。另外，讨论了各参数对DSRT方法的影响，并在NACA4421数据上进行飞机翼型表面压力系数公式预测实验，将所得到的公式与卡门-钱学森公式作对比，找到了均方根误差（RMSE）较小的数学公式。

关键词：符号回归,Transformer,深度强化学习,NACA4412,卡门-钱学森公式

基金资助：智强基金卓越人才项目