基于注意力机制的Transformer模型预测PM_2.5浓度

来源：环境科学杂志2024年第1期北京时间：

作者：刘敏毅,崔博文,王宇坤,张伟鑫,曾雨

单位：福建理工大学生态环境与城市建设学院, 福州 350118,福建理工大学生态环境与城市建设学院, 福州 350118,福建理工大学生态环境与城市建设学院, 福州 350118,福建理工大学生态环境与城市建设学院, 福州 350118,福建省环境影响评价技术中心, 福州 350024

摘要：采用北京市12个空气监测站点2013年3月至2016年12月期间的监测数据以及气象数据,利用皮尔逊系数方法探究影响PM_2.5浓度的关键因素,构建一种基于多头注意力机制的改进Transformer模型对PM_2.5浓度进行长期预测,并引入卷积神经网络模型（ResNet50）和长短期记忆网络模型（LSTM）进行比较,选用解释性方差（EVS）、决定系数（R2）、均方误差（MSE）和平均绝对误差（MAE）这4个指标对模型性能进行评价.结果表明,皮尔逊相关系数结果显示与PM_2.5浓度极强相关的参数为PM₁₀、SO₂、NO₂、CO和大气压力（PRES）,强相关的参数为露点温度（DEWP）,这与Transformer模型自动筛选的偏好设置一致.Transformer模型的MSE和R2分别为0.009 μg·m-3和0.925,与ResNet50和LSTM比较,MSE分别降低了91.09%和30.77%,R2分别提高了38.05%和4.65%.Transformer模型可以更好地捕捉因气象条件突变影响产生的短期污染变化和具有显著季节变化的长期趋势,拟合效果在几个模型中表现优异,为实现PM_2.5浓度的长期预测提供了一种新的方法.此外,根据消融实验发现在数据输入或人为设置偏好后,Transformer的R2增幅较小,分别为2.31%和1.51%,说明Transformer模型对同源性PM₁₀数据有较强的抗干扰能力.

关键词：PM2.5预测,多头注意力机制,Transformer,同源性,