基于Transformer的多模态气象预测

来源：计算机工程与应用杂志2023年第10期北京时间：

作者：向德萍, 张普, 向世明, 潘春洪

单位：1.中国科学院 自动化研究所，北京 100190；2.中国科学院大学 人工智能学院，北京 100190

摘要：随着气象观测技术的快速发展，气象行业积累了海量的气象大数据，为构建新型的数据驱动的气象预测模型提供了机遇。由于气象数据中存在的长时依赖关系和大范围空间关联关系，以及多模态气象要素间存在的复杂跨模态耦合关系，基于深度学习的气象预测是一个具有挑战性的研究课题。针对“温度、相对湿度、纬向风速、经向风速”四种经典气象要素组成的等气压层时序多模态数据，提出了一种基于多模态融合的气象预测深度学习模型。首先采用卷积网络来学习各个模态的特征，并在此基础上引入门控机制实现多模态加权融合；然后引入注意力机制，以并行时空轴向注意力代替传统的注意力机制，从而有效地学习长时依赖关系和大范围空间关联关系。整体结构上，采用了基于Transformer的编码器-解码器结构。在ERA5再分析数据集（子区域）上进行了对比实验，实验结果表明了所提方法在温度、相对湿度、风速等预测任务上的有效性和优越性。

关键词：气象预测,多模态融合,Transformer,轴向注意力