嵌入多阶泰勒微分知识的多尺度注意力循环网络深度时空序列预测方法

来源：电子与信息学报杂志2024年第6期北京时间：

作者：孙强, 赵珂

单位：西安理工大学自动化与信息工程学院通信工程系 西安 710048

摘要：融合先验物理知识的深度时空序列预测方法通常使用偏微分方程(PDE)进行建模，这种做法通常存在两大问题：(1)偏微分方程的近似精度低；(2)无法在循环网络中有效捕捉多种空间尺度的时空特征和时空序列的边缘相关空间信息。为此，该文提出了融合泰勒微分的卷积循环神经网络(TDI-CRNN)。首先，为了提高高阶偏微分方程的近似精度并缓解偏微分方程应用的局限性，设计了一种多阶泰勒近似物理模块。该模块首先使用泰勒展开式对输入序列作微分逼近，再将不同阶数之间的微分卷积层使用微分系数耦合，最后动态调整泰勒展开结果的截断阶数与微分项数。其次，为了捕获循环网络隐藏状态的多种空间尺度特征并更好地捕捉时空序列的边缘相关空间信息，设计了一种多尺度注意力循环模块(MSARM)，在该模块的多尺度卷积空间注意力UNet(即MCSA-UNet)的卷积层中使用了多尺度卷积和空间注意力机制，目的是关注时空序列的局部空间区域。在Moving MNIST, KTH以及CIKM数据集上开展了大量实验，Moving MNIST数据集的均方误差(MSE)指标下降到42.7，结构相似性指数(SSIM)提高到0.912；KTH数据集的SSIM和峰值信噪比(PSNR)分别提高到0.882和29.03；CIKM数据集上的临界成功指数(CSI)提高到0.515。最终的可视化和定量预测结果均验证了TDI-CRNN模型的合理性和有效性。

关键词：时空序列预测, 长短期记忆网络, 知识引导, 偏微分方程, 泰勒展开式

基金资助：陕西省气象局秦岭和黄土高原生态环境气象重点实验室开放研究基金(2021G-28)