基于混合门单元的非平稳时间序列预测

来源：计算机研究与发展杂志2019年第8期北京时间：

作者：刘颉羲,陈松灿,

摘要：非平稳多变量时间序列(non-stationarymultivariatetimeseries,NSMTS)预测目前仍是一个具有挑战性的任务.基于循环神经网络的深度学习模型，尤其是基于长短期记忆(longshort-termmemory,LSTM)和门循环单元(gatedrecurrentunit,GRU)的神经网络已获得了令人印象深刻的预测性能.尽管LSTM结构上较为复杂，却并不总是在性能上占优.最近提出的最小门单元(minimalgatedunit,MGU)神经网络具有更简单的结构，并在图像处理和一些序列处理问题中能够提升训练效率.更为关键的是，实验中我们发现该门单元可以高效运用于NSMTS的预测，并达到了与基于LSTM和GRU的神经网络相当的预测性能.然而，基于这3类门单元的神经网络中，没有任何一类总能保证性能上的优势.为此提出了一种线性混合门单元(MIXgatedunit,MIXGU)，试图利用该单元动态调整GRU和MGU的混合权重，以便在训练期间为网络中的每个MIXGU获得更优的混合结构.实验结果表明，与基于单一门单元的神经网络相比，混合2类门单元的MIXGU神经网络具有更优的预测性能.

关键词：非平稳多变量时间序列, 循环神经网络, 长短期记忆, 门循环单元, 最小门单元, 混合门单元,