基于 Transformer 的时序数据异常检测方法

来源：计算机技术与发展杂志2023年第03期北京时间：

作者：徐丽燕;';徐康;*;黄兴挺;李熠轩;季学纯;';叶宁

单位：1. 智能电网保护和运行控制国家重点实验室,江苏 南京 211106;2. 南瑞集团(国网电力科学研究院)有限公司,江苏 南京 211106;3. 南京邮电大学 计算机学院、软件学院、网络空间安全学院,江苏 南京 210003;4. 南京邮电大学 贝尔英才学院,江苏 南京 210003

摘要：近年来,异常检测在电力系统运维、故障诊断等智能运维场景中起到关键作用。 其中,深度学习在时序数据异常检测上取得了成功的应用。 然而,基于长短期记忆( Long Short-Term Memory,LSTM) 等异常检测方法因其序列学习模式中包含递归运算,导致模型难以并行计算,同时长期依赖性会导致模型性能下降。 因此,提出了一种基于 Transformer 的时序数据异常检测方法,利用自注意力机制并行训练数据捕获内部有效信息,利用编码-解码框架使用端到端的方式通过时序数据生成异常得分。 这个方法　能更完整地提取时序数据的上下文关系,精确地捕获时序数据的异常关系。 经实验证明,基于 Transformer 的时序数据异常检测方法在 WADI、SWaT、KDDCUP99 与 AIOPS18 等数据集上的异常检测表现出比其他方法更优的性能。

关键词：异常检测;多头自注意力;Transformer;时间序列;深度学习