多分支加权的Transformer霍克斯过程

来源：计算机工程与应用杂志2025年第2期北京时间：

作者：高腾达, 任兆亭, 孙铁军, 吴春雷, 王雷全

单位：1.中国石油大学（华东） 青岛软件学院，山东 青岛 266580；2.中国石油大学（华东） 计算机科学与技术学院，山东 青岛 266580；3.青岛海信日立空调系统有限公司，山东 青岛 266510

摘要：时序点过程作为一种异步事件序列建模的重要方法，目前已经在地震、医疗等领域得到了广泛的应用。Transformer等深度学习模型的引入使得模型的预测性能得到了突破性进步，为了解决基于Transformer的霍克斯过程模型在对事件序列建模时出现的学习偏差问题，提出了多分支加权的Transformer霍克斯过程模型（multi-branch weighted transformer Hawkes process，MWTHP）。基于多分支的思想，通过为不同角度下学习到的依赖关系赋予差异化的重要性，提高模型对事件序列的建模能力；为了应对基于Transformer的霍克斯过程模型的局部感知能力较差问题，构建了一种基于因果卷积的局部感知增强网络，改善了模型对事件序列局部上下文信息的关注能力。通过在多个合成数据集和真实世界数据集上进行实验，采用对数似然值、时间均方根误差、事件类型准确率等指标进行综合评价。实验结果验证了所提模型的性能优于其他基准模型；通过消融实验，证明了局部感知增强网络的有效性。

关键词：时序点过程,霍克斯过程,深度学习,转换器,多分支加权