融合注意力机制与孪生神经网络的更新日志主题学习模型

来源：计算机应用研究杂志2023年第2期北京时间：

作者：张鑫,黄文超,熊焰,

单位：中国科学技术大学计算机科学与技术学院,合肥230000；

摘要：为进一步挖掘更新日志信息，提出了基于注意力机制的孪生双向LSTM网络模型，对更新日志进行分类以实现主题标注，并辅助定位代码缺陷位置。该模型提出了具有安全特色的分词工具实现日志预处理，借助双向LSTM网络学习更新日志语义信息，通过孪生神经网络解决更新日志自身存在的过拟合模式问题并高质量扩充数据集，提升泛化能力。针对多语句组成的更新日志进行序列化训练，通过注意力机制对语句影响性进行区分。针对缺陷修复类的部分日志基于LLVM工具进行改进，生成映射表进行日志内容搜索，定位源码中缺陷模块的位置。大量实验结果表明，所提模型分类效果具有强泛化能力，且较其他文本分类通用方法在准确率、F1值等指标提升近10%，具有理想的日志分类效果与主题学习效果。

关键词：更新日志,孪生神经网络,注意力机制,双向LSTM,

基金资助：国家重点研发计划资助项目(2018YFB2100300,2018YFB0803400)；国家自然科学基金资助项目(61972369,62102385)；安徽省自然科学基金资助项目(2108085QF262)；；