基于机器学习的日志解析系统设计与实现

来源：计算机应用杂志2018年第2期北京时间：

作者：钟雅, 郭渊博

单位：1. 信息工程大学 网络空间安全学院, 郑州 450001;2. 数学工程与先进计算国家重点实验室, 郑州 450001

摘要：针对现有日志分类方法只适用于格式化的日志，且性能依赖于日志结构的问题，基于机器学习方法对日志信息解析算法LogSig进行了扩展改进，并设计开发了一个集数据处理与结果分析于一体的日志解析系统，包括原始数据预处理、日志解析、聚类分析评价、聚类结果散点图显示等功能，在VAST 2011挑战赛的开源防火墙日志数据集上进行了测试。实验结果表明，改进后的算法在归类整理日志事件时的平均准确性达到85%以上；与原LogSig算法相比，日志解析精度提高了50%，同时解析时间仅为原先的25%，可用于大数据环境下高效准确地对多源非结构化日志数据进行解析。

关键词：日志解析,机器学习,聚类,异常检测,LogSig算法

基金资助：国家自然科学基金资助项目（61501515）。