基于专家系统的 Web 日志数据处理方法研究

来源：计算机技术与发展杂志2022年第07期北京时间：

作者：李春生;豆立宪;张可佳;刘涛;邹林浩

摘要：企业员工访问网站的记录在企业服务器中形成了大规模日志数据,从这些海量数据中发掘出有意义的信息是管理企业员工重要的环节,并成为大数据时代关注的重点。 完成数据挖掘的核心工作之一就是对原始数据的预处理,它影响到数据分析结果的准确度。 但由于 web 日志是 Apache、Nginx 和 IIS 等 web 服务器运行时产生的系统日志,web 日志格式根据使用 web 服务器的不同而不同。 所以,传统的日志数据清洗方式难以应对目前如此复杂的日志格式。 由于专家系统其技术特点能应对复杂的日志格式,所以通过结合专家系统,推理出对应的 web 日志格式,从而自动进行日志数据清洗,可以使得当下复杂海量 web 日志数据预处理更加高效,智能。 首先,介绍了专家系统;其次,介绍了 web 日志数据一般的数据预处理流程;最后,结合专家系统对海量复杂的 web 日志数据进行数据预处理,并通过实验验证了该方法的可行性。

关键词：专家系统;web 日志数据;数据预处理;复杂日志格式;规则库