基于动态可配置规则的数据清洗方法
来源：计算机应用杂志2017年第4期北京时间：
作者：朱会娟, 蒋同海, 周喜, 程力, 赵凡, 马博
单位：1. 中国科学院新疆理化技术研究所 多语种信息技术研究室, 乌鲁木齐 830011;2. 中国科学院大学 计算机与控制学院, 北京 100049;3. 新疆民族语音语言信息处理重点实验室, 乌鲁木齐 830011
摘要：针对传统数据清洗方法通过硬编码方法来实现业务逻辑而导致系统的可重用性、可扩展性与灵活性较差等问题，提出了一种基于动态可配置规则的数据清洗方法——DRDCM。该方法支持多种类型规则间的复杂逻辑运算，并支持多种脏数据修复行为，集数据检测、数据修复与数据转换于一体，具有跨领域、可重用、可配置、可扩展等特点。首先，对DRDCM方法中的数据检测和数据修复的概念、实现步骤以及实现算法进行描述；其次，阐述了DRDCM方法中支持的多种规则类型以及规则配置；最后，对DRDCM方法进行实现，并通过实际项目数据集验证了该实现系统在脏数据修复中，丢弃修复行为具有很高的准确率，尤其是对需遵守法定编码规则的属性（例如身份证号码）处理时其准确率可达100%。实验结果表明，DRDCM实现系统可以将动态可配置规则无缝集成于多个数据源和多种不同应用领域且该系统的性能并不会随着规则条数增加而极速降低，这也进一步验证了DRDCM方法在真实环境中的切实可行性。
关键词：大数据,数据质量,数据清洗,动态可配置规则,数据预处理
基金资助：新疆维吾尔自治区高技术研究发展计划项目（201512103）；中国科学院西部之光人才培养计划项目（XBBS201313）；新疆维吾尔自治区青年科技创新人才培养工程计划项目（2014721033）。
