基于偏序集的数据清洗规则链自动生成方法

来源：计算机应用研究杂志2021年第1期北京时间：

作者：何俊,张彩庆,李小珍,张德海,

单位：1.昆明学院信息工程学院,昆明650214；2.云南大学a.外国语学院;b.软件学院,昆明650206；

摘要：针对数据清洗中规则间逻辑冲突频发和出错率高的问题，提出一种基于偏序集的规则链自动生成方法。通过分层组合的数据清洗框架自顶向下对规则进行分类处理，采用偏序集和哈斯图自动生成每个层级的逻辑正确和一致的规则链，并设计出对应的生成算法和自动清洗算法。以扶贫领域数据为例进行实验，结果表明该方法使数据清洗效率有一定提升，清洗结果出错率明显降低，检验了方法的科学性和有效性。

关键词：偏序集,数据清洗,规则链,哈斯图,扶贫领域,

基金资助：国家自然科学基金资助项目(61263043,61864004)；云南省地方本科高校基础研究联合专项基金资助项目(2017FH001-05)；；