基于函数依赖与条件约束的数据修复方法

来源：软件学报杂志2016年第7期北京时间：

作者：金澈清,刘辉平,周傲英

单位：金澈清，华东师范大学 计算机科学与软件工程学院 数据科学与工程研究院, 上海 20006211,刘辉平，华东师范大学 计算机科学与软件工程学院 数据科学与工程研究院, 上海 20006202,周傲英，华东师范大学 计算机科学与软件工程学院 数据科学与工程研究院, 上海 20006203

摘要：随着经济与信息技术的发展,在许多应用中均产生大量数据.然而,受硬件设备、人工操作、多源数据集成等诸多因素的影响,在这些应用之中往往存在较为严重的数据质量问题,特别是不一致性问题,从而无法有效管理数据.因此,首要的任务就是开发新型数据清洗技术来提升数据质量,以支持后续的数据管理与分析.现有工作主要研究基于函数依赖的数据修复技术,即以函数依赖来描述数据一致性约束,通过变更数据库中部分元组的属性值(而非增加/删除元组)来使得整个数据库遵循函数依赖集合.从一致性约束描述的角度来看,函数依赖并非是唯一的表达方式,还存在其他表达方式,例如硬约束、数量约束、等值约束、非等值约束等.然而,随着一致性约束种类的增加,其处理难度也远比仅有函数依赖的场景要困难.考虑以函数依赖与其他一致性约束共同表述数据库的一致性约束,并在此基础上设计数据修复算法,从而提升数据质量.实验结果表明,所提方法的执行效率较高.

关键词：数据质量;数据修复;函数依赖;条件约束;等价类

基金资助：国家重点基础研究发展计划(973)(2012CB316203);国家自然科学基金(61370101,U1501252,61532021);上海市教委科研创新重点项目(14ZZ045)