数据质量多种性质的关联关系研究

来源：软件学报杂志2016年第7期北京时间：

作者：丁小欧,王宏志,张笑影,李建中,高宏

单位：丁小欧，哈尔滨工业大学 计算机科学与技术学院, 黑龙江 哈尔滨 15000111,王宏志，哈尔滨工业大学 计算机科学与技术学院, 黑龙江 哈尔滨 15000102,张笑影，哈尔滨工业大学 计算机科学与技术学院, 黑龙江 哈尔滨 15000103,李建中，哈尔滨工业大学 计算机科学与技术学院, 黑龙江 哈尔滨 15000104,高宏，哈尔滨工业大学 计算机科学与技术学院, 黑龙江 哈尔滨 15000105

摘要：信息化时代数据海量增长的同时,用户需要利用多种指标从不同性质角度对数据质量进行评价和改善.但在目前数据质量管理过程中,影响数据可用性的多种重要因素并非完全孤立,在评估机制和指导数据清洗规则时,彼此会发生关联.研究了在实际信息系统中适用的综合性数据质量评估方法,将文献所提出以及在实际的信息系统中常用的数据质量性质指标按其定义与性质进行了归纳总结,提出了基于性质的数据质量综合评估框架.之后针对影响数据可用性的4个重要性质:精确性、完整性、一致性以及时效性整理出在数据集合上的操作方法,并逐一介绍其违反模式的定义,随后给出其具体关系证明,进而确定数据质量多维关联关系评估策略,并通过实验验证了该策略的有效性.

关键词：数据质量;数据质量性质;多性质关系;数据清洗;数据管理

基金资助：国家重点基础研究发展计划(973)(2012CB316200);国家自然科学基金(U1509216,61472099,61133002);黑龙江省留学回国人员基金(LC2016026)