基于字段过滤和伸缩窗口的SNM算法优化

来源：计算机工程与科学杂志2022年第4期北京时间：

作者：周世杰, 娄渊胜

单位：河海大学计算机与信息学院，江苏 南京 211100

摘要：数据仓库中的问题数据对数据质量有较大的影响，为了查找和去除这些问题数据,首要的工作是处理相似重复数据，目前针对重复数据清除应用最多的算法是基本邻近排序算法(SNM)。通过分析SNM算法的缺陷，提出了一种改进的SNM算法——ISNM。采用属性区分法计算属性权值，解决了人为主观赋予权值导致的问题；使用字段过滤算法计算2条记录的相似度，减少了窗口内记录属性的比对次数，加快了算法的检测速度；使用可变窗口代替固定大小的窗口，防止记录漏配并减少无用的记录比对。实验结果表明，改进后的ISNM算法在查全率、查准率和运行时间开销上有明显的优势。

关键词：数据质量,数据清洗,相似重复记录,SNM算法,

基金资助：江苏省重点研发计划(BE2018301)