《计算机工程与科学杂志》发表论文赏析

基于字段过滤和伸缩窗口的SNM算法优化

来源:计算机工程与科学杂志2022年第4期北京时间:

作者:周世杰, 娄渊胜

单位:河海大学计算机与信息学院,江苏 南京 211100

摘要:数据仓库中的问题数据对数据质量有较大的影响,为了查找和去除这些问题数据,首要的工作是处理相似重复数据,目前针对重复数据清除应用最多的算法是基本邻近排序算法(SNM)。通过分析SNM算法的缺陷,提出了一种改进的SNM算法——ISNM。采用属性区分法计算属性权值,解决了人为主观赋予权值导致的问题;使用字段过滤算法计算2条记录的相似度,减少了窗口内记录属性的比对次数,加快了算法的检测速度;使用可变窗口代替固定大小的窗口,防止记录漏配并减少无用的记录比对。实验结果表明,改进后的ISNM算法在查全率、查准率和运行时间开销上有明显的优势。

关键词:数据质量,数据清洗,相似重复记录,SNM算法,

基金资助:江苏省重点研发计划(BE2018301)

2022年4期其他文献查阅:

分布式存储系统读写一致性算法性能优化研究综述

面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现

面向Lustre集群存储的应用日志分析及系统自动优化框架

基于深度神经网络的高速信道自适应均衡器

无服务器计算技术研究综述

异构Spark集群数据倾斜修正调度策略

数据中心网络路由研究进展

融合正余弦优化与跳距优化的DV-Hop定位算法

基于机器学习的移动代理应用流量识别方法

动态特征选择算法对恶意行为检测的优化研究

基于可见光视觉图像的路面裂缝识别深度学习方法述评

针对机动目标的改进型交互多模型跟踪算法研究

基于OSE-dResnet网络的列车底部零件检测算法

基于字段过滤和伸缩窗口的SNM算法优化

ED算法和SNP-index算法计算SNP位点的比较分析——以拟南芥为例

基于节点影响力的理性节点标签传播算法

基于广义重要度和runner-root算法的特征选择

基于预训练的无监督神经机器翻译模型研究

改进DeepLabV3+的高效语义分割

基于模拟退火算法的人工势场法路径规划研究

特征直连与结构化约束的多视图子空间聚类

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!