《计算机工程与应用杂志》发表论文赏析
作者:宋董飞,徐 华
单位:江南大学 物联网工程学院,江苏 无锡 214122
摘要:DBSCAN算法是一种基于密度的优秀算法,能够对任意形状的数据进行聚类,且能够识别噪声数据。为了减少人工对输入参数Eps和MinPts的干预,提出了一种新的计算Eps参数的方法;同时,为了解决传统单机DBSCAN算法在大数据环境下的性能问题,基于Spark框架实现了DBSCAN算法的并行化。通过实验表明,提出的DBSCAN改进算法具有很高的准确度和稳定性;并行实现的DBSCAN算法具有很好的并行性能,适合用于处理海量数据聚类。
关键词:大数据,DBSCAN算法,Apache Spark,分布式计算