《计算机工程与应用杂志》发表论文赏析
作者:韩萌, 李春鹏, 李昂, 孟凡兴, 何菲菲, 张瑞华
单位:北方民族大学 计算机科学与工程学院,银川 750021
摘要:在数据挖掘领域中,数据流挖掘是一项关键任务,旨在处理不断产生和演化的数据流。与传统的批处理数据挖掘不同,数据流挖掘强调对实时数据的处理和分析,具有更高的时效性和实用性。然而,现实世界的数据流中存在多类别不平衡、变化的类别不平衡比和概念漂移等实际挑战,会极大地降低分类器的性能。针对这些问题,提出了一种基于加权与动态选择的不平衡数据流分类算法(sample difficulty weighting and dynamic ensemble selection,SDW-DES),通过综合考虑样本难度和数据动态性,为实时应用提供可靠解决方案。引入一种基于样本分类难度的加权策略,结合样本的边际值和Focal Loss,以更有效地关注易分类错误的样本和少数类样本,从而提高分类器的准确性。提出一种灵活的动态集成选择方法,通过设计样本滑动窗口和困难样本滑动窗口,来综合分析分类器在不同窗口上的表现并加权,选出集成中最好的分类器进行预测,以适应数据分布的动态变化。在多种数据流环境和评估指标上与9种先进的算法进行了全面的实验评估,实验结果表明SDW-DES在4个评估指标中平均排名第一,并且更能够适应数据流中的不平衡和概念漂移问题。
关键词:数据流分类,多类不平衡,概念漂移,样本加权,动态集成选择