基于动态赋权近邻传播的数据增量采样方法

来源：软件学报杂志2021年第12期北京时间：

作者：陈晓琪，谢振平，刘渊，詹千熠

单位：陈晓琪，江南大学 人工智能与计算机学院, 江苏 无锡 214122;江苏省媒体设计与软件技术重点实验室(江南大学), 江苏 无锡 21412211,谢振平，江南大学 人工智能与计算机学院, 江苏 无锡 214122;江苏省媒体设计与软件技术重点实验室(江南大学), 江苏 无锡 21412202,刘渊，江南大学 人工智能与计算机学院, 江苏 无锡 214122;江苏省媒体设计与软件技术重点实验室(江南大学), 江苏 无锡 21412203,詹千熠，江南大学 人工智能与计算机学院, 江苏 无锡 214122;江苏省媒体设计与软件技术重点实验室(江南大学), 江苏 无锡 21412204

摘要：数据采样是快速提取大规模数据集中有用信息的重要手段，为更好地应对越来越大规模的数据高效处理要求，借助近邻传播算法的优异性能，通过引入分层增量处理和样本点动态赋权策略，实现了一种能够非常有效地平衡处理效率和采样质量的新方法.其中的分层增量处理策略考虑将原始的大规模数据集进行分批处理后再综合；而样本点动态赋权则考虑在近邻传播过程中对样本点进行合理的动态赋权，以获得采样的数据空间上更好的全局一致性.实验中，分别使用人工数据集、UCI标准数据集和图像数据集进行性能分析，结果表明：新方法与现有相关方法在采样划分质量上可达到同等水平，而计算效率则可实现大幅提升.进一步将新方法应用于深度学习的数据增强任务中，相应的实验结果表明：在原始数据增强方法上结合进高效增量采样处理后，在保持总训练数据集规模的情况下，所获得的模型性能可实现显著的提升.

关键词：数据采样;近邻传播;动态赋权;增量采样;数据增强

基金资助：国家自然科学基金（61872166）；江苏省“六大人才高峰”项目（XYDXX-161）；江苏省科技计划（BE2018056）