基于洗牌算法的大数据抽样有效性分析

来源：计算机应用研究杂志2021年第10期北京时间：

作者：刘涵阅,张春生,

单位：内蒙古民族大学计算机科学与技术学院,内蒙古通辽028043；

摘要：基于折叠技术的洗牌算法具有较好的数据置乱效果，可以满足大数据抽样的前提条件。为证明置乱后的数据集在经过抽样后内部规则不被破坏，通过数据挖掘的方法对抽样前后的数据进行关联规则分析。对比所得关联规则的支持度、置信度，以及事务出现的频率，发现经过折叠洗牌算法置乱后的数据在抽样前后所得到的关联规则变化相对稳定，并通过与现有算法的时间效率以及抽样总体误差作对比，进一步在理论上得出大数据抽样具有有效性，即可以通过抽样样本来推测数据整体情况。

关键词：大数据,抽样技术,折叠洗牌算法,关联规则,抽样有效性,

基金资助：国家自然科学基金资助项目(81460656)；内蒙古自然科学基金资助项目(2018MS06016)；；