大数据下数据预处理方法研究

来源：计算机技术与发展杂志2018年第05期北京时间：

作者：孔钦;叶长青;孙赟

摘要：大数据时代下，数据类型和组织模式多样化、关联关系繁杂、质量良莠不齐等内在的复杂性使得数据的感知、表达、理解和计算等多个环节面临着巨大的挑战。数据预处理是数据分析、挖掘前一个非常重要的数据准备工作。一方面它可以保证挖掘数据的正确性和有效性，另一方面通过对数据格式和内容的调整，使数据更符合挖掘的需要。文中分析了预处理过程中的主要任务，总结了目前针对各类“脏数据”的几种常用的处理方法，重点阐述了数据在清洗、集成、变换和归约过程中的常用算法。通过各种预处理方法，清除冗余数据，纠正错误数据，完善残缺数据，甄选出必需的数据进行集成，使得数据信息精练化、数据格式一致化和数据存储集中化。在最精确、最可靠的最小数据集合上进行数据挖掘，大大减少了系统挖掘的开销，提高了知识发现的准确性、有效性和实用性。

关键词：大数据;预处理;脏数据;研究