大数据预处理中属性约简的特性保持分析

来源：计算机测量与控制杂志2015年第12期北京时间：

作者：宋雨,焦谱,李刚

单位：华北电力大学控制与计算机工程学院

摘要：伴随着工业及社会信息化程度的增强,各个领域的自动化程度越来越高,大规模及超大规模海量数据应运而生,呈现出大数据特征。这些海量数据在提升行业发展动力的同时,也带来了巨大的挑战性问题—数据可用性。为了从海量数据中甄别出无用信息、挖掘有利于相关领域发展的有价值信息,就需要对其进行数据分析。数据预处理技术可以极大地减少数据分析时的处理量,提高数据分析处理的效率,而属性约简在数据预处理中是一个比较重要的环节。在分析大数据属性特征的基础上,较系统地分析了目前几种主流的属性约简算法,对各类算法的性能进行了剖析,并展望了今后大数据预处理的研究工作思路。

关键词：大数据,预处理,属性约简,MapReduce

基金资助：国家自然科学基金（51407076）；河北省自然科学基金（F2014502050）；河北省高等学校科学研究项目（Z2013007）；中央高校基本科研业务费专项资金资助（2015ZD28）