云平台下基于粗糙集的并行增量知识更新算法

来源：软件学报杂志2015年第5期北京时间：

作者：张钧波,李天瑞,潘毅,罗川,滕飞

单位：张钧波，西南交通大学 信息科学与技术学院, 四川 成都 610031;Department of Computer Science, Georgia State University, Atlanta, USA11,李天瑞，西南交通大学 信息科学与技术学院, 四川 成都 61003102,潘毅，Department of Computer Science, Georgia State University, Atlanta, USA03,罗川，西南交通大学 信息科学与技术学院, 四川 成都 61003104,滕飞，西南交通大学 信息科学与技术学院, 四川 成都 61003105

摘要：日益复杂和动态变化的海量数据处理,是当前人们普遍关注的问题,其核心内容之一是研究如何利用已有的信息实现快速的知识更新.粒计算是近年来新兴的一个研究领域,是信息处理的一种新的概念和计算范式,主要用于描述和处理不确定的、模糊的、不完整的和海量的信息,以及提供一种基于粒与粒间关系的问题求解方法.作为粒计算理论中的一个重要组成部分,粗糙集是一种处理不确定性和不精确性问题的有效数学工具.根据云计算中的并行模型MapReduce,给出了并行计算粗糙集中等价类、决策类和两者之间相关性的算法;然后,设计了用于处理大规模数据的并行粗糙近似集求解算法.为应对动态变化的海量数据,结合MapReduce模型和增量更新方法,根据不同的增量策略,设计了两种并行增量更新粗糙近似集的算法.实验结果表明,该算法可以有效地快速更新知识;而且数据量越大,效果越明显.

关键词：云计算;MapReduce;粗糙集;增量学习

基金资助：国家自然科学基金(61175047, 61100117, 61202043); 国家自然科学基金联合基金(U1230117); 四川省科技支撑计划(2012RZ0009); 西南交通大学优秀博士学位论文培育项目; 中央高校基本科研业务费专项资金(SWJTU12CX098)