《计算机科学与探索杂志》发表论文赏析

基于Spark的并行图数据分析系统

来源:计算机科学与探索杂志2015年第9期北京时间:

作者:王虹旭,吴斌,刘旸

单位:北京邮电大学 北京市智能通信软件与多媒体重点实验室,北京 100876

摘要:提出了一种基于Spark云计算平台的并行数据分析系统。该系统以大规模图数据分析任务为主,并且支持非图数据分析的应用,集成数据分析算法集与非图数据分析算法集。详细阐述了该系统的架构设计,工作流引擎和动态组件更新技术以及部分并行数据分析算法的设计与实现。通过对多种规模的数据集进行性能测试,以及与传统的MapReduce平台进行性能对比,证明了该系统相对于以往的图数据挖掘系统可以更高效地完成计算任务,而且也可以有效进行非图数据分析。

关键词:云计算,并行算法,图数据分析,数据挖掘,社会网络分析

获取完整文献 了解学术指导

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!