Spark环境下并行立方体计算方法
来源：计算机应用杂志2016年第2期北京时间：
作者：萨初日拉, 周国亮, 时磊, 王刘旺, 石鑫, 朱永利
单位：华北电力大学 控制与计算机工程学院, 河北 保定 071003
摘要：针对传统联机分析处理(OLAP)处理大数据时实时响应能力差的问题,研究基于分布式内存计算框架Spark加速的数据立方体计算方法,设计基于Spark内存集群的自底向上构造(BUC)算法——BUCPark,来提高BUC的并行度和大数据适应能力。在此基础上,为避免内存中迭代的立方体单元膨胀,基于内存重复利用和共享的思想设计改进的BUCPark算法——LBUCPark。实验结果表明:LBUCPark算法性能优于BUC算法和BUCPark算法,能够胜任大数据背景下的快速数据立方体计算任务。
关键词：Spark,联机分析处理,数据立方体,自底向上构造
基金资助：河北省自然科学基金资助项目(F2014502069)。
