QAR数据仓库在Hive中的构建

来源：计算机工程与应用杂志2017年第11期北京时间：

作者：冯兴杰，吴稀钰，赵 杰，贺 阳，房 戍

单位：中国民航大学 计算机科学与技术学院，天津 300300

摘要：分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展，QAR数据的规模急剧增大，现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析，导致海量的QAR数据因无法处理变成了信息垃圾。因此，针对现有数据仓库的不足，提出基于Hive的QAR数据仓库。通过对Hive特点及QAR数据结构分析，设计了基于Hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库，实现了对已有数据仓库的兼容。实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下，处理所需时间依然保持着线性增长。

关键词：Hive,快速存取记录器（QAR）,数据仓库,数据处理,Hadoop