物联网环境下基于上下文的Hadoop大数据处理系统模型

来源：计算机应用杂志2015年第5期北京时间：

作者：李敏, 倪少权, 邱小平, 黄强

单位：1. 西南交通大学 交通运输与物流学院, 成都 610031;2. 西南交通大学 全国铁路列车运行图编制研发培训中心, 成都 610031

摘要：针对物联网环境下异构大数据处理实时性低的问题,探讨了基于Hadoop框架实现数据处理与持久化的方法,提出了一种基于"上下文"的Hadoop大数据处理系统模型HDS,HDS利用Hadoop框架完成数据并行处理与持久化,将物联网环境下异构数据抽象为"上下文"作为HDS处理对象;并提出了"上下文距离""上下文邻域系统(CNS)"的定义;对于Hadoop框架本身数据处理实时性不高的问题,HDS在设计上增加了"上下文队列(CQ)"作为辅助存储来提高数据处理实时性;利用"上下文"的时空特性,建立了用户请求"上下文邻域系统"对任务进行重组.以成品油配送车辆调度问题为例,利用MapReduce并行实验对HDS的数据处理与实时性能进行了验证与分析.实验结果表明,在物联网环境下,HDS不仅在大数据处理性能上较传统单点处理模型(SDS)具有明显优势,在实验环境中10台服务器的情况下,其计算性能能够超过SDS 200倍以上;同时也验证了CQ作为辅助存储能够有效提高数据处理实时性,在10台服务器环境下,其数据处理实时性能够提高270倍以上.

关键词：大数据,物联网,Hadoop,上下文邻域系统,上下文队列

基金资助：国家自然科学基金资助项目(61273242,61403317);中国铁路总公司科技研究计划项目(2013X006-A,2013X014-G,2013X010-A,2014X004-D).