面向城市基础设施智慧管养的大数据智能融合方法
来源：计算机应用杂志2017年第10期北京时间：
作者：刘佳俊, 喻钢, 胡珉
单位：1. 上海大学悉尼工商学院, 上海 201800;2. 上海大学-上海城建建筑产业化研究中心, 上海 200072
摘要：针对运维大数据维度高、形式多样化和变化迅速等特性，为提高数据融合效率以及平台的数据统计和决策分析性能，降低抽取-转换-加载（ETL）执行时间开销和数据中心负担，面向智慧管养需求提出一种多层次任务调度（MTS）ETL框架（MTS-ETL）。首先，将数据仓库分为数据临时区、数据仓储区、数据分类区和数据分析区，并根据所分区域将完整的ETL过程划分为4个层次的ETL任务调度环节，同时设计了多频率ETL运行调度以及顺序和非顺序两种ETL工作模式；接着，基于MTS-ETL框架的非顺序工作模式进行数据融合的概念建模、逻辑建模和物理建模；最后，利用Pentaho Data Integration设计ETL转换模块和工作模块以实现数据融合方法。在交通流量数据融合实验中，该方法融合136754条数据的时间仅为28.4s；在千量级的数据融合实验中比传统ETL方法的总平均执行时间降低了6.51%；报表分析结果表明其在融合400万条数据时依然能保证ETL过程的可靠性。所提方法能够有效融合运维大数据，提高平台统计分析性能，并维持ETL执行时间开销在较低水平。
关键词：大数据,抽取-转换-加载,数据融合,数据仓库,城市基础设施管养
基金资助：上海市城乡建设和交通委员会建管项目（2014-009-002）；上海市科委重点项目（13511504803）；上海市国资委重大科研项目（2014008）。
