基于Spark Streaming的实时能耗分项计量系统

来源：计算机应用杂志2017年第4期北京时间：

作者：武志学

单位：1. 成都五舟汉云科技有限公司, 成都 611731;2. 成都信息工程大学 信息安全工程学院, 成都 610225

摘要：能耗分项计量能够准确、及时、有效地发现能源使用问题，形成和实现最有效的节能措施。能耗分项计量系统需要对各项能源使用量在不同粒度上进行统计，既有实时性的需求，又需要涉及到聚合、去重、连接等较为复杂的统计需求。由于数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再作处理，这便导致传统的数据处理架构不能满足需求。为此，提出基于Spark Streaming大数据流式技术构建一个实时能耗分项计量系统，对实时能耗分项计量的系统架构和内部结构进行了详细介绍，并通过实验数据分析了系统的实时数据处理能力。与传统架构不同，实时能耗分项计量系统在数据流动的过程中实时地进行捕捉和处理，一方面把捕捉到的异常信息及时报警到前端，同时把分类分项统计处理的结果保存到数据库，以便进行离线分析和数据挖掘，能有效地解决上述数据处理过程中遇到的问题。

关键词：流式计算,能耗分项计量,Spark Streaming,Apache Kafka,大数据