基于Spark的电力调度数据整合模型

来源：计算机工程与应用杂志2017年第19期北京时间：

作者：曲朝阳1，陈贺新1，胡可为2，刘耀伟3，独健鸿4

单位：1.东北电力大学 信息工程学院，吉林 吉林 132012；2.国网吉林省电力有限公司 调控中心，长春 130000；3.国网吉林省电力有限公司 吉林供电公司，吉林 吉林 132000；4.吉林市丰满发电厂，吉林 吉林 132113

摘要：随着大数据理念在电力行业的应用，构建电力调度数据仓库是支撑电力调度中心统一数据平台的基础，针对电力调度中心的数据仓库将多源数据整合时面临的重复冗余和不一致问题，提出一种基于Spark的电力调度数据整合模型。设计并行化正向最大匹配去冗算法，对多个系统内冗余数据进行过滤操作；给出面向关联度的数据一致性处理方法，依据特征向量的夹角余弦值判断数据间的联系，进而对不一致数据修复。通过对某电力调度中心的数据进行整合实验，验证了该数据整合模型的可行性。

关键词：电力调度中心,关联度,特征向量,数据整合,Spark平台