基于选择性加载策略的电能质量数据处理

来源：计算机应用杂志2016年第5期北京时间：

作者：赵霞, 林天华, 马素霞, 齐林海

单位：1. 北京航空航天大学 自动化科学与电气工程学院, 北京 100191;2. 河北经贸大学 信息技术学院, 石家庄 050061;3. 华北电力大学 控制与计算机工程学院, 北京 102206

摘要：根据电能质量系统中监测数据海量化的趋势,提出了一种基于部分存储和选择性加载的数据处理算法,彻底解决了现有数据处理算法中重复排序和多余处理的问题。在计算日指标时,根据存储率存储部分日排序数据;在计算周(月、季、年)指标时,利用多路归并算法将存储的部分日排序数据合并,计算出临时95概率大值(CP95);根据临时CP95确定需要重载的日数据,对部分存储的日数据和重载数据重新排序以计算稳态指标。部分存储的日排序数据可以重复利用,有效解决了传统处理方案中的重复排序问题;排序过程中只需读取部分日排序数据和少量重载数据,有效解决了传统处理方案中冗余处理问题。与传统的数据处理方法做测试对比,结果表明:日采样数据较小时,性能提升3倍以上;日采样数据超过2880时,性能提升15倍以上。数据量越大,性能提升越明显。所提方案已在山西、河北等监测系统中成功应用,实践证明所提方案正确、有效。

关键词：电能质量,海量数据,多路归并,存储率,重载率

基金资助：河北省教育厅高等学校科学技术研究项目(YQ2013038);河北省自然科学基金资助项目(F2015207009);河北经贸大学科研基金资助项目(2013KYY17)。