基于向量升维的农情异常数据实时检测方法

　　摘要：为提高农业物联网的数据感知质量，提出了基于向量升维的异常农情数据实时检测方法。首先采用滑动窗口机制将标准化后的时序农情数据转换为观测向量，接着将相邻向量元素差值之和作为新向量元素对观测向量进行升维，最后构建了异常数据实时检测框架。采用畜禽养殖物联网环境数据进行实验，开展滑动窗口大小取值、分类模型的异常数据检测性能与敏感性分析。结果表明，滑动窗口大小取2为宜，提出的向量升维方法能够有效提升分类模型的异常数据检测能力，且线性核支持向量机具有较优的异常数据检测性能和计算耗时，其检测效果与数据波动性和采样间隔负相关、与异常值偏离幅度正相关。

　　关键词：向量;升维;农情数据;异常检测;物联网

　　农业物联网系统已成为农业大数据最重要的数据源之一[1]。通过将具有感知、通信和计算能力的微型传感器部署应用于农业生产管理中，全面、准确、高效地监测土壤-植物-大气连续体，能够有效推进“互联网+”现代农业行动，为精准农业的实现提供重要支撑[2-3]。农业物联网设备往往长期工作在复杂的生产环境中，受设备制造技术、工艺与成本以及网络传输的影响，数据收集过程中不可避免地产生远离序列一般水平的极大值或极小值，即异常数据[4-5]。

　　农艺师评职知识：农业化学专业论文投哪些sci期刊

　　如何实时有效地检测异常数据，保证采集的原始数据质量是开展高价值农业生产分析和实现物联网设备智能调控的根本前提。Lo等[6]提出一种基于分布式模型的非线性传感器异常诊断算法，具有较高的检测率，且开销低于集中式算法。Ludeña-Choez等[7]提出基于非负矩阵分解的机器学习方法提取农业土壤墒情数据特征，再使用逻辑回归和支持向量机进行训练和检测，性能优于基于主成分分析和多尺度主成分分析的检测模型。通过建立回归模型来检测异常数据得到了研究者们的广泛关注。

　　段青玲等[8]采用滑动窗口机制动态更新训练数据集构建基于支持向量回归的畜禽养殖物联网数据预测模型，通过比较预测数据和实际数据的差异判断是否出现异常。但该方法中预测模型与异常值判断区间的频繁更新造成计算开销较大，且异常数据的判断条件较为复杂。新兴的长短期记忆模型能够很好地捕获到数据在时间维度上的关联[9]，但模型需要大量的训练数据集，实用性较差。

　　Zidi等[10]将4个传感器节点的短时段历史数据聚合成新观测向量，通过训练高斯核支持向量机SVM(supportvectormachine)进行异常数据检测，取得了较好的效果。Noshad等[11]将2个空气温度和2个空气湿度传感器的3次连续采样数据聚合成新观测向量，结果表明随机森林RF(randomforest)模型的异常检测能力优于高斯核SVM。然而，以上方法尚存在不足：未对数据进行标准化处理，模型的异常数据检测效果对数据取值范围较为敏感;将多项数据聚合为新观测向量后，异常数据的准确定位存在困难;数据集发生变化时，随机森林RF和高斯核SVM均需重新调参、工作量较大。

　　受到成本、电源供给等因素制约，农情传感器大规模应用部署较为困难。实际农业生产中存在稀疏采样的需求，即选取少量代表性站点、较大采样间隔进行数据采集[12]。本研究以单传感器数据异常检测研究为切入点，提出基于数据向量升维的农情异常数据检测方法，探索数据预处理与升维方法、采样间隔对异常检测效果的影响，比较分析不同分类模型之间检测性能的差异，为实现农情数据的高质量感知提供参考。

　　1材料与方法

　　1.1数据来源

　　实验数据来自安徽省合肥市长丰县生态农场，自2018年10月起部署传感器节点不间断监测农场羊圈内环境信息，采样间隔为5min。取2019年6月10日至30日共21d(504h，6048数据点)时间段内空气相对湿度AirRH(airrelativehumidity)、CO2浓度、NH3浓度和H2S浓度观测数据。受农场的生产习性与天气影响，农场养殖大棚内夜间的空气湿度、CO2浓度、NH3浓度以及H2S浓度较高，而午间监测数据均会有不同程度的降低。为系统地评估提出方法的性能，以7d数据为步长，采用2组连续14d数据进行实验，每组数据中前7d数据作为训练集，后7d数据作为测试集进行异常数据检测模型的训练和性能验证。

　　1.2基于向量升维的异常数据检测框架

　　基于向量升维的异常数据实时检测框架。传感器节点负责数据采样并发往服务器。服务器端负责数据接收、执行模型训练与异常检测。模型训练流程如下：取前一周采集数据，按设定比例和偏离幅度向数据集中随机插入异常数据，构建训练向量集并升维，最后训练分类模型以得到异常数据检测模型。下一周数据采集时，应用该模型进行异常数据实时检测。本研究采用的分类模型有线性核、高斯核支持向量机SVM以及随机森林RF[13-15]。

　　下文若未特别说明，默认采用线性核SVM。在异常数据实时检测过程中，服务器端对来自传感器节点的最新数据与历史最近N-1个数据进行标准化，构建实时检测向量并进行升维，最后传入模型中检测异常。如果被判断为正常数据则保存该最新数据，否则进行异常值校正后再保存。当数据采集时长满一周后重新训练模型。异常值校正方法可采用回归模型预测、均值替换法等方法[16]。

　　2结果与分析

　　实验采用Python语言编程，系统配置为IntelCorei5、8GBRAM和Windows10操作系统。主要研究不同窗口大小、常规和稀疏采样场景下不同异常值比例和偏离幅度对模型检测效果的影响，以甄选出最佳窗口大小、分析模型对不同数据集的异常检测敏感度。

　　3讨论与结论

　　异常数据处理是提高农业物联网数据感知质量的重要手段。本研究提出了基于向量升维的农情异常数据实时检测方法，采用畜禽养殖物联网环境数据，综合评估了其异常数据检测性能与特征。实验结果表明，通过将时序农情数据标准化、向量转换与升维操作后，支持向量机、随机森林等分类模型的异常数据检测能力均得到明显提升。由于向量升维处理后的数据线性可分，采用线性核支持向量机能够以低计算耗时获得较优的异常数据检测效果，且避免了高斯核支持向量机等模型训练时需要多次确定超参数、泛化能力的不足的问题。

　　实验发现，异常检测效果与异常值出现频度基本无关，但与数据波动性和采样间隔负相关、与异常值偏离幅度正相关。相同的目标数据集，对于震荡幅度较为平缓的数据，采样间隔为5min时，模型对偏离幅度大于10%的异常数据检测精确度和召回率分别可达100%和98.8%;采样间隔增加到50min的稀疏采样时，模型对偏离幅度大于30%的异常数据检测精确度和召回率达83.2%和90.1%以上。

　　而对于波动性较强的数据，两种采样间隔下，模型对偏离幅度大于30%、60%的异常数据检测精确度和召回率分别为100%和97.8%、98.3%和87.5%。本研究的实验数据与大田、温室大棚等农业生产环境和作物生长数据具有相似的变化特征，故所提出的农情异常数据实时检测方法与结论可直接应用于大田、温室大棚等其他农业生产场景下相关数据的异常值检测以提高数据感知质量，具有较好的实际应用价值。后续将开展异常值校正方法的研究，为进一步提升农情数据的感知质量提供支撑。

　　参考文献：

　　[1]吴华瑞,李庆学,缪祎晟,等.基于正则化与时空约束改进K最近邻算法的农业物联网数据重构[J].农业工程学报,2019,35(14):183-189.

　　[2]李道亮,杨昊.农业物联网技术研究进展与发展趋势分析[J].农业机械学报,2018,49(1):1-20.

　　[3]张芳,王佩欣,何勇,等.基于物联网的阳台微型温室作物生长环境因子探究[J].浙江农业学报,2020,32(2):234-242.

　　[4]YUTQ,WANGXB,SHAMIA.Recursiveprincipalcomponentanalysis-baseddataoutlierdetectionandsensordataaggregationinIoTsystems[J].IEEEInternet ThingsJ,2017,4(6):2207-2216.

　　[5]GAOYB,XIAOF,LIUJX,etal.Distributedsoftfaultdetectionforintervaltype-2fuzzy-model-basedstochasticsystemswithwirelesssensornetworks[J].IEEETransIndInformatics,2019,15(1):334-347.

　　[6]LOC,LYNCHJP,LIUMY.Distributedmodel-basednonlinearsensorfaultdiagnosisinwirelesssensornetworks[J].MechSystSignalProcess,2016,66/67:470-484.

　　作者：赵刚，饶元*，王文，姜敏，江朝晖