农业机械大数据清洗算法研究

摘要

为有效识别和修正农业机械数据异常,提升农业机械大数据平台的应用实效,本文对农业机械数据异常情况进行分析,并提出了基于滑动窗口的在线清洗算法。该算法可以通过窗口数据方差计算,识别异常数据,并生成候选修正数据。通过AR模型、ARX模型迭代计算,得到修正后的数据。为验证本文算法的有效性,对算法进行了试验对比分析,结果表明:本研究算法在大规模数据清洗中具备良好的数据异常识别功能;数据修正效果良好;在数据异常修正方面具有精准性,且在数据异常率越低的情况下,本文算法的数据异常修正精准性越高。