农业物联网数据流异常实时检测处理方法及装置

摘要

本发明提供的一种农业物联网数据流异常实时检测处理方法及装置，在该方法中，首先根据采集数据的特征周期和采集的时间间隔确定滑动窗口的大小，再根据滑动窗口中的历史采集数据预测当前时刻传感器采集的测量值以及预测区间；接着将当前时刻实际采集的实际测量值与预测区间相比，若未落入预测区间内，则说明当前时刻实际采集的数据为异常数据，从而实现对异常数据的检测。此外，本发明提供的方法在判定当前时刻数据为异常数据后，利用得到的预测值来替代异常数据，从而可以实现对异常数据的处理，有效提高采集的数据流的准确性，为设备的自动控制和有效的数据分析提供有力的数据支持。

说明书

技术领域

本发明属于计算机技术领域，特别涉及一种农业物联网数据流异常实时检测处理方法及装置。

背景技术

物联网已广泛应用于畜禽养殖、设施园艺、水产养殖等农业生产中，成为获取数据的重要手段之一。在农业物联网中，感知设备定期测量设备状态和环境参数，其采集的时间序列数据具有无穷性、动态性、时空相关性等特征，并以数据流的形式传输至数据处理系统。但是农业物联网部署的环境比较恶劣，比如畜禽养殖场所粉尘较多，水产养殖物联网主要部署在海水或淡水养殖池中，环境潮湿，网络设备容易损坏；同时，由于农业生产的广阔性，物联网网络覆盖面积广、设备分散，因此在这样的环境中需要通过无线网络来传输数据。

然而由于无线网络中的传感器设备的性能不够稳定，时长会发生数据传输网络故障，从而使得异常数据的产生现象时有发生，导致数据质量下降，无法保证设备的自动控制和有效的数据分析。因此，如何快速、有效地对物联网数据流进行异常数据检测是一个亟待解决的问题。

现有技术中，对于物联网数据流的异常数据检测的方法一般多注重于根据数据流的某一特点进行着重处理。然而这样的方法无法同时兼顾物联网数据流实时性和检测准确性等特点，使得接收到的数据流的准确性以及完整性依然没有得到有效的提升。

发明内容

本发明的一个目的在于，提供一种农业物联网数据流异常实时检测处理方法及装置，用于克服采用现有的异常数据检测方法得到的数据准确性、实时性不够的缺陷。

第一方面，本发明提供了一种农业物联网数据流异常实时检测处理方法，包括：

根据农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q；其中，所述滑动窗口的大小q，用于限定所述滑动窗口内包含的采集的历史数据的个数；

在物联网数据流中采集到的数据向前滑动到下一时刻时，根据所述滑动窗口内的历史数据，获取当前时刻传感器采集的预测值以及预测区间；

在判断获知当前时刻传感器采集的实际测量值未落入所述预测区间内时，则将当前时刻实际测量值分类为异常数据，并将所述预测值作为当前时刻传感器采集的数据；

更新所述滑动窗口；

其中，当物联网数据流中采集到的数据由t_N-1时刻向前滑动到t_N时刻时，根据所述滑动窗口内包含的历史采集数据，获取当前时刻传感器采集的预测值以及预测区间的步骤包括：根据滑动窗口中包含的t_N-q时刻至t_N-1时刻采集的q个历史数据，基于预设的预测模型，获取t_N时刻传感器采集的预测值以及预测区间；

相应的，更新所述滑动窗口的步骤包括：将所述t_N时刻传感器采集的数据添加至滑动窗口中，删除滑动窗口中的t_N-q时刻的采集数据。

可选地，所述根据农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q的步骤包括：

根据农业物联网数据流中采集数据的特征周期T以及相邻两次采集的时间间隔Δt，基于下式获得滑动窗口的大小q：

$>q=\underset{t}{\overset{t+T}{\int }}{\log }_2\sqrt{T/\Delta t}$>

其中，T表示农业物联网中数据流中采集数据的特征周期，Δt表示物联网传感器采集数据的时间间隔。

可选地，所述根据滑动窗口中包含的t_N-q时刻至t_N-1时刻采集的q个历史数据，基于预设的预测模型，获取t_N时刻传感器采集的预测值以及预测区间的步骤包括：

根据滑动窗口中包含的t_N-q时刻至t_N-1时刻采集的q个历史数据，构建非线性支持向量回归模型，获取t_N时刻传感器采集的预测值以及预测区间。

可选地，所述方法还包括：

在判断获知当前时刻采集的实际测量值缺失时，将所述预测值作为当前时刻传感器的采集数据。

可选地，所述方法还包括：

在判断获知当前时刻传感器的实际测量值落入所述预测区间时，将所述实际测量值作为当前时刻传感器的采集数据。

第二方面，本发明提供了一种农业物联网数据流异常实时检测处理装置，包括：

滑动窗口大小获取模块，用于根据农业物联网数据流采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q；其中，所述滑动窗口的大小q，用于限定所述滑动窗口内包含的历史数据个数；

采集数据预测模块，用于在所述滑动窗口向前滑动一时间间隔时，根据所述滑动窗口内的历史数据，获取当前时刻传感器采集的预测值以及预测区间；

采集数据分类与处理模块，用于在获知本时刻传感器的实际测量值未落入所述预测区间内时，将该时刻实际测量值分类为异常数据，并将所述预测值作为当前时刻传感器的采集数据；

窗口更新模块，用于更新所述滑动窗口；

其中，当物联网数据流中采集到的数据由t_N-1时刻向前滑动到t_N时刻时时，所述采集数据预测模块，进一步用于：根据滑动窗口中包含的t_N-q时刻至t_N-1时刻采集的q个历史数据，基于预设的预测模型，获取t_N时刻传感器采集的预测值以及预测区间；

相应的，所述窗口更新模块，进一步用于：将所述t_N时刻传感器采集的数据添加至滑动窗口中，删除滑动窗口中的t_N-q时刻的采集数据。

可选地，所述滑动窗口大小获取模块，进一步用于：

农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔Δt，基于下式获得滑动窗口的大小q：

$>q=\underset{t}{\overset{t+T}{\int }}{\log }_2\sqrt{T/\Delta t}$>

其中，T表示农业物联网中数据流中采集数据的特征周期，Δt表示物联网传感器采集数据的时间间隔。

可选地，所述采集数据预测模块，进一步用于：

根据滑动窗口中包含的t_N-q时刻至t_N-1时刻采集的q个历史数据，构建非线性支持向量回归模型，获取t_N时刻传感器采集的预测值以及预测区间

可选地，所述采集数据分类与处理模块，进一步用于：

在判断获知当前时刻采集的实际测量值缺失时，将所述预测值作为当前时刻传感器的采集数据。

可选地，所述采集数据分类与处理模块，进一步用于：

在判断获知当前时刻传感器的实际测量值落入所述预测区间时，将所述实际测量值作为当前时刻传感器的采集数据。

本发明实施例提供的农业物联网数据流异常实时检测处理方法中，首先根据采集的周期和间隔获得滑动窗口的大小，再根据滑动窗口中的历史采集数据预测当前时刻采集的预测值以及预测区间；接着将当前时刻实际采集的实际测量值与预测区间相比，若未落入预测区间内，则说明当前时刻实际采集的数据为异常数据，从而实现对异常数据的检测。此外，本发明提供的方法在判定当前时刻数据为异常数据后，利用得到的预测值来替代异常数据，从而可以实现对异常数据的处理，有效提高采集的数据流的准确性，为设备的自动控制和有效的数据分析提供有力的数据支持。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些示例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的农业物联网数据流异常实时检测处理方法实施例流程图；

图2是本发明提供的农业物联网数据流异常实时检测处理装置实施例结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一方面，本发明实施例提供了一种农业物联网数据流异常实时检测处理方法，如图1所示，包括：

S1、根据农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q；其中，所述滑动窗口的大小q，用于限定所述滑动窗口内包含的采集的历史数据的个数；

S2、在物联网数据流中采集到的数据向前滑动到下一时刻时，根据所述滑动窗口内的历史数据，获取当前时刻传感器采集的预测值以及预测区间；

S3、在判断获知当前时刻传感器采集的实际测量值未落入所述预测区间内时，则将当前时刻实际测量值分类为异常数据，并将所述预测值作为当前时刻传感器采集的数据；

S4、更新滑动窗口；

其中，当物联网数据流中采集到的数据由t_N-1时刻向前滑动到t_N时刻时：

步骤S2可以包括：根据滑动窗口中包含的t_N-q时刻至t_N-1时刻采集的q个历史数据，基于预设的预测模型，获取t_N时刻传感器采集的预测值以及预测区间；

相应的，步骤S4可以包括：将所述t_N时刻传感器采集的数据添加至滑动窗口中，删除滑动窗口中的t_N-q时刻的采集数据。

本发明实施例提供的农业物联网数据流异常实时检测处理方法中，首先根据采集的周期和间隔获得滑动窗口的大小，再根据滑动窗口中的历史采集数据预测当前时刻采集的预测值以及预测区间；接着将当前时刻实际采集的实际测量值与预测区间相比，若未落入预测区间内，则说明当前时刻实际采集的数据为异常数据，从而实现对异常数据的检测。此外，本发明提供的方法在判定当前时刻数据为异常数据后，利用得到的预测值来替代异常数据，从而可以实现对异常数据的处理，有效提高采集的数据流的准确性，为设备的自动控制和有效的数据分析提供有力的数据支持。

在具体实施时，可以理解的是，步骤S1中的方法可以通过多种方式实现，下面对步骤S1的一种可选的实施方式进行说明。

首先确定滑动窗口的大小q。这里的滑动窗口的大小q，用于限定滑动窗口内包含的历史采集数据的个数。由于农业物联网中采集数据流具有时序性、周期性的特点，因此滑动窗口q的大小取决于农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔，具体可以通过式(1)来求得：

$>q=\underset{t}{\overset{t+T}{\int }}{\log }_2\sqrt{T/\Delta t}---\left(1\right)$>

其中，T表示农业物联网中数据流中采集数据的特征周期，Δt表示物联网传感器采集数据的时间间隔，t为当前的采集时刻。

在经过步骤S1获得了滑动窗口的大小之后，步骤S2的一种可选的实施方式可以包括：当物联网数据流中采集到的数据由t_N-1时刻向前滑动到t_N时刻时，根据滑动窗口中包含的t_N-q时刻至t_N-1时刻采集的q个历史数据，构建非线性支持向量回归模型，获取t_N时刻传感器采集的预测值以及预测区间。

具体来说，利用支持向量回归模型对t时刻的物联网传感器第N次采集的情况进行预估计算，可以通过式(2)来计算第N次采集的预测值：

$>\overline{x_t}=M\left(D^t\right)+R---\left(2\right)$>

其中，表示t时刻的预测值；M(D^t)表示非线性支持向量回归模型；R表示经验风险，用损失函数-e不敏感函数来描述。

对于非线性支持向量回归算法，需要引入核函数，把原始空间的数据映射通过φ映射到高维空间中，其映射关系如式(3)所示：

Ф：x→φ(x)(3)

在高维特征空间中做近似线性回归，其训练集如式(4)所示：

Θ＝{(φ(x₁),y₁)，(φ(x₂),y₂)，...(φ(x_q),y_q)}(4)

回归问题可以描述为：根据给定的训练集Θ，寻找Rⁿ上的某实值函数y＝f(x),以此推断任一模式φ(x)所对应的y值。具体的函数可表示为：

f(x)＝w^T·φ(x)+b(5)

其中，w为法向量；b为截距。

使用近似线性分类的最大间隔模型，得下列目标函数：

$>max\frac{1}{\left|\right|w\left|\right|}$>

s.t.，y_i(w^Tφ(x_i)+b)≥1，i＝1，…，n(6)

将该目标函数转化为凸二次规划问题,即在一定条件下目标最优，损失最小。对凸二次规划问题采用拉格朗日对偶性变换到对偶变量的优化问题，通过求解其对偶问题得到原始问题的最优解，拉格朗日函数为：

在要求约束条件得到满足的情况下，目标函数如下所示：

这里用p^*表示这个问题的最优值，且和最初的问题是等价的。从而转化为该对偶问题的解，也即p^*为t时刻采集的预测值。

在求得了预测值之后，再利用模型残差，计算以预测值为样本均值，置信水平为p的预测区间PI。

具体来说，假定在t时刻采集的实际测量值落入预测区间PI的概率为p(p可以为95％或99％)，且模型残差符合均值为零的高斯分布，因此，预测区间PI上下界可以如式(9)所示：

$>PI=\overline{x_t}\pm t_{\alpha /2,n-1}\times s\sqrt{1+\frac{1}{n}}---\left(9\right)$>

其中，表示t时刻的预测值，t_α/2,n-1表示p的百分位数自由度为n-1的符合学生-t分布概率分布函数，s为n个样本的标准偏差，从而根据式(9)获得预测区间PI。

在经过步骤S2获得预测值以及预测区间后，步骤S3可以根据预测区间对当前时刻采集的实际测量值进行检测，判断其是否为异常数据。

具体来说，在判断获知t时刻采集的实际测量值未落入预测区间PI内时，则认为t时刻采集的实际测量值为异常数据，此时将该实际测量值替换为通过步骤S2得到的t时刻传感器采集的预测值作为当前时刻传感器采集的数据。

在对实际测量值的检测中，除了上述异常数据被检测出来的情况之外，还可能出现两种情况：

在判断获知t时刻采集的实际测量值缺失时，则认为当前时刻采集失败，此时将t时刻传感器采集的预测值作为第N次采集的采集数据。

在判断获知t时刻采集的的实际测量值落入所述预测区间时，则认为当前时刻采集的数据没有检测到异常，因此将所述实际测量值作为t时刻采集的采集数据。

不难理解的是，上述所述的三种情况基本涵盖了当前时刻采集的实际测量值检测可能发生的几种情形，根据上述方法可以对每一次实际采集的数据进行异常检测，在检测到异常时或检测到采集失败时，利用预测值作为当前时刻采集数据，从而能够有效提高采集的数据流的准确性以及完整性，为设备的自动控制和有效的数据分析提供有力的数据支持。

在经过步骤S3的判断之后，步骤S4还需要对滑动窗口进行更新。

具体来说，农业物联网中传感器采集的数据流就是按照一定时间次序组成的无限集合，可用{…,x_t-1,x_t,x_t+1,…}表示；滑动窗口指选取固定数据数量作为数据处理的窗口，用D_t{x_t-q,x_t-q+1,…x_t-1}表示；对当前时刻实际测量值进行异常分类后，窗口向前滑动，增加x_t，删除x_t-q；保持滑动窗口大小固定，终点永远为当前采集对应时刻的上一时刻，从而便于下一次的采集判断。

第二方面，本发明实施例还提供一种农业物联网数据流实时异常实时检测处理装置，如图2所示，包括：

滑动窗口大小获取模块，用于根据农业物联网数据流采集数据的特征周期以及相邻两次采集的时间间隔，获取滑动窗口的大小q；其中，所述滑动窗口的大小q，用于限定所述滑动窗口内包含的历史数据个数；

采集数据预测模块，用于在所述滑动窗口向前滑动一时间间隔时，根据所述滑动窗口内的历史数据，获取当前时刻传感器采集的预测值以及预测区间；

采集数据分类与处理模块，用于在获知本时刻传感器的实际测量值未落入所述预测区间内时，将该时刻实际测量值分类为异常数据，并将所述预测值作为当前时刻传感器的采集数据；

窗口更新模块，用于更新所述滑动窗口；

其中，当物联网数据流中采集到的数据由t_N-1时刻向前滑动到t_N时刻时时，所述采集数据预测模块，进一步用于：根据滑动窗口中包含的t_N-q时刻至t_N-1时刻采集的q个历史数据，基于预设的预测模型，获取t_N时刻传感器采集的预测值以及预测区间；

相应的，所述窗口更新模块，进一步用于：将所述t_N时刻传感器采集的数据添加至滑动窗口中，删除滑动窗口中的t_N-q时刻的采集数据。

在具体实施时，所述滑动窗口大小获取模块，进一步用于：

农业物联网数据流中采集数据的特征周期以及相邻两次采集的时间间隔Δt，基于下式获得滑动窗口的大小q：

$>q=\underset{t}{\overset{t+T}{\int }}{\log }_2\sqrt{T/\Delta t}$>

其中，T表示农业物联网中数据流中采集数据的特征周期，Δt表示物联网传感器采集数据的时间间隔。

在具体实施时，所述采集数据预测模块，进一步用于：

根据滑动窗口中包含的t_N-q时刻至t_N-1时刻采集的q个历史数据，构建非线性支持向量回归模型，获取t_N时刻传感器采集的预测值以及预测区间

在具体实施时，所述采集数据分类与处理模块，进一步用于：

在判断获知当前时刻采集的实际测量值缺失时，将所述预测值作为当前时刻传感器的采集数据。

在具体实施时，所述采集数据分类与处理模块，进一步用于：

在判断获知当前时刻传感器的实际测量值落入所述预测区间时，将所述实际测量值作为当前时刻传感器的采集数据。

由于本实施例所介绍的农业物联网数据流异常实时检测处理装置为可以执行本发明实施例中的农业物联网数据流异常实时检测处理方法的装置，故而基于本发明实施例中所介绍的农业物联网数据流异常检测的方法，本领域所属技术人员能够了解本实施例的农业物联网数据流异常实时检测处理装置的具体实施方式以及其各种变化形式，所以在此对于该农业物联网数据流异常实时检测处理装置如何实现本发明实施例中的农业物联网数据流异常实时检测处理方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中农业物联网数据流异常实时检测处理方法所采用的装置，都属于本申请所欲保护的范围。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。