存在数据错误和缺失的无线传感器网络收集数据重建方法

摘要

一种存在数据错误和缺失的无线传感器网络收集数据重建方法，根据监测区域内传感器节点收集的环境数据，构建采样矩阵；利用采样矩阵重建环境数据矩阵，将环境数据的重建问题建模为基于弹性网正则化的结构化噪声矩阵补全模型；利用交替迭代优化方法，并设计基于算子分裂技术的数据恢复算法求解基于弹性网正则化的结构化噪声矩阵补全模型，进而重建环境数据矩阵。本发明基于环境数据矩阵的低秩特性，将不完整数据的重建问题建模为一类弹性网正则化的结构化噪声矩阵补全模型，同时设计了基于算子分裂技术的数据恢复算法，实现对缺失数据有效恢复，能准确判断收集到错误数据的传感器节点。本发明的性能优于现有算法，能以较高的精度重建环境数据。

说明书

技术领域

本发明属于数据恢复领域，具体涉及一种存在数据错误和缺失的无线传感器网络收集数据重建方法。

背景技术

无线传感器网络在环境监测、生物行为监测、智能交通系统、基础设施保护和军事监控等领域都有着巨大的应用价值。数据收集是将传感器采集到的数据收集到基站的过程，它在无线传感器网络众多应用中占据非常重要的地位。在气象、海洋、森林、土壤成分、农作物生长和生物习性监测与研究中，通常需要利用无线传感器网络收集的感知数据重建物理世界模型，并以此作为科学研究的依据。相关研究和决策的准确性很大程度上依赖于重构模型的精确程度。

由于传感器节点和链路固有特性以及无线传感器网络所处的特殊环境，数据收集过程中通常会出现数据丢失和数据错误。造成数据丢失和错误的原因众多，例如，无线信道的不稳定、信道间相互干扰、网络拥塞、节点损坏或意外失效等因素都会造成数据丢失；另外为了节省能量而采用的duty-cycle技术也是造成数据丢失的重要原因。而数据采集过程中受到量化、信道错误、节点故障、接收器或基站错误、节点部署区域的不确定性、外界干扰等系列因素的影响，部分传感器节点采集到的数据有可能与实际环境数据产生明显偏差，造成这部分传感器节点采集的数据发生错误。收集过程中的数据丢失和数据错误给准确重建物理世界带来了巨大的挑战。因此，需要设计有效的途径能从存在错误数据元素的不完整数据集中恢复缺失的数据，以便重建物理世界。

目前，对于无线传感器网络中缺失数据的恢复问题，已有很多重构算法被提出。传统算法通常利用收集数据的时空相关性来恢复数据，例如各类插值算法等。这类算法能够应对特定应用场景下的数据恢复问题，并在数据丢失率较低的情况下效果较好。但当数据丢失率较高时，数据恢复性能则急剧下降。现有的算法往往仅考虑缺失数据的恢复问题，对于无线传感器网络收集数据的错误问题，数据错误对缺失数据恢复精度的影响，以及数据缺失对于错误数据检测性能的影响，均没有考虑。

发明内容

本发明针对现有技术中的不足，提供一种存在数据错误和缺失的无线传感器网络收集数据重建方法。

为实现上述目的，本发明采用以下技术方案：

存在数据错误和缺失的无线传感器网络收集数据重建方法，其特征在于，包括：

步骤1：根据监测区域内传感器节点收集的环境数据，构建采样矩阵；

步骤2：利用采样矩阵重建环境数据矩阵，将环境数据的重建问题建模为基于弹性网正则化的结构化噪声矩阵补全模型；

步骤3：利用交替迭代优化方法，并设计基于算子分裂技术的数据恢复算法求解基于弹性网正则化的结构化噪声矩阵补全模型，进而重建环境数据矩阵。

为优化上述技术方案，采取的具体措施还包括：

进一步地，所述步骤1中，构建采样矩阵的过程具体如下：

监测区域内部署有N个传感器节点υ

X＝(X(i，j))

其中，X(i，j)，i＝1，2，…N，j＝1，2，...T表示第i个传感器节点在第j个时隙感知的环境数据；

将Sink节点实际收集到的数据矩阵称为采样矩阵R，采样矩阵为包含错误数据的不完整矩阵，采样矩阵中的元素R(i，j)为收集到的原始环境数据、收集到的错误数据和缺失元素三种情况之一，R(i，j)表示为：

其中，Ω

E(i，j)＝X(i，j)+Z(i，j) (3)

其中，Z(i，j)为噪声值；

令Ω为采样矩阵R中非空元素的下标索引集且

P

其中，Z＝(Z(i，j))

进一步地，所述步骤2中，基于弹性网正则化的结构化噪声矩阵补全模型如下：

其中，R为Sink节点收集到的采样矩阵，X为待优化的目标矩阵，Z为结构化噪声矩阵，||Z||

进一步地，所述步骤3中，求解基于弹性网正则化的结构化噪声矩阵补全模型的过程具体如下：

首先将式(5)松弛为如下罚函数形式：

其中，μ为罚函数的可调参数；

令：

将式(6)按照如下形式求解：

其中，X

采用交替迭代法对其进行求解，将优化问题转换为迭代求解如下两个子问题：

子问题1：

子问题2：

其中，X

进一步地，所述子问题1的求解方式如下：

将式(7)代入子问题1后，得：

令F

其中，prox表示近邻算子，δ

令U

按如下方法估算参数δ

其中，X

令Lipschitz常数

为此，子问题1按下式迭代求解：

进一步地，所述子问题2的求解方式如下：

将式(7)代入子问题2后，得：

依据PFBS定理，得：

依如下方法估算δ

令Lipschitz常数L

式(17)中令W

根据定理对任意τ，μ＞0，

(Z

其中，(Z

因此，子问题2的迭代求解方法如下式：

本发明的有益效果是：

(1)将存在数据错误和缺失的无线传感器网络收集数据重建问题建模为一类基于弹性网正则化的结构化噪声矩阵补全模型，该模型不仅利用环境数据矩阵固有的近似低秩特性来恢复缺失数据，而且通过采用矩阵L2，1范数建模错误数据来识别收集到错误数据的传感器节点，模型还引入弹性网正则化项以期能更好地逼近目标矩阵的低秩性和增强目标矩阵解的稳定性；

(2)基于交替迭代优化方法，引入算子分裂技术设计一种有效的数据恢复算法迭代求解该模型；

(3)真实数据集上的实验结果表明，该方法不仅能以较高的精度重建环境数据，而且能精确地辨识出收集到错误数据的传感器节点，并以恢复的数据行替代收集到错误数据的传感器节点所采集的数据，从而进一步提升数据重建精度。

附图说明

图1a-1c是恢复数据矩阵的直观对比图；图1a表示原始数据矩阵，图1b表示联合矩阵补全和稀疏限定的数据恢复方法(DRMCSC：Data Recovery method with joint MatrixCompletion and Sparsity Constraints)恢复的数据矩阵，图1c表示本发明所采用的基于算子分裂技术的数据恢复算法(DRvOST：Data Recovery Algorithm via OperatorSplitting Technique)恢复的数据矩阵。

图2a-2b是不同数据丢失率下的缺失元素恢复误差示意图；图2a表示数据丢失率10％到80％，图2b表示数据丢失率80％到95％。

图3是不同传感器节点错误率下的缺失元素恢复误差示意图。

图4是DRvOST算法对收集到错误数据传感器节点识别性能示意图。

图5是不同传感器节点错误率下的含错数据行整体恢复误差示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

本发明提出了一种存在数据错误和缺失的无线传感器网络收集数据重建方法，在本实施例中，首先对该方法所涉及的基本定义和相关定理进行说明，然后从系统模型、问题描述和算法设计这三个方面对方法进行进一步阐述，最后通过仿真实验来验证本发明的有效性。

一、数学预备知识

1.1基本定义

假设矩阵

(1)矩阵X的Frobenius范数定义为：

(2)矩阵X的核范数定义为：

(3)矩阵X的L2，1范数定义为：

(4)矩阵X的奇异值阈值算子定义为：D

1.2相关定理

定理1对任意τ，μ＞0，

证明详见文献“CAI JF，CANDES EJ，SHEN Z.A singular value thresholdingalgorithm for matrix completion[J].SIAM Journal of Optimization，2010，20(4)：1956-1982.”。

定理2近邻前向后向分裂(PFBS，proximal forward backward splitting)，假设F

证明详见文献“COMBETTES P L and WAJS V R.Signal recovery by proximalforward-backward splitting[J].Multiscale Modeling and Simulation，2005，4(4)：1168-1200.”。

定理3对任意τ，μ＞0，

证明详见文献“陈蕾，杨庚，陈正宇，等.基于结构化噪声矩阵补全的Web服务QoS预测[J].通信学报，2015，36(6)：49-59.”。

二、系统模型与问题描述

2.1系统模型

针对无线传感器网络数据收集应用场景，将大量传感器节点部署于监测区域，如室内、田野、森林和海洋等，在不同场景中感知并收集环境数据到Sink节点。这些环境数据所构成的数据集能反映网络所处环境的物理特征，并能应用到科学研究中。假设监测区域内部署有N个传感器节点υ

X＝(X(i，j))

其中，X(i，j)，i＝1，2，...N，j＝1，2，...T表示第i个传感器节点，在第j个时隙感知的某一类环境数据。

将Sink节点实际收集到的数据矩阵称为采样矩阵，用R表示。由于数据缺失和错误问题的存在，采样矩阵为一个包含错误数据的不完整矩阵。采样矩阵中的元素R(i，j)可能有三种情况，即收集到的原始环境数据、收集到的错误数据和缺失元素。R(i，j)可以表示为：

其中，Ω

E(i，j)＝X(i，j)+Z(i，j) (3)

其中，Z(i，j)为噪声值。

假设Ω为采样矩阵R中非空元素的下标索引集且

P

其中，Z＝(Z(i，j))

2.2问题描述

数据恢复就是利用Sink节点收集到的采样矩阵R来重建环境数据矩阵X。利用环境数据矩阵的近似低秩特性，将环境数据重建问题建模为一类弹性网正则化的结构化噪声矩阵补全模型。引入弹性网正则化项，对目标函数施加相应的弹性网正则化约束，一方面能组合目标矩阵X中的高度相关变量，有利于克服数据强相关所导致的解不稳定性；另一方面由于弹性网正则化项中的Frobenius范数等同于其奇异值向量的L2范数，因此有利于目标矩阵奇异值收缩，从而更好地逼近原始矩阵的真实秩。另外，为了有效地平滑行结构化噪声，并尽可能降低其对数据恢复所带来的不利影响，进一步引入行结构化噪声矩阵的L2，1范数正则化项到标准矩阵补全问题中，从而将含有错误数据元素条件下的无线传感器网络缺失数据恢复问题建模为基于弹性网正则化的结构化噪声矩阵补全模型，即：

其中，R为Sink节点收集到的采样矩阵，X为待优化的目标矩阵，Z为结构化噪声矩阵，||Z||

三、算法设计

本发明利用交替迭代优化方法，并设计基于算子分裂技术的数据恢复算法求解上述基于弹性网正则化的结构化噪声矩阵补全模型。首先，将式(5)松弛为如下罚函数形式：

其中，μ为罚函数的可调参数。

为便于描述，不妨令：

则问题(6)可按如下形式求解：

其中，带*的变量表示该优化问题的最优解，X

由于上述问题不存在解析解，因此可以采用交替迭代法对其进行求解。从而将上述优化问题转换为迭代求解如下2个子问题：

子问题(1)：

子问题(2)：

其中，上标k代表迭代次数。

下面将详细阐述上述2个子问题的求解方案。

I.子问题(1)求解

将式(7)代入子问题(1)后，得：

令F

其中，prox表示近邻算子，δ

令U

进一步，可按如下方法估算参数δ

其中，X

可令Lipschitz常数

为此，子问题(1)可按下式迭代求解：

II.子问题(2)求解

参照子问题(1)的分析方法，可得：

依据定理2，同理可知

类似地，可依如下方法估算δ

可令Lipschitz常数L

式(17)中令W

根据定理3可得

(Z

其中，(Z

将求解子问题(1)和子问题(2)的步骤归纳起来，可以整理得到基于弹性网正则化的结构化噪声矩阵补全模型的迭代求解算法，即基于算子分裂技术的数据恢复算法(DRvOST)，详细步骤如算法1所示。

算法1基于算子分裂技术的数据恢复算法(DRvOST)

输入：采样矩阵P

输出：恢复的数据矩阵X

1)初始化X

2)FOR k＝0 TO Max

3)U

4)

5)W

6)FOR i＝1 TO N

7)(Z

8)END FOR

9)END FOR

10)RETURN X

利用恢复的X

四，仿真实验

4.1实验条件

采用Intel室内项目的真实数据进行算法验证。Intel室内项目在室内部署54个传感器节点，每隔31秒测量一次环境参数，包括温度、湿度、光强和电压等。本实施例采用温度数据作为实验数据，收集52个传感器节点在连续300个时隙中采集的数据作为原始环境数据X

本实施例利用原始环境数据X

再依据设置的传感器节点错误率p

其中，Ω

4.2性能参数的定义

为了衡量算法性能，本实施例给出一些性能参数的定义。

(1)缺失元素恢复误差ε

其中，X

(2)收集到错误数据传感器节点识别率r

其中，precision＝m_true/m_all，recal1＝m_true/m，式中，m_all表示依据算法判断出的收集到错误数据的传感器节点数，m_true表示算法正确识别出的收集到错误数据的传感器节点数，m为实际的收集到错误数据的传感器节点数目。

(3)含错数据行整体恢复误差ε

其中，Θ表示含有错误数据的行的集合。

4.3仿真结果和分析

本实施例将DRvOST算法与空时压缩数据收集方法(STCDG：Spatial TemporalCompressive Data Gathering)和DRMCSC进行对比分析。首先从直观上展示DRvOST算法相比于其他算法的优越性。图1a-1c给出了传感器节点错误率p

图2a-2b给出了在相同传感器节点错误率、不同数据丢失率的情况下，三种算法的恢复性能。设置传感器节点错误率p

图3给出相同数据丢失率，不同传感器节点错误率的情况下，算法的性能对比。设置数据丢失率p

由于算法STCDG和DRMCSC只具有恢复缺失数据的功能，而不能辨别含有错误数据的传感器节点，本发明主要分析DRvOST算法的识别性能。图4展示了在不同数据丢失率和传感器节点错误率条件下，对错误节点的识别性能。图4中，分别设置了三种不同的数据丢失率，传感器节点错误率从10％递增到90％。当传感器节点错误率比较低的情况下，DRvOST算法能100％识别收集到错误数据的传感器节点。即使当传感器节点错误率达到60％时，识别率依然接近100％。随着传感器节点错误率的继续增加，识别率略有下降。另外，在相同的传感器节点错误率情况下，随着数据丢失率增加，识别性能略有下降。然而，即使数据丢失率达到60％且传感器节点错误率也达到60％，识别率仍接近95％。这些都说明，DRvOST具有较强的错误传感器节点识别能力。在识别出收集到错误数据的传感器节点后，可将重建环境矩阵中含错误数据的行用恢复的数据矩阵x

综上所述，针对无线传感器网络数据收集过程中普遍存在的数据丢失和数据错误等问题，本发明提出一种收集数据重建方法。该方法利用环境数据矩阵低秩特性，将收集数据重建问题建模为基于弹性网正则化的结构化噪声矩阵补全模型，并设计基于算子分裂技术的数据恢复算法。相比于在先的研究，本发明引入弹性网正则化项，对目标函数施加相应的弹性网正则化约束，一方面能组合目标矩阵中的高度相关变量，有利于克服数据强相关所导致的解不稳定性；另一方面由于弹性网正则化项中的Frobenius范数等同于其奇异值向量的L2范数，因此有利于目标矩阵奇异值收缩，从而更好地逼近原始矩阵的真实秩。实验结果表明，该方法可以显著提高缺失数据元素的恢复精度，还能准确识别收集到错误数据的传感器节点，再将收集到错误数据的传感器节点所收集的数据用恢复数据矩阵中对应的数据来替代，从而能进一步提升数据重建精度。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。