一种基于稀疏字典的无线传感器网络缺失数据重构方法

摘要

本发明公开了一种基于稀疏字典的无线传感器网络缺失数据重构方法，该方法包括以下步骤：1)根据缺失数据确定需重构的数据帧总数N；在历史数据中，选择M个数据帧作为训练数据，其中M为大于K的整数；2)调用K?SVD算法获得大小为K的字典D；3)对字典D，采用L1范数最小化算法获得每个字典原子di对应的稀疏系数αi；4)根据步骤2)和3)的计算结果重构当前时刻的数据帧；5)判断字典更新条件是否满足，若满足则调用字典更新方法更新字典中的数据；6)完成数据重构。本发明考虑了当前时刻重构数据帧对下个时刻待重构数据帧的影响，设置字典更新条件，自适应对稀疏字典进行更新，使重构数据帧整体更贴近真实数据，重构精度更高。

说明书

技术领域

本发明涉及传感器网络数据处理技术，尤其涉及一种基于稀疏字典的无线传感器网络缺失数据重构方法。

背景技术

随着无线传感器网络(Wireless Sensor Networks,WSNs)在农业、工业、交通、医疗等领域中的广泛应用，WSN作为数据中心的作用也越来越凸显。而这些应用中的传感节点一般部署在暴露的环境中，由于天气状况、节点通信能力、信号强弱、外界故障、人为干扰等原因造成收集到的感知数据往往存在大量的数据缺失或异常，如何重构这些大量缺失的感知数据成为能否进行精准科学研究的关键，构建合理的缺失感知数据重构模型，尤其是大规模缺失感知数据缺失，保证重构精度高、误差小，同时符合传感数据的特点是非常有意义的问题。

无线传感器网络中缺失数据重构主要包括以下方法。基于时间相关的缺失数据估计、基于空间相关性的缺失数据重构、基于插值的缺失数据重构以及基于稀疏理论的缺失数据重构。但在一般处理过程中较少结合感知数据的时空特点，特别是当感知数据大量丢失的情况下，未见有结合传感器网络的时空相关、低秩或稀疏等特点设计大规模丢失数据重构方法的研究，以及很少探讨当前重构数据对下个时刻缺失数据重构的影响。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于稀疏字典的无线传感器网络缺失数据重构方法。

本发明解决其技术问题所采用的技术方案是：一种基于稀疏字典的无线传感器网络缺失数据重构方法，包括以下步骤：

1)根据缺失数据确定需重构的数据帧总数N；在历史数据中，选择M个数据帧作为训练数据，其中M为大于K的整数；

2)调用K-SVD算法获得大小为K的字典D；

3)对字典D，采用L₁范数最小化算法获得每个字典原子d_i对应的稀疏系数α_i；

4)根据步骤2)和3)的计算结果重构当前时刻的数据帧，计算公式为：

y≈Dα＝α₁d₁+α₂d₂+……+α_Kd_K，并将重构的当前时刻的数据帧即最新估计的数据帧加入历史数据中；

5)判断字典更新条件是否满足，若满足则转到(6)，否则转到(7)；判断方法如下：

5.1)设为最新估计的数据帧；α_i为每个字典原子d_i对应的稀疏系数；

5.2)如果最新的数据帧与d_m的相似性小于ε则判定字典更新条件满足，其中d_m为最大稀疏系数α_m对应的数据帧，ε为字典更新条件阈值；

6)调用字典更新方法更新字典中的数据，然后转到步骤2)；更新方法如下：

6.1)计算每个字典原子对应的数据帧的权重w_i＝||d_i||₂；

6.2)根据数据帧的稀疏系数更新数据帧的权重，更新公式为

6.3)根据更新权重后的最小权重w_i对应的下标，获得其对应的数据帧；

6.4)用替换上述数据帧；

6.5)计算所有字典原子的平均权重作为数据帧的权重，完成字典的更新；

7)判断需重构的N个数据帧是否已经完成，若完成则结束，否则转到步骤(2)。

按上述方案，所述步骤2)中历史训练数据采用以下方法获得：从当前时刻按照固定时间间隔回溯依次采集M个数据帧。

按上述方案，所述步骤2)中采用K-SVD算法生成字典D；

(2.1)设置字典大小为K，选择大于K的训练数据集作为初始字典原子；

(2.2)对于训练数据集中的每个数据帧，将D中的第i列单独提出来，循环如下优化过程：

$>\min \left|\right|y-D\alpha |{|}_F^2=\min ||y-\underset{j=1}{\overset{k}{\Sigma }}{d}_j{\alpha }_T^j|{|}_F^2\min \left|\right|(y-\underset{j\ne i}{\Sigma }{d}_j{\alpha }_T^j)-d_i{\alpha }_T^i|{|}_F^2=\min ||E_i-d_i{\alpha }_T^i|{|}_F^2,$>求解E_i的奇异值得到d_i和

其中，表示优化的目标为根据字典D计算出的Dα使得达到最小，y为目标数据帧，为α中与字典第j列d_j对应的第j行，E_i表示没有第i列时的误差；

(2.3)输出最终的字典D。

本发明产生的有益效果是：本发明方法综合利用数据帧之间的具有时间相关性的特点，选择与当前数据帧时间相关性最强的历史数据帧表示当前数据帧。同时，本发明考虑了当前时刻重构数据帧对下个时刻待重构数据帧的影响，设置字典更新条件，自适应对稀疏字典进行更新，以减少后续数据帧的重构误差，使重构数据帧整体更贴近真实数据，重构精度更高。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图。

图2是本发明实施例基于公开数据集不同方法重构误差比较图。

图3是本发明实施例基于公开数据集不同时间间隔感知数据在字典更新前后的重构误差比较图。

图4是本发明实施例中自建实验平台上传感器节点空间部署图。

图5为基于自建实验平台收集数据，不同时间间隔同一方法重构误差比较图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于稀疏字典的无线传感器网络缺失数据重构方法，包括以下步骤：

1)根据缺失数据确定需重构的数据帧总数N；在历史数据中，选择M个数据帧作为训练数据，其中M为大于K的整数；

2)调用K-SVD算法获得大小为K的字典D；

3)对字典D，采用L₁范数最小化算法获得每个字典原子d_i对应的稀疏系数α_i；

4)根据步骤2)和3)的计算结果重构当前时刻的数据帧，计算公式为：

y≈Dα＝α₁d₁+α₂d₂+……+α_Kd_K，并将重构的当前时刻的数据帧即最新估计的数据帧加入历史数据中；

(5)判断字典更新条件是否满足，若满足则转到(6)，否则转到(7)；判断方法如下：

5.1)设为最新估计的数据帧；α_i为每个字典原子d_i对应的稀疏系数；

5.2)如果最新的数据帧与d_m的相似性小于ε则判定字典更新条件满足，其中d_m为最大稀疏系数α_m对应的数据帧，ε为字典更新条件阈值；

6)调用字典更新方法更新字典中的数据，然后转到步骤2)；更新方法如下：

6.1)计算每个字典原子对应的数据帧的权重w_i＝||d_i||₂；

6.2)根据数据帧的稀疏系数更新数据帧的权重，更新公式为

6.3)根据更新权重后的最小权重w_i对应的下标，获得其对应的数据帧；

6.4)用替换上述数据帧；

6.5)计算所有字典原子的平均权重作为数据帧的权重，完成字典的更新；

7)判断需重构的N个数据帧是否已经完成，若完成则结束，否则转到步骤(2)。

本发明使用的初始字典生成方法直接调用了K-SVD算法，其算法步骤主要为：

(1)设置字典大小为K，选择大于K的训练数据集作为初始字典原子；

(2)对于训练数据集中的每个数据帧，循环如下优化过程，将D中的第i列单独提出来，循环如下优化过程：

$>\min \left|\right|y-D\alpha |{|}_F^2=\min ||y-\underset{j=1}{\overset{k}{\Sigma }}{d}_j{\alpha }_T^j|{|}_F^2=\min \left|\right|(y-\underset{j\ne i}{\Sigma }{d}_j{\alpha }_T^j)-d_i{\alpha }_T^i|{|}_F^2=\min ||E_i-d_i{\alpha }_T^i|{|}_F^2,$>求解E_i的奇异值得到d_i和

(3)输出最终的字典。

本发明在具体实施时，计算复杂性主要体现在三个方面，一是初始字典的生成；二是计算与字典原子对应的稀疏系数；三是字典更新时字典原子权重的循环计算；四是若对字典更新好后稀疏系数的重新计算。另外，重构精度受到选取数据帧的时间间隔的影响，时间间隔越大，数据帧之间的差异越大，重构的当前数据帧与字典原子差异也越大，更新字典的作用越大，所以，当需要重构时间间隔较大时的数据帧时，本发明提出的方法的重构精度更高。若数据帧之间的时间间隔不大，本发明的方法对重构精度影响不大。

下面通过仿真实验对本发明进一步说明。

仿真条件：

本发明采用公开数据集和实际实验平台上收集的数据进行仿真实验，计算机硬件配置为Intel(R)Core(TM)i7-4500，CPU主频2.4GHz，内存8GB，操作系统为windows8(64位)，软件平台为Matlab R2010b。

仿真内容：

1、公开数据集仿真

在本研究中，采用了在英特尔伯克利大学实验室真实的监测数据集(IntelBerkeley Research Lab Data)。该数据集是在英特尔伯克利实验室里部署了54个传感器节点在36天内产生的3200万条数据，每一条数据都是传感器节点在每隔大约30秒钟采集到的包括温度、湿度、光照和节点电压的监测值。

仿真结果：

本实验选择时间间隔为30分钟的温度感知数据，分别用离散余弦变换(DCT)、基于K-SVD的方法(K-SVD)以及基于自适应字典更新的K-SVD方法(MK-SVD)产生基函数字典，来重构52个节点(5号和15号节点因原始数据缺失严重未考虑在内)在第89个时刻的感知数据，三种方法重构后的感知数据与原始数据如表1所示。

表1实验结果

其中：采用离散余弦变换(DCT)、K-SVD以及自适应更新的K-SVD三种方法产生字典，在此基础上进行稀疏重构得到所有节点当前时刻的估计值，分别对未来10个时刻的感知数据进行重构，其不同时间间隔、不同算法的重构误差如表2所示。

表2实验结果

基于不同字典产生法，时间间隔为30分钟时的重构误差比较图如图2所示。

在图2中，参数设置为时间间隔为30分钟，训练数据集大小为52*93，字典大小为52*30，更新字典时感知数据向量之间的相似度为0.6，从图中可以看出，基于三种方法得到的重构误差都随着时间间隔的增加而增大，但基于DCT字典得到的重构误差明显大于其他两种方法，基于更新字典得到的重构误差比基于K-SVD字典重构得到的误差略小，本文提出的基于自适应字典更新的方法能有效减少重构误差。

不同时间间隔感知数据在字典更新前后的重构误差如图3所示。

在图3中，实线表示基于未更新字典进行重构的误差，而虚线表示基于更新字典进行重构的误差。从图中可知，训练感知数据之间的时间间隔越大，本文提出的字典更新方法越有效，当使用以5分钟为时间间隔得到的训练数据进行重构时，两种重构方法产生的误差曲线重合。主要原因是时间间隔越大，数据向量之间的相关性越小，通过更新字典，可以将与当前时刻相关性最小的训练数据进行替换，从而减少不相关数据参与重构计算带来的重构误差。反之时间间隔越小，数据之间的相关性越大，字典更新的几率越小。

2、实验数据仿真

在自建实验平台上，在某大学逸夫教学大楼四层A、B、C座部署了29个温湿度传感器节点，并根据测试对象的不同，本实验对传感器节点的空间相对位置作了不同的调整。在监测区域一共部署了29个温湿度传感器节点，一个汇聚节点，本次测试所用的无线模块为QAZ系列ZIGBEE无线模块，它基于TI公司CC2530F256芯片，内部运行Zigbee2007/PRO协议栈，主要实现无线数据传输，每个节点都能随时收发数据，使用的温湿度传感器为MORT-C型号的传感器。汇聚节点通过串口与电脑连接，给每个温湿度传感节点分配网络IP地址，模块数据传输方式有多点透传和点对点传输两种，本研究采用点对点的数据传输方式，节点的信道设置为0B，功率设置为2.405GHz，串口波特率设置为38400bps。传感器节点和汇聚节点都统一安装在固定高度的位置，且静止不动，两者之间存在以建筑物外墙为主的障碍物。节点的部署平面图如图4所示。主节点每间隔5分钟发送数据采集命令，传感器节点接收到该命令，采集当前数据并返回到主节点，主节点接收来自温湿度传感器节点采集到的温湿度数据，以及本次通信时的信号强度数据，通过前端应用程序将接收到的数据进行解析并存储在数据库中。以29个节点从2015年1月12号到2015年1月13日共约35个小时期间采集的171帧温度数据为实验数据，基于稀疏字典学习和字典自适应更新的重构方法在不同时间间隔情况下的重构误差如表3所示。

仿真结果：

表3实验结果

在构建字典时，以29个数据帧作为构成字典基本元素的训练集，字典大小设置为20，分别以142、57、28、14个数据帧作为测试集来重构未来10个时刻的数据帧，在更新字典时，数据帧之间的相关性设置为0.95。重构误差比较曲线如图5所示。

在图5中，实线曲线和虚线曲线分别表示了字典自适应更新前后的误差比较，横坐标表示待重构的未来10个时刻，纵坐标表示重构误差。从图中可看出，重构的数据帧离字典最后一个数据帧时间越久，误差越大，且字典更新对误差的影响越大，即数据帧之间的相关性越小，采用本论文讨论的更新算法对字典更新，用更新后的字典重构数据帧减少了不相关数据帧对重构结果的影响。

本发明将部署在监控区域的所有传感节点在某个时刻收集到的感知数据构建成一个数据帧向量，集于数据帧之间的时间相关性，提出了基于自适应更新的稀疏字典的缺失数据重构方法。从实验结果来看，基于自适应字典更新的重构方法与其他几个方法比较，尽管有复杂性稍高，效率较低的缺点，但对于数据帧之间有较大时间间隔的情况具有较小的重构误差。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。