一种基于特征选择的传感网络异常检测方法和装置

摘要

本发明公开了一种基于特征选择的传感网络异常检测方法，该方法包括：将收集的特征属性根据基于相关系数的准则进行排序；根据基于相关系数的特征选择计算结果进行代表性特征属性集的选取；通过交叉验证证明所选的代表性特征属性集的可靠性，所述代表性特征属性集用于代表系统的运行状态。基于特征选择的异常检测不仅有简单、高效、易于实现的特性；还可以作为一个可融合组件与其他传感网络诊断工具进行整合。本发明还公开了一种基于特征选择的传感网络异常检测装置。

说明书

技术领域

本发明涉及传感网络诊断技术领域，尤其涉及一种基于特征选择的传感网 络异常检测方法和装置。

背景技术

传感网络是大量静止或移动的传感器以自组织和多跳的方式构成的无线网 络，其目的是协作的感知、采集、处理和传输网络覆盖地理区域内感知对象的 监测信息，并报告给用户。这种技术的显著优点是可以低成本的感知、监控各 种复杂环境。传感网络具有相当广泛的应用前景，并已经在环境监控、建筑物 安全监控、物流、军事战场、森林生态监测等多个领域中获得了广泛的应用。

传感网络的主要组成部分包括传感器节点（Sensor Node）和基站节点（Sink  Node）。通常，传感器节点通过无线多跳自组织形式形成通信网络，将所采集的 数据传回基站。每一个传感器节点由数据采集模块(传感器、A/D转换器)、数据 处理和控制模块(微处理器、存储器)、通信模块(无线收发器)和供电模块(电池、 DC/AC能量转换器)等组成。

网络管理和异常检测是决定无线传感器网络能否可靠运行的关键问题。目 前，多数的异常和错误检测都依赖于无线传感器网络数据的收集，从数据包分 析得出异常方法的原因。而这些异常检测方法主要包括通过决策树定位错误的 发生，被动的利用观测到的数据进行模型的推理等。无论是主动的收集还是被 动的监测都需要收集信息，而网络中的大量冗余信息的存在使得这些检测系统 检测异常时的代价相对较高，我们通过特征选择的方法使得网络的冗余信息大 量减少，使得选择后的数据集可以代表目前网络的运行状态，并确定选择后的 代表性属性特征集的变化可以反映网络异常的产生情况。

发明内容

本发明的目的在于提出一种基于特征选择的传感网络异常检测方法和装 置，可以大大减少异常检测的开销，同时可以和传统传感网络诊断工具很好的 融合。

为达此目的，本发明采用以下技术方案：

一种基于特征选择的传感网络异常检测方法，该方法包括：

将收集的特征属性根据基于相关系数的准则进行排序；

根据基于相关系数的特征选择计算结果进行代表性特征属性集的选取；

通过交叉验证证明所选的代表性特征属性集的可靠性，所述代表性特征属 性集用于代表系统的运行状态。

所述将收集到的特征属性根据基于相关系数的准则进行排序进一步包括：

对收集的特征属性的属性值进行负值去除的预处理；

利用预处理后的属性值计算不同特征属性之间的相关系数；

根据相关系数以及预设的排序准则，对特征属性进行排序。

不同特征属性之间的相关系数

其中，f_i和f_j分别表示两个特征属性，cov表示协方差，var表示标准差。

所述根据基于相关系数的特征选择计算结果进行代表性特征属性集的选取 进一步包括：

取排序后的前k个特征属性作为初始特征属性集，计算所述初始特征属性 集与其余特征属性之间的相关系数，以及这k个特征属性之间的相关系数；

计算所述特征属性集内的每个特征属性与所述特征属性集之间的相关系 数，根据结果对每个特征属性予以删除或添加。

所述计算特征属性集内的每个特征属性与所述特征属性集之间的相关系数 的计算公式为：$R(f_k,F)=\frac{{\mathrm{kr}}_{\mathrm{kf}}}{\sqrt{k+k(k-1)r_{\mathrm{kk}}}};$

其中，表示特征属性与所述特征属性集之间的平均相关系数； 表示不同特征属性之间的平均相关系数；F表示当前选定的特征 属性集。

一种基于特征选择的传感网络异常检测装置，包括：

排序模块，用于将收集的特征属性根据基于相关系数的准则进行排序；

选取模块，用于根据基于相关系数的特征选择计算结果进行代表性特征属 性集的选取；

验证模块，用于通过交叉验证证明所选的代表性特征属性集的可靠性。

所述排序模块进一步包括：

预处理子模块，用于对收集的特征属性的属性值进行负值去除的预处理；

第一运算子模块，用于利用预处理后的属性值计算不同特征属性之间的相 关系数；

排序子模块，用于根据相关系数以及预设的排序准则，对特征属性进行排 序。

所述选取模块进一步包括：

第二运算子模块，用于取排序后的前k个特征属性作为初始特征属性集， 计算所述初始特征属性集与其余特征属性之间的相关系数，以及这k个特征属 性之间的相关系数；

特征选择子模块，用于计算所述特征属性集内的每个特征属性与所述特征 属性集之间的相关系数，根据结果对每个特征属性予以删除或添加。

采用本发明的技术方案，实现了传感网络中的数据异常检测，具有高效的 异常检测能力；提供了特征属性子集选择机制，保证了异常检测的正确性；基 于特征选择的异常检测不仅有简单、高效、易于实现的特性；还可以作为一个 可融合组件与其他传感网络诊断工具进行整合。

附图说明

图1是本发明实施例提供的基于特征选择的传感网络异常检测方法的流程 图。

图2是本发明实施例中不同特征属性间相关系数的计算方式示意图。

图3是本发明实施例提供的基于特征选择的传感网络异常检测装置的结构 示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

如图1所示，本发明实施例提供的基于特征选择的传感网络异常检测方法 包括：

S101，将收集的特征属性根据基于相关系数的准则进行排序。

对收集到的特征属性是指传感网络通过每一个传感器反馈回的所有状态参 数，每一个参数就对应一个特征属性，图1中所示源数据即为这些特征属性。 特别的，对于部分特征属性的描述如下表所示：

收集到上述特征属性后，对属性值进行预处理，所述预处理包括负值去除 或非负值保留。

利用预处理后的属性值计算不同特征属性之间的相关系数。不同特征属性 间相关系数的计算方式如图2所示。不同特征属性之间的相关系数

$\rho (f_i,f_j)=\frac{\mathrm{cov}(f_i,f_j)}{\sqrt{\mathrm{var}\left(f_i\right)\mathrm{var}\left(f_j\right)}}.$

由于ρ(f_i,f_j)=ρ(f_j,f_i),因此该特征属性间组成的属性集矩阵是三角矩阵。

其中，f_i和f_j分别表示两个特征属性，cov表示协方差，var表示标准差； 表示特征属性与所述特征属性集之间的平均相关系数；表示不同特征属性之间的平均相关系数；F表示当前选定的特征属性集。

对于一个值为x_i的特征属性f_i和一个值为y_j的特征属性f_j,相关系数的估计 为:$\rho (f_i,f_j)=\frac{{\Sigma }_i(x_i-\bar{x})(y_i-\bar{y})}{{\Sigma }_i{(x_i-\bar{x})}^2{\Sigma }_j{(y_i-\bar{y})}^2}.$

用户可以根据自己的系统设置选取对于高相关性的定义。例如，可以选取 0.95为完全相关属性值的阈值，如果两个属性值存在这样的相关性，则可以认 为是冗余的信息；而相关性在[0.75,0.95]之间的值则可以认为相关系数相对较 高，但是这时的数据是否冗余仍需进一步判断。

根据相关系数以及预设的排序准则，对特征属性进行排序。

排序准则包括2条：

1）对于特征属性f_i，包括高相关系数多的特征属性排序更前

2）如果有两个或两个以上的特征属性具有相同的高相关系数值，哪个特征 属性的平均相关系数大，则排序更前。

S102，根据基于相关系数的特征选择计算结果进行代表性特征属性集的选 取。

根据上述排序准则排序后的前k个特征属性，作为初始的特征属性集。这 时可以计算该特征属性集和其余特征属性间的相关系数，包括这k个特征属性 之间的相关系数。

一组属性相关，是指其相关系数随着特征属性和包含k个特征属性的属性 集之间的相关系数的增加而增加，随着与包含k个特征属性的属性集之间的相 关系数的降低而降低。

计算所述特征属性集内的每个特征属性与所述特征属性集之间的相关系 数，根据结果对每个特征属性予以删除或保留。

定义特征属性与所述特征属性集（选取的能代表系统运行状态的特征属性 集）之间的平均相关系数为不同特征属性之间的平均相关系数为 则衡量特征属性组之间相关性的相关系数的计算为：

$R(f_k,F)=\frac{{\mathrm{kr}}_{\mathrm{kf}}}{\sqrt{k+k(k-1)r_{\mathrm{kk}}}}.$

基于相关系数的特征选择方法是，根据上式将特征属性组（单个特征属性 也可作为一个特征属性组）与特征属性集进行相关系数的计算，如果相关系数 大于或等于用户设定的阀值δ，则删除该特征属性，如果相关系数小于用户设定 的阀值δ，则添加该特征属性；相关系数极低，低于用户设定的阀值ε的特征属 性组（单个特征属性也可作为一个特征属性组），因为与该特征属性组不具有相 关性而被忽略。

另外，此时也可以利用最佳优先搜索策略来进行该步骤的特征属性查找， 来保证特征属性子集的选定。这里，最佳优先搜索策略，是一种启发式搜索策 略,试图预测最接近最佳路径的解决方案,这个特定的搜索类型被称为贪婪的最 佳优先搜索。

S103，通过交叉验证证明所选的代表性特征属性集的可靠性。

对于选定的特征属性子集进行留一法交叉验证leave-one-out，该交叉验证是 指只使用特征属性集中的一项特征属性作为验证材料，而剩余的特征属性则留 下作为训练材料。这个步骤一直持续到每个特征属性都被作为一次验证材料为 止。等同于使用k-折交叉验证。

通过所述留一法交叉验证，确定输出的代表性特征属性子集是否满足S101 中所述排序规则。所述代表性特征属性集用于代表系统的运行状态。

多数传感网络络诊断工具进行网络诊断的过程中，存在诊断数据收集过程， 本发明实施例中的代表性特征属性子集选择可以整合在其他诊断工具的诊断数 据收集阶段，作为一个可融合的组件减少诊断信息的收集，降低网络开销。

相应的，本发明实施例提供了一种基于特征选择的传感网络异常检测装置。 如图3所示，该装置包括：排序模块、选取模块和验证模块。其中：

排序模块，用于将收集的特征属性根据基于相关系数的准则进行排序；

选取模块，用于根据基于相关系数的特征选择计算结果进行代表性特征属 性集的选取；

验证模块，用于通过交叉验证证明所选的代表性特征属性集的可靠性。

所述排序模块中进一步包括：预处理子模块、第一运算子模块和排序子模 块。其中：

预处理子模块，用于对收集的特征属性的属性值进行负值去除的预处理；

第一运算子模块，与预处理子模块连接，用于利用预处理后的属性值计算 不同特征属性之间的相关系数；

排序子模块，与第一运算子模块连接，用于根据相关系数以及预设的排序 准则，对特征属性进行排序。

所述选取模块进一步包括：第二运算子模块和特征选择子模块。其中：

第二运算子模块，与排序子模块连接，用于取排序后的前k个特征属性作 为初始特征属性集，计算所述初始特征属性集与其余特征属性之间的相关系数， 以及这k个特征属性之间的相关系数；

特征选择子模块，与第二运算子模块和验证模块连接，用于计算所述特征 属性集内的每个特征属性与所述特征属性集之间的相关系数，根据结果对每个 特征属性予以删除或添加。

所述第一运算模块和第二运算模块，计算不同特征属性之间的相关系数

$\rho (f_i,f_j)=\frac{\mathrm{cov}(f_i,f_j)}{\sqrt{\mathrm{var}\left(f_i\right)\mathrm{var}\left(f_j\right)}};$

其中，f_i和f_j分别表示两个特征属性，cov表示协方差，var表示标准差。

所述特征选择模块，计算特征属性集内的每个特征属性与所述特征属性集 之间的相关系数的计算公式为：

其中，表示特征属性与所述特征属性集之间的平均相关系数； 表示不同特征属性之间的平均相关系数；F表示当前选定的特征 属性集。

采用本发明的技术方案，实现了传感网络中的数据异常检测，具有高效的 异常检测能力；提供了特征属性子集选择机制，保证了异常检测的正确性；基 于特征选择的异常检测不仅有简单、高效、易于实现的特性；还可以作为一个 可融合组件与其他传感网络络诊断工具进行整合。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局 限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变 化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该 以权利要求的保护范围为准。