基于离散化特征能量体系的网络入侵检测方法与装置

摘要

本发明涉及网络流量识别技术领域，具体是基于离散化特征能量体系的网络入侵检测方法与装置，基于离散化特征能量体系的网络入侵检测方法包括如下步骤：采集正常网络流量数据，按照五元组信息划分网络流；网络流特征预处理；使用特征离散模块将特征离散化；构建基于离散化特征能量体系的流量分类器；将待测流量输入到基于离散化特征能量体系的流量分类器，根据阈值确定网络流性质。本发明所公开的基于离散化特征能量体系的网络入侵检测方法与装置，能够在仅使用正常网络流的前提下，有效地将待测试数据归为正常流量或恶意流量。

说明书

技术领域

本发明涉及网络流量识别技术领域，具体是基于离散化特征能量体系的网络入侵检测方法与装置。

背景技术

流量分类是将网络流量按照需求关联到特定类别，已成为网络空间安全治理的一项至关重要的组成部分。例如，在网络管理领域，可以根据不同的优先级对流量进行分类，以保证网络的服务质量。在网络空间安全领域，通常把流量分为正常流量和恶意流量，以达到网络异常检测的目的。近年来，随着加密技术在网络应用中的广泛应用，流量加密已成为当前的主流趋势。特别是许多恶意软件使用TLS等加密技术对通信流量进行加密，以逃避防火墙和网络入侵检测系统的检测。这些实践对传统的流量分类方法提出了新的挑战。

根据网络层的不同，流量加密技术可分为应用层加密、表示层加密和网络层加密。应用层加密是指应用程序在应用层实现自己的安全数据传输协议，也称为常规加密。表示层加密和网络层加密是指应用程序对来自上层的整个数据包进行加密，典型的技术有TLS和IPsec等一些隧道技术，如VPN就是基于这些技术的。这种加密类型也称为协议封装。在某些情况下，通过常规加密的加密流量可以通过协议封装进一步加密。

近年来，基于传统机器学习和深度学习的不同分类器相继被提出。这些基于流的分类器可以达到很高的准确率。但基于机器学习的分类器需要标记恶意流量样本来进行训练。然而，真正的流量标识很难做到，特别是在恶意流量的情况下。此外，基于机器学习的分类器在对特定的数据分布进行训练后，在应用于其他分布稍有不同的数据时，往往效果不佳，具有较低的领域自适应能力。

发明内容

本发明的目的在于提供基于离散化特征能量体系的网络入侵检测方法与装置，以解决上述背景技术中提出的问题。

本发明的技术方案是：基于离散化特征能量体系的网络入侵检测方法，包括以下步骤：

步骤1、采集正常网络流量数据，按照五元组信息划分网络流；

步骤2、网络流特征预处理；

步骤3、使用特征离散模块将特征离散化；

步骤4、构建基于离散化特征能量体系的流量分类器；

步骤5、将待测流量输入到基于离散化特征能量体系的流量分类器，根据阈值确定网络流性质。

优选的，所述步骤1中，采集的正常网络流量由流量采集器使用wireshark工具进行流量抓取，以PCAP形式存在，按照SrcIP、SrcPort、DstIP、DstPort、Protocol五元组信息对原始流量进行划分后保存。

优选的，步骤2中，所述网络流特征预处理包括以下步骤：

步骤2.1、网络流数据输入特征提取工具得到流统计特征向量

步骤2.2、数据包序列大小输入多层感知机网络提取包序列特征，并进行局部特征放大得到特征向量

步骤2.3、网络流预处理后原始字节输入卷积神经网络提取原始字节特征，并进行局部特征放大得到特征向量

步骤2.4、将流统计特征

优选的，步骤2.1中，所述流统计特征提取是使用特征提取工具CICFlowMeter对划分好的网络流进行特征提取，使用XGBoost方法进行特征降维处理，通过由损失函数与正则化惩罚项组成的目标函数将每个特征的取值依次遍历计算，找到最小化目标函数的特征点，从而得到特征元组

步骤2.2中，所述包序列特征提取是使用多层感知机网络对网络流数据包大小序列特征提取后输出特征元组

优选的，步骤2.3中，所述原始字节特征提取是将网络流原始字节输入卷积神经网络后对原始字节提取特征元组

优选的，步骤3中，所述特征离散化是对于每个特征的取值形成一个有序数组，代表其全局分布，

优选的，步骤4中，所述构建基于离散化特征能量体系的流量分类器包括以下步骤：

步骤4.1、建立网络流-能量场体系是仅根据正常流量重构后特征及其取值元组，将每个特征对应于能量场中的粒子，所有特征及其取值共同构成一个能量场；

步骤4.2、特征概率统计模块用于计算每个特征取值在该特征总体取值中的频率，以及多个特征之间组合出现的频率；

步骤4.3、哈密顿能量计算模块用于计算整个网络流的能量从而获得正常样本的能量特性最终确定阈值。

优选的，步骤4.1中，所述构建网络流能量场体系是将正常网络流及其特征元组实例化，设（A1…AN）为特征的N元组，可将流k实例化为（ak1…akN），其中aki∈

步骤4.3中，所述哈密顿能量计算模块是首先计算特征对组合取值的耦合能量，之后计算网络流中每个特征取值的局部能量，

最后计算每个网络流的哈密顿量，由局部能量和耦合能量得到的哈密顿能量代表每个流的总能量，如式（8）所示，所有特征节点的局部能量

优选的，步骤5中，所述待测流检测是由流量分类器监视网络，等待捕获的网络流，当第一个网络流被捕获时，根据式（7）计算网络流的哈密顿能量，比较网络流的能量与预设阈值，能量超过预设阈值则该网络流被归为恶意流，进行截获，否则该流被归为正常流量而通过，流量分类器等待另一个流。

应用于基于离散化特征能量体系的网络入侵检测方法的装置，包括流量分类器和流量采集器。

本发明通过改进在此提供基于离散化特征能量体系的网络入侵检测方法与装置，与现有技术相比，具有如下改进及优点：

本发明所公开的基于离散化特征能量体系的网络入侵检测方法与装置，能够在仅使用正常网络流的前提下，有效地将待测试数据归为正常流量或恶意流量。

附图说明

下面结合附图和实施例对本发明作进一步解释：

图1为本发明的基于离散化特征能量体系的网络入侵检测方法的流程图；

图2为本发明的特征提取与特征融合示意图；

图3为本发明的局部模糊特征放大示意图；

图4为本发明中映射成能量场结构的网络流表示方法；

图5为本发明的离散化特征能量体系框架示意图；

图6为本发明正常与恶意网络流能量分布示意图。

具体实施方式

下面对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明通过改进在此提供基于离散化特征能量体系的网络入侵检测方法与装置，本发明的技术方案是：

如图1-图6所示，基于离散化特征能量体系的网络入侵检测方法，包括以下步骤：

步骤1、采集正常网络流量数据，按照五元组信息划分网络流；采集的正常网络流量由流量采集器使用wireshark工具进行流量抓取，以PCAP形式存在，按照SrcIP、SrcPort、DstIP、DstPort、Protocol五元组信息对原始流量进行划分后保存；

步骤2、网络流特征预处理；所述特征提取与融合是对每个网络流进行不同维度的特征提取并进行融合，包括流统计特征提取与降维、数据包序列特征提取、卷积神经网络原始字节特征提取及线性映射后的局部特征放大阶段；

步骤3、使用特征离散模块将特征离散化；

步骤4、构建基于离散化特征能量体系的流量分类器；

步骤5、将待测流量输入到基于离散化特征能量体系的流量分类器，根据阈值确定网络流性质。

其中，步骤2中，所述网络流特征预处理包括以下步骤：

步骤2.1、网络流数据输入特征提取工具得到流统计特征向量

步骤2.2、数据包序列大小输入多层感知机网络提取包序列特征，并进行局部特征放大得到特征向量

步骤2.3、网络流预处理后原始字节输入卷积神经网络提取原始字节特征，并进行局部特征放大得到特征向量

步骤2.4、将流统计特征

其中，步骤2.1中，所述流统计特征提取是使用特征提取工具CICFlowMeter对划分好的网络流进行特征提取，使用XGBoost方法进行特征降维处理，通过由损失函数与正则化惩罚项组成的目标函数将每个特征的取值依次遍历计算，找到最小化目标函数的特征点，从而得到特征元组

其中，步骤2.2中，使用多层感知机网络隐藏层对网络流数据包大小序列特征提取后在第一个全连接层输出维度为1*16的特征元组

其中，步骤2.3中，将网络流原始字节输入卷积神经网络后对原始字节在卷积层后的第一个全连接层提取维度为

其中，步骤3中，所述特征离散化是对于每个特征的取值形成一个有序数组，代表其全局分布，

其中，步骤4中，所述构建基于离散化特征能量体系的流量分类器包括以下步骤：

步骤4.1、建立网络流与能量场的关系；所述建立能量体系是使用量子力学中能量场概念描述网络流，将单个流由步骤3中离散化后的特征元组

步骤4.2、特征概率与协方差矩阵；

步骤4.3、耦合能量计算；所述耦合能量计算是根据步骤4.2中的特征概率及协方差矩阵计算出来的；

步骤4.4、局部能量计算；所述局部能量

步骤4.5、网络流能量计算；所述计算单个流的能量是步骤4.4与步骤4.3的其特征之间耦合能量与局部能量求和后的负值。如图4为映射成能量场结构的网络流表示方法，其中，ai表示映射到能量场的特征及其取值，能量场中各个粒子（特征及其取值）相互作用，产生多个耦合能量场e（ai,aj）和局部能量场h(ai)，根据粒子大小远近关系的不同，产生的相互作用能量也不同，从而可以表征网络流，集合

步骤4.6、确定阈值；所述确定阈值是根据步骤4.5中计算的网络流能量确定其能量，仅使用数据集中的正常流样本进行训练，计算正常流样本的能量值分布，将正常流样本能量分布的第95%位置样本的能量值作为预设阈值。

步骤5、将待测流量输入到基于离散化特征能量体系的流量分类器，根据阈值确定网络流性质；

步骤5.1、流量分类器监视网络，等待捕获网络流

步骤5.2、通过特征提取与融合模块得到降维后的维度为

步骤5.3、将混合特征元组中每个特征的取值用特征离散化后的区间取值代替；

步骤5.4、计算所捕获网络流

步骤5.5、根据步骤4.2中的单个特征概率与联合特征概率计算耦合能量

步骤5.6、根据步骤4.3中的耦合能量计算特征

步骤5.7、使用上述步骤中变量计算网络流

步骤5.8、比较预设阈值c与待测网络流能量，若

本发明所公开的基于离散化特征能量体系的网络入侵检测方法与装置，能够在仅使用正常网络流的前提下，有效地将待测试数据归为正常流量或恶意流量。

上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。