基于异常度量的宏观网络安全状态评估方法

摘要

一种基于异常度量的宏观网络安全状态评估方法，包括：定义建模参数与评分标准；采集样本数据，提取用于描述网络安全状态的指标变量；根据从样本数据中提取的指标变量，提取能反映网络运行状态的规律性因素，过滤偶然性因素，建立网络正常运行状态模型；采集待检测数据，计算待检测数据与正常模型间的异常程度；根据已定义的评分标准，按照每种指标变量的异常程度计算该指标的标准化评分，按照指标变量的重要程度给出网络整体状态的标准化评分。本发明方法能根据不同网络环境下各指标变量关注度不同，调整各指标变量的建模参数与评分标准，描述当前网络中重要指标变量的当前状态以及网络的整体综合状态，具有实时、准确、定量、可配置等优点。

说明书

技术领域

本发明涉及信息安全领域，具体涉及一种基于异常度量的应用于宏观网络的安全状态评估的方法。

背景技术

随着Internet的发展，计算机网络的信息与网络安全面临着前所未有的严峻形势。对计算机网络的安全状态的评估变得越来越重要。在网络安全状态的评价方面，目前主要集中在局部范围内网络重要资产的风险评价上，极少有涉及宏观网络整体安全状态评价的研究成果。

在目前风险评估中使用的技术中，无论是基于层次分析法的网络风险状态评估模型，还是基于免疫的网络入侵危险性评估方法，都是针对特定的网络环境，对受保护的机器进行重点监控(有些与漏洞扫描相结合给出风险系数，有些分配大量资源记忆正常状态)。这些方法在局域网环境下有很好的效果，但当网络中主机个数达到一定量级，由于计算资源、存储资源等的限制，将无法具体使用。

美国的研究组织CAIDA(Cooperative Association for Internet Data Analysis，互联网数据分析协会)，提出了一种在宏观网络上评估Internet蠕虫传播状况的方法。该方法主要通过模拟1600万个可路由的主机地址，通过连续不断地对来自互联网的访问请求进行监测、收集和统计，使用后散推理算法(Back-ScatterAlgorithm)来修正、反推蠕虫在爆发时的传播情况。该方法的数据采集范围为模拟出的主机地址，而非骨干网上真实的IP地址；其主要目的是评估Internet蠕虫爆发时的影响，难以用于评估宏观网络的日常运行状态。

发明内容

本发明的目的是克服现有技术的缺点，提供一种在宏观网络中对海量数据进行实时检测，评估网络整体安全状态的方法。本发明依据对宏观网络系统的观察，根据正常网络数据变化的规律性，提取指标变量，既能很好反映网络状态，又能减低对存储资源的依赖；基于异常度量来检测网络状况安全与否，在模型建立过程中提取能反映网络运行状态的主要成分，过滤网络运行中的偶然性因素，从而准确描述宏观网络的总体安全状态。

本发明的目的是通过以下技术方案实现的：

一种基于异常度量的宏观网络安全状态评估方法，所述方法包括以下步骤：

A、定义建模参数与评分标准；

B、根据已定义的建模参数，采集样本数据，提取用于描述网络安全状态的指标变量；

C、根据从样本数据中提取的指标变量，提取能反映网络运行状态的规律性因素，过滤偶然性因素，建立网络正常运行状态模型；

D、采集待检测数据，计算待检测数据与正常模型间的异常程度；

E、根据已定义的评分标准，按照每种指标变量的异常程度计算该指标的标准化评分，按照指标变量的重要程度给出网络整体状态的标准化评分。

优选地，所述步骤A包含：

A1、自定义建模参数：样本个数可定义、样本主成分波动幅度可定义、样本贡献率可定义；

A2、自定义评分标准：异常度量评分标准可定义、指标变量的重要程度可定义。

优选地，所述步骤B包含：

B1、采集原始数据；

B2、提取指标变量；

B3、针对指标变量对数据进行周期汇总；

B4、汇总后的指标变量作为建模样本数据。

优选地，所述步骤B2中指标变量包括但不限于：tcp端口流量、udp端口流量、长度流量、icmp标识流量、tcp标识流量、多个标识上的四元组(源ip、目的ip、源端口、目的端口)熵分布以及安全事件发生次数。

优选地，对于每个指标变量分别建立模型，模型的建立使用主成分分析方法。所述步骤C包含：

C1、某指标变量的一系列数据构成样本矩阵X；

C2、计算样本数据的协方差矩阵M、样本均值向量μ；

C3、计算矩阵M的特征值和特征向量，根据特征值从m维的指标变量中提取k维主成份，此处k<＝m；

C4、计算将样本数据从k维主成份，重新映射回原有的m维样本数据的转换矩阵UU^T；

C5、计算样本数据在转换矩阵U上映射后的残差均值μ_d和残差标准差σ_d(其中，向量在转换空间U上映射前与映射后向量之间的欧氏距离，本发明中称之为残差)，计算方法与步骤D相同；

C6、样本均值向量μ、残差均值μ_d、残差标准差σ_d与转换矩阵UU^T共同构成某指标变量的模型。

可选地，所述步骤C3包含：选取主成分的方法可以使用但不限于：根据每个主成分的波动周期性(即规律性)进行选取；根据主成分的贡献率(其中λ_i为特征值)进行选取。

优选地，所述步骤D包含：

D1、将待检测向量t中心化为φ：φ＝t-μ

D2、将φ在空间UU^T上映射：φ_f＝UU^Tφ

D3、计算φ的残差ξ：ξ＝‖φ-φ_f‖

优选地，所述步骤E包含：

E1、指标变量i的评分：比较残差ξ与样本残差均值μ_d间的差距q_i：$q_i=\left|\frac{\xi -\mathrm{\mu d}}{\mathrm{\sigma d}}\right|;$按照自定义的评分度量标准进行评分

E2、宏观网络整体安全状态评分：按照自定义的指标变量重要程度评分，可以选择但不限于使用加权平均方法进行最终评分。

由以上本发明提供的方法步骤可以看出，本发明具有如下优点：

1、本发明选取的指标变量在宏观网络环境中，既能够很好体现网络的安全状态，数据量又不会过于巨大，属于系统能够处理范围内。

2、本发明在建模过程中使用了主成分分析算法，在生成主成分过程中，去除了同一向量分量间的相关性；在主成分选取过程中通过波动周期性判断去除了数据中的噪声(样本矩阵的主成分分为正常主成分和异常主成分，分别代表了网络中的正常流量和异常流量，二者的区别主要体现在变化趋势上。正常主成分随时间的变化较为平缓，呈现出明显的周期性；异常主成分随时间的变化幅度较大，呈现出较强的突发性)。

3、本方法有很灵活的自定义体系，可以根据实际网络的不同或者关注点的变化，调整选择的指标变量、单个指标变量的评分度量标准、综合评分标准等。

附图说明

图1是本发明所述安全评估方法流程图；

图2是本发明中指标变量降维方法说明；

图3是本发明单个指标变量评分方法描述；

图4是本发明正常行为模型建立流程图。

下面结合附图和具体实现来详细描述本发明。

具体实施方式

本发明提出的安全状态评估方法主要应用在宏观网络环境中。评估过程的具体流程如图1所示。

为了使本技术领域的人员更好地理解本发明，下面结合图1所示的流程图对本发明作进一步的详细说明。包括以下步骤：

步骤101：初始化所有用户自定义的参数，具体包括：

数据建模过程使用的可配置信息：

样本行数：从采集样本点开始持续采样个数；

样本列数：样本向量数据本身的维数；

正常数据波动范围：提取正常主成分的依据之一；

贡献率：提取正常主成分的依据之二；

网络安全状态评分过程使用的可配置信息：

评分域值：可以定义4个，用于单个指标变量分值量化；

各个指标变量权值：网络安全状态总体评分过程依据；

步骤102：原始数据采集，直接从网卡读取原始数据报文，进行协议解析与匹配操作，提取出需要的数据。

步骤103：按照周期生成各类指标变量(本实施例中提取的指标变量种类参见前面方法说明)，为了降低突发数据的影响以及减少处理次数，将步骤102提取出的数据按照时间窗口进行累加后，提供给后续流程处理。

步骤104：指标变量降维处理(生成最终变量)，本发明中列举的每个指标变量包含元素都比较多，为了降低资源消耗同时重点关注某些因素，对每个指标变量采取降维处理，具体处理方式参看图2。

步骤105：判断模型是否建立，如果已经建立，转到步骤106；如果尚未建立，转到步骤110。

步骤106：按照本发明方法说明中步骤C与步骤D算法，计算出各个实时向量残差与样本残差均值之间的差距q_i。

步骤107：按照图3说明方法将该差距量化到0-100分之间，该分值越高，说明当前网络状态越危险。其中X1-X4可定义，在步骤101中获取，系统设定默认值为X1：1，X2：3，X3：5，X4：10。

步骤108：使用加权平均和算法计算网络安全状态综合分值，其中各个指标变量的权值可定义，在步骤101中获取。本步骤计算得出的分值在0-100之间，该分值越高，说明当前网络状态越危险。

步骤109：将计算出的综合分值、各指标变量分值以及当前指标变量内容输出到文件、终端或者共享内存中。

步骤110：根据步骤101获取的样本行数，判断样本是否已经采集完成，如果已经完成，转到步骤112，如果没有采集完成，转到步骤111。

步骤111：存储样本数据。

步骤112：操作存储的样本数据，按照图4步骤建立正常行为模型。

图2说明指标变量降维处理过程。

步骤201：将Tcp端口流量降维处理。将65536维降为16维，其中：常用端口独自占据一维，共14维，非常用端口0-1024占据一维，1025-65535占据一维。

步骤202：将udp端口流量降维处理。将65536维降为16维，其中：常用端口独自占据一维，共14维，非常用端口0-1024占据一维，1025-65535占据一维。

步骤203：将报文长度流量降维处理。将报文长度流量降为6维，降维依据如图2。

步骤204：将Tcp标识流量降维处理。将64维降为7维，降维依据如图2。

步骤205：将Icmp类型流量降维处理。将18维降为5维，降维依据如图2。

图3说明单个指标变量的评分方法。

对步骤106计算出的q_i运用如下规则进行评分：

q_i∈[0，x1]，分值线性化到0-25之间；

q_i∈[x1，x2]，分值线性化到25-50之间；

q_i∈[x2，x3]，分值线性化到50-75之间；

q_i∈[x3，x4]，分值线性化到75-100之间；

q_i∈[x4，+∞)，分值为100。

图4说明正常行为模型建立过程：

步骤401：计算样本相关矩阵。可以根据样本数据性质的不同，使用相关系数矩阵或者协方差矩阵(可选)。

步骤402：计算相关矩阵的特征值与特征向量。在计算特征值与特征向量过程中，同时计算样本均值向量与样本标准差向量，并存储在模型中。

步骤403：选取主成分。本实施例使用贡献率与波动幅度相结合方式选取主成分。将特征值λ_i与对应的特征向量L_i按照降序排列。

使用累计贡献率选取主成分算法：

1)对所有特征值求和，即计算

2)循环计算每个主成分的贡献率，累计贡献率达到用户定义贡献率(步骤101获取)，即结束循环。

3)选取主成分个数为num1；

使用波动幅度选取主成分算法：

1)计算n个采样数据的第一主成分，共n个。计算这n个数值的均值μ₁和方差σ₁，找出第一主成分中偏离均值最大的元素，判断其偏离均值的程度是否超过了定义阈值(步骤101获取)。如果第一主成分的最大偏离超过了阈值，取第一主成分为正常主成分，其他主成分均为异常主成分，取主成分转换矩阵U＝[L₁]；如果最大偏离未超过阈值，转入步骤2；

2)计算下一个主成分Z_i，统计Z_i的均值μ_i和方差σ_i，判断第i主成分的最大偏离是否超过了阈值。如果该主成分的最大偏离超过了阈值，取主成分转换矩阵为U＝[L₁，L，L_i-1]；如果最大偏离未超过阈值，则重复这一过程直至验证完最后一个主成分。

3)选取主成分个数为num2；

选择num1，num2中最小值为最终主成分个数num，主成分转换矩阵为U＝[L₁，L，L_num]，将UU^T存储在模型中。

步骤404：按照方法说明中步骤C所述方法计算样本残差均值与残差标准差，存储在模型中。

步骤405：模型建立完毕。

以上对本发明的技术方案和有益效果作了进一步详细说明。本发明可以有多种变形方案实现，凡在本发明的精神和原则之内，所作的任何修改、参数替换、改进等，均应包含在本发明的保护范围之内。