一种基于P2P僵尸节点感知的自适应网络流量采样方法

摘要

本发明公开了一种基于P2P僵尸节点感知的自适应网络流量采样方法，属于网络数据处理领域。本发明首先根据P2P僵尸网络的本质特性，从高速网络中以较小的开销提取出潜在P2P僵尸节点的IP地址；然后根据即时采样率分配算法对目标采样率进行分配，计算各个IP地址的即时采样率；最后用计算所得的即时采样率对报文进行采样，将采得的网络流量输入P2P僵尸网络检测系统，以便进行进一步细粒度的检测。本发明自适应调节速度快，感知P2P僵尸节点能力强，能在目标采样率不变的情况下，极大的提高P2P僵尸节点流量的采样率，可与已有的基于网络流量的P2P僵尸网络检测系统无缝集成。

说明书

技术领域

本发明涉及网络数据处理领域，特别是一种基于P2P僵尸节点感知的自适应网络流量 采样方法。

背景技术

P2P僵尸网络已然成为当今互联网所面临的最大安全威胁之一。相对于传统的基于IRC 或HTTP的集中式僵尸网络，P2P僵尸网络表现的更加隐蔽且更难以被检测。P2P僵尸网 络是由感染主机(僵尸节点,bots)所组成的P2P网络，它由攻击者(botmaster)通过命令和 控制(CommandandControl,C&C)信道远程控制。攻击者可以利用这个平台发起分布式 拒绝服务(DistributedDenial-of-Service,DDoS)攻击、发送垃圾邮件、窃取隐私信息等。

目前的P2P僵尸网络检测系统多通过监测网络流量来实现对僵尸节点的检测。但是， 随着网络链路带宽和互联网业务流量的高速发展，捕获并分析所有报文所需要的计算和存 储开销越来越大，这就使得这些系统无法再适用于高速网络环境。为解决此问题，流量采 样技术被广泛引入到高速网络中的网络流量处理场景中，以减少需要处理的报文数目，用 有限的资源来完成对大批量网络流量的监测与分析。当前使用最广泛的流量采样技术是随 机报文采样，它的特点是简单、可行、易于操作。这种采样方法对长流采样效果较好，但 是往往会遗漏掉较多短流的信息。Smart采样、Sample-and-hold采样等一些其它采样方法， 同样存在倾向于采集长流而对短流采样率很低的缺点。为克服此缺陷，研究者们提出了 FlexSample等采样方法来保证对短流的采样率，同时不影响长流的采样率。

但是，以上这些采样方法都不是专门针对P2P僵尸网络检测而设计的，因此在基于网 络流量的P2P僵尸网络检测系统中只要使用经过以上采样方法采样后的网络流量，对P2P 僵尸网络的检测精度不可避免的会受到影响。大量与P2P僵尸网络相关的报文可能会被丢 弃，而采样到的报文中则可能大部分与P2P僵尸网络无关。针对P2P僵尸网络检测系统的 采样方法应当最大程度地利用有限的资源，尽可能多的采集僵尸节点产生的报文，且尽可 能少的采集其它节点产生的报文。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于P2P僵尸节点感知 的自适应网络流量采样方法。

为解决上述技术问题，本发明所采用的技术方案是：一种基于P2P僵尸节点感知的自适应 网络流量采样方法，该方法包括以下步骤：

1)在高速网络的出口处，以时间窗口T为单位，对网络流量进行分片处 理；建立并维护一个报文统计表，采集并统计单个时间窗口内出现的报 文的关键属性，当时间窗口结束时，结束报文统计，并进入2)；

2)分析当前时间窗口所得的报文统计表，从中提取出网络行为可疑的内 部IP，视为潜在的P2P僵尸节点；随后将报文统计表内容清零，并进入 下一个时间窗口的报文统计过程；

3)建立并维护一个流量采样表，根据当前时间窗口所得的可疑的内部IP 的信息更新所述流量采样表：若可疑的内部IP已存在于流量采样表中， 则更新对应表项的相关信息，若可疑的内部IP未存在于流量采样表中， 则新增该可疑的内部IP的表项，并填写相关信息；

4)根据目标采样率和流量采样表的信息，计算高速网络各个内部IP对应 的即时采样率，然后将所得的即时采样率更新到流量采样表中的对应表 项；

5)对到达的每一个报文，查询经4)更新后的流量采样表，得到更新后 的流量采样表对应的即时采样率，然后以所述即时采样率对当前报文进 行采样。

所述报文统计表的每一个表项由一个五元组确定：{Pro,IP_in,IP_ex,Port_in,Port_ex}，即，将传 输层协议类型Pro、内部IP地址IP_in、外部IP地址IP_ex、内部端口号Port_in和外部端口号 Port_ex相同的报文统计到同一个表项。

所述报文统计表还包含以下三项关键属性：报文数量Pkt、报文大小之和Byte、SYN标志 位为1的TCP报文数量SYN。

所述报文统计表统计由内部IP地址IP_in发出的TCP和UDP报文。

时间窗口大小为5分钟。

提取网络行为可疑的内部IP的过程包括：

1)删除报文统计表中SYN>1的表项；然后，逐个分析报文统计表中的 每一个内部IP地址IP_in，将所有与IP_in相关的表项聚类到不同的集合， 每个集合中的表项拥有相等的Pkt值和Byte值；

2)分别计算各集合中各外部IP地址IP_ex重复出现的次数之和，得到各集 合的外部IP回访数RCN，取所有RCN中的最大值，得到IP_in的外部IP 回访率RCR；

3)利用BGP(边界网关协议)前缀公告，计算拥有最大RCN的集合中所 有IP_ex的不同BGP前缀数，得到该集合中所有IP_ex的BGP数，即B值；

4)所有RCR值大于阈值M且B值大于阈值N的IP_in为可疑的内部IP。 本发明中，为了能得到较高的识别准确率和较低的误报率，设置M＝10；N＝100。

所述流量采样表的每一个表项包含一个可疑的内部IP，即IP_sus的相关信息；所述相关信 息包括：该IP_sus的外部IP回访率RCR、BGP前缀数(B)、上一时间窗口内统计到的报文总 数CNT_pre、当前时间窗口内统计到的报文总数CNT_cur和对应的即时采样率SR_ins。

更新到流量采样表包括删除已连续两个时间窗口未获更新的IP_sus表项。

将即时采样率更新到流量采样表中的对应表项的过程包括：记目标采样率为SR_tar，若无可 疑的内部IP，则令所有内部IP的即时采样率为SR_tar，即：SR_ins＝SR_tar，即时采样率计算过 程结束；否则，将内部IP分为两组：可疑IP组{IP_sus}和非可疑IP组{IP_{non_sus}}，首先，计 算各组的总体采样率SR_sus和SR_{non_sus}；根据CNT_pre和CNT_cur，分别计算上一时间窗口和 当前时间窗口内统计到的所有可疑的内部IP的报文总数占总报文数之比：f_pre和f_cur，记 f＝0.2×f_pre+0.8×f_cur，则可疑IP组的总体采样率SR_sus为：SR_sus＝SR_tar/f；若SR_sus>＝1， 令SR_sus＝1，且令所有可疑组内的IP的即时采样率SR_{ins_sus}＝1；而SR_{non_sus}为： 且令所有非可疑组内的IP的即时采样率SR_{ins_non_sus}＝ SR_{non_sus}，即时采样率计算过程结束；否则，令非可疑IP组的总体采样率SR_{non_sus}＝0，且 令所有非可疑组内的IP的即时采样率SR_{ins_non_sus}＝0；然后将SR_sus分配到各可疑IP：IP_{sus_i}， 计算各可疑IP的即时采样率SR_{ins_i}；根据CNT_pre和CNT_cur，分别计算上一时间窗口和当 前时间窗口内统计到的IP_{sus_i}的报文数占可疑IP报文总数之比：f_{pre_i}和f_{cur_i}，记 f_i＝0.2×f_{pre_i}+0.8×f_{cur_i}，V_i＝0.2×B_i+0.8×RCR_i，其中n为流量采样表中 可疑IP总数；将流量采样表中各IP_{sus_i}表项按关键值K从大到小重新排序： 再从流量采样表第一个表项到最后一个表项，依次计算各可疑IP对应 的即时采样率SR_{ins_i}：若SR_{ins_i}>1，则令SR_{ins_i}＝1，且记流量采 样表的剩余表项数为m，令所有剩余表项的V_j＝V_j+K_i/m，V_j＝0.2×B_j+0.8×RCR_j，B_j、 RCR_j分别为IP_{sus_j}的外部IP回访率、BGP前缀数，IP_{sus_j}为剩余表项内的可疑IP；依此类 推，依次计算每一个可疑IP对应的即时采样率，并将各即时采样率更新至流量采样表。 所述步骤5)的具体实现过程包括：获取到达报文的内部IP，查询更新后的流量采样表， 若此内部IP在更新后的流量采样表中，则以该内部IP对应的即时采样率SR_ins对所述报文 进行采样；否则，令该内部IP即时采样率为SR_non-sus，并进行采样。

与现有技术相比，本发明所具有的有益效果为：本发明自适应调节速度快，每5分钟 即可根据当前网络状态调节一次即时采样率；感知P2P僵尸节点能力强，根据真实网络流 量数据的实验结果显示，所提取的可疑IP中，P2P僵尸节点的准确率为99.3％，而误报率 为6.9％；与P2P僵尸节点相关的流量采样率高，根据真实网络流量数据的实验结果显示， 当目标采样率为5％时，P2P僵尸节点产生的流量的平均采样率为82％；本发明具有较好 的扩展性，可以与现有的基于网络流量的P2P僵尸网络检测系统无缝集成，提高其在高速 网络环境下的检测效率并保证其检测精度；本发明在给定目标采样率的情况下，能自适应 的调节即时采样率，以便尽可能多的采集P2P僵尸节点相关的流量，提高了高速网络环境 下P2P僵尸节点检测的效率和精度。

附图说明

图1为本发明实施例公开的一种基于P2P僵尸节点感知的自适应网络流量采样方法的 工作流程示意图。

具体实施方式

本发明公开了一种基于P2P僵尸节点感知的自适应网络流量采样方法，旨在为基于网 络流量的P2P僵尸网络检测系统提供准确的数据源。参见图1所示的工作流程示意图，本 发明方法步骤包括：

步骤1：统计报文的关键属性

在高速网络的出口处，采集并统计所有由内部IP发出的TCP和UDP报文。报文统计 表包含8项内容：{Pro,IP_in,IP_ex,Port_in,Port_ex,Pkt,Byte,SYN}，前五项分别为传输层协议类 型、内部IP地址、外部IP地址、内部端口号和外部端口号，此五项相同的报文统计到同 一个表项。后三项分别为报文数量、报文大小之和、SYN标志位为1的TCP报文数量。 统计的时间窗口为5分钟，当时间窗口到达时，结束统计，并进入下一步骤。

步骤2：提取可疑节点的IP地址

首先，删除报文统计表中SYN>1的表项；然后，逐个分析报文统计表中的每一个内 部IP地址(IP_in)，将所有与IP_in相关的表项聚类到不同的集合，每个集合中的表项拥有相等 的Pkt值和Byte值，再分别计算各集合中各外部IP地址(IP_ex)重复出现的次数之和，称之 为该集合的外部IP回访数(RCN)，取所有RCN中的最大值称之为该IP_in的外部IP回访率 (RCR)。接着利用BGP前缀公告，计算拥有最大RCN的集合中所有IP_ex的不同BGP前缀 数，称之为该IP_in的BGP数(B)；最后，称所有RCR值大于阈值10且B值大于阈值100 的IP_in为可疑IP。随后，将报文统计表内容清零，并进入下一个时间窗口的报文统计过程；

步骤3：更新流量采样表

流量采样表的每一个表项包含一个可疑IP(IP_sus)的相关信息。相关信息包括：该IP_sus的外部IP回访率(RCR)、BGP前缀数(B)、上一时间窗口内统计到的报文总数(CNT_pre)、当 前时间窗口内统计到的报文总数(CNT_cur)和对应的即时采样率(SR_ins)。若步骤2中提取出的 可疑IP已存在于流量采样表中，则更新对应表项的相关信息，若可疑IP未存在于流量采 样表中，则新增该IP的表项，并填写相关信息。最后，删除已连续两个时间窗口未获更新 的IP_sus表项，即已连续两个时间窗口未提取到该可疑IP。

步骤4：计算即时采样率

计算各IP对应的即时采样率(SR_ins)的过程如下：

记目标采样率为SR_tar，若无可疑IP，则令所有内部IP的即时采样率为SR_tar，即：SR_ins＝SR_tar，即时采样率计算过程结束；否则，将内部IP分为两组：可疑IP组{IP_sus}和非可疑 IP组{IP_{non_sus}}。首先，计算各组的总体采样率SR_sus和SR_{non_sus}。根据CNT_pre和CNT_cur， 分别计算上一时间窗口和本时间窗口内统计到的所有可疑IP的报文总数占总报文数之比： f_pre和f_cur，记f＝0.2×f_pre+0.8×f_cur，则可疑IP的总体采样率(SR_sus)为：

SR_sus＝SR_tar/f(1)

若SR_sus<＝1，则令非可疑IP的总体采样率SR_{non_sus}＝0，且令所有非可疑内部IP的即 时采样率SR_{ins_non_sus}＝0；否则，令SR_sus＝1，且令所有可疑内部IP的即时采样率SR_{ins_sus}＝ 1，而SR_{non_sus}如下，且令所有非可疑内部IP的即时采样率SR_{ins_non_sus}＝SR_{non_sus}，即时采 样率计算过程结束：

${\mathrm{SR}}_{non\_sus}=(1-\frac{{\mathrm{SR}}_{sus}\times f}{{\mathrm{SR}}_{tar}})\times \frac{{\mathrm{SR}}_{tar}}{1-f}---\left(2\right)$

然后，将SR_sus分配到各可疑IP(IP_{sus_i})，计算各可疑IP的即时采样率(SR_{ins_i})。根据CNT_pre和CNT_cur，分别计算上一时间窗口和本时间窗口内统计到的IP_{sus_i}的报文数占可疑IP报 文总数之比：f_{pre_i}和f_{cur_i}，记f＝0.2×f_{pre_i}+0.8×f_{cur_i}。记V_i＝0.2×B_i+0.8×RCR_i， 其中N为流量采样表中可疑IP总数。先将流量采样表中各IP_{sus_i}表项按关 键值K从大到小重新排序：

$K_i=V_i-\frac{V_{sum}\times f}{{\mathrm{SR}}_{sus}}---\left(3\right)$

再从流量采样表第一个表项到最后一个表项，依次计算各IP_{sus_i}对应的即时采样率 SR_{ins_i}为：

${\mathrm{SR}}_{ins\_i}={\mathrm{SR}}_{sus}\times \frac{V_i/V_{sum}}{f_i}---\left(4\right)$

若SR_{ins_i}>1，则令SR_{ins_i}＝1，且记流量采样表的剩余表项数为m，令所有剩余表项的 V_j＝V_j+K_i/m，V_j＝0.2×B_j+0.8×RCR_j，B_j、RCR_j分别为IP_{sus_j}的外部IP回访率、BGP 前缀数，IP_{sus_j}为剩余表项内的可疑IP。如此，依次计算每一个IP_{sus_i}对应的SR_{ins_i}，并将 其更新至流量采样表。

步骤五：实施采样

对到达的每一个报文，查询流量采样表，若此报文的内部IP在流量采样表中，则以其 对应的即时采样率SR_ins对此报文进行采样；否则，令其即时采样率为SR_non-sus，并进行采 样。