迅雷客户端基于HTTP方式文件下载流量的控管方法

摘要

本发明提供一种迅雷客户端基于HTTP方式文件下载流量的控管方法，首先对迅雷自身协议进行识别，以判断出本地主机是否在应用迅雷，以及计算出迅雷客户端从迅雷资源服务器上获取到的资源数；对于本地主机对外的基于HTTP方式的数据通信流量特征进行统计，同时将HTTP标准应用中的关键字段、域、状态码进行存储、统计、计算；继而判断各个HTTP会话是否在传输同一个文件的不同文件段；再判断是否是基于HTTP方式的单服务器单线程、单服务器超线程、多服务器超线程的文件下载；最后结合已判断出来的迅雷自身所下载的文件流量，将基于HTTP方式的文件下载流量结合进行阻挡和流量控制。该控管方法将基于HTTP方式文件流下载与普通的WEB应用区分开来，极大的优化网络。

说明书

技术领域

本发明涉及流量控制系统中关于互联网上常见应用软件文件下载流量的封堵方法，特别针对目前互联网上基于多种下载方式的主流应用软件迅雷(包括WEB迅雷)客户端的控管方法。

背景技术

随着互联网的高速发展，IP网络承载的数据流量越来越大，需要控制IP网络的整体性能及流量状况来适应业务的发展；诸如迅雷一类的应用软件也变得越来越流行，这类应用软件结合运用了P2P技术与MHT技术，提供P2P、HTTP、FTP等多种下载方式。

如果企业内网用户使用迅雷客户端在互联网下载文件资源，而且是热门资源，据数据分析，同时考虑到网络流量的突发性与局部性，在持续一短时间后，迅雷通过HTTP方式下载的流量所占比例并不比通过P2P方式下载的流量所占比例低很多，甚至有的时候还要高；由于传统的防火墙与一般的网络流量控制系统对用于Web应用的80端口都是开放的，不做控管，所以传统的防火墙与一般的网络流量控制系统无法对迅雷通过HTTP方式的大流量文件下载进行控制与封堵，网络带宽出现负面消耗，影响了企业网络的整体性能和关键业务的进行，给网络流量控制带来了困难。为了确保Web浏览的正常应用，同时又要对迅雷以P2P方式与MHT的HTTP方式进行管控，提出了控管方法，接下来结合迅雷来说明。

迅雷是基于P2SP的一款下载软件，能够大大增强下载速度。如果多个服务器上有某个相同的文件，当某个用户下载其中一个服务器上的这一文件时，迅雷会自动查找到另外的几个服务器，同时下载这一文件，达到提速的目的。一般情况下，它的原始下载速度很慢，但是候选资源的速度却很快。下载原理是：1)用户通过点击服务器地址为A.B.C.D上的Thunder.exe文件的链接；2)用户PC上的迅雷得到该文件的唯一的校验值；3)迅雷自动向自己的资源服务器上搜索，查找到存放同一文件的其他的服务器列表；4)得到文件在该服务器上的目录和文件名，即各个镜像候选资源站点E.F.G.H与I.J.K.L等等及自己的P2P公网资源网络用户地址为M.N.O.P；5)迅雷自动向E.F.G.H和I.J.K.L上下载该文件的不同文件块，以达到加速下载的目的；6)用户向P2P公网资源网络用户M.N.O.P发送UDP资源请求；7)P2P公网资源网络用户M.N.O.P是否回应，是否有所需文件；8)如果P2P用户回应有所需文件，即向M.N.O.P的端口发起请求，并传输数据；9)下载完毕后，如果迅雷资源服务器上，该文件的服务器列表中没有目前用户点击下载的服务器A.B.C.D，则将这个新的服务器地址加入到该文件的服务器列表。

上述步骤2)中，互联网上的文件很多是文件名相同但内容不同，很多是文件名不同但内容相同，迅雷得到的唯一的文件校验值是使用自己的文件校验机制，保证了用户下载文件的正确性和完整性。

上述步骤3)中，迅雷自动向自己的资源服务器上搜索，每次都会向58.254.39.4～58.254.39.22的地址范围的TCP端口80、8000或8080发送资源请求报文；该地址范围是写死在迅雷客户端软件中的，如果过滤掉这个报文，那么迅雷客户端就无法完成资源请求，无法从多点下载，只能从原始连接下载。

上述步骤6)、7)、8)中，隐含了一个过程：判断用户是否是公网用户。如果是公网用户，则该用户的IP地址和提供下载服务的端口也将记录在迅雷的资源服务器中，后续用户可以从该用户处下载。

通过分析迅雷的下载原理，使用Sniffer工具抓包分析它的交互数据报文主要归为几下几种：1)资源请求报文，2)资源搜索回应报文，3)文件传输交互报文，3.1)用户与用户之间文件传输交互报文(P2P方式)，3.2)用户与迅雷自身资源服务器文件传输交互报文(C/S方式)，3.3)用户与镜像候选资源站点文件传输交互报文(一般使用标准的HTTP协议应用多资源多线程下载)；4)用户之间资源信息交互报文，5)提交新的资源信息报文。现有AOS设备的DFA深层包检测引擎通过标签的方式对上述数据报文中的1)、2)、3.1)、3.2)、4)、5)等几种报文进行识别与控制，而3.3)所指交互报文因为使用标准的HTTP协议，所以传统的防火墙与一般的网络流量控制系统将它判断为HTTP流量，对迅雷暂不能做整体控制。实际数据包分析：如图1为上述下载原理中，第三步骤中交互的实际报文，过滤掉这个报文，迅雷客户端就无法完成资源请求，图中的划线标注的地方是数据报文中的特征字。

迅雷向自己的资源服务器上搜索，查找到存放同一文件的其他的服务器列表，而迅雷与这些服务器之间进行的文件传输交互数据有很大一部分是通过应用HTTP协议下载(特别是迅雷的自身服务器资源交互与P2P资源网络交互下载被控制时)，HTTP标准协议又被许多互联网下载工具应用，而这些互联网下载工具又是种类繁多，给迅雷的整体控制带来了难度。

发明内容

本发明的目的是克服现有技术存在的不足，提供一种迅雷客户端基于HTTP方式文件下载流量的控管方法。

本发明的目的通过以下技术方案来实现：

迅雷客户端基于HTTP方式文件下载流量的控管方法，具体包括以下步骤——

①首先通过AOS设备的DFA深层包检测引擎通过标签的方式对迅雷自身协议进行识别，以判断出本地主机是否在应用迅雷，以及计算出迅雷客户端从迅雷资源服务器上获取到的资源数；

②对于本地主机对外的基于HTTP方式的数据通信流量特征进行统计，同时将HTTP标准应用中的关键字段、域、状态码进行存储、统计、计算；

③根据各个基于HTTP方式文件流会话中的文件大小，判断各个HTTP会话是否在传输同一个文件的不同文件段；

④再结合各个基于HTTP方式文件流的本地主机IP、端口对与目标文件服务器的IP、端口对以及迅雷客户端从迅雷资源服务器上获取到的资源数信息的统计结果进行各种组合的与操作或非操作，是否是基于HTTP方式的单服务器单线程、单服务器超线程、多服务器超线程的文件下载；

⑤结合已判断出来的迅雷自身所下载的文件流量，将这些基于HTTP方式的文件下载流量结合起来进行阻挡和流量控制。

进一步地，上述的迅雷客户端基于HTTP方式文件下载流量的控管方法，基于HTTP方式的文件流传输中，获取各个下载文件的总字节数。

更进一步地，上述的迅雷客户端基于HTTP方式文件下载流量的控管方法，涉及的关键状态码有200、206；涉及的关键头域有Content-Encoding、Content-Length、Content-Range、Content-Type。

更进一步地，上述的迅雷客户端基于HTTP方式文件下载流量的控管方法，迅雷客户端采用的是超线程方式下载文件，这对整体控制迅雷流量带来了方便。

本发明技术方案突出的实质性特点和显著的进步主要体现在：

本发明控管方法将基于HTTP方式文件流下载与普通的WEB应用区分开来，极大的优化网络；不但是对迅雷的基于HTTP方式文件流的下载，而且可以对目前互联网上常用的基于HTTP方式文件流的下载工具进行控制；对以后迅雷的文件下载或类似工具的文件下载的精度流量控制的细化提出来了新的途径。

附图说明

下面结合附图对本发明技术方案作进一步说明：

图1：请求文件下载资源数据报文；

图2：会话双方IP、PORT对统计图；

图3：原始资源服务器返回的状态报文；

图4：镜像资源服务器返回的状态报文。

具体实施方式

迅雷客户端基于HTTP方式文件下载流量的控管方法，其具体过程：1)首先通过AOS设备的DFA深层包检测引擎通过标签的方式对迅雷自身协议进行识别，以判断出本地主机是否在应用迅雷，以及计算出迅雷客户端从迅雷资源服务器上获取到的资源数；2)对于本地主机对外的基于HTTP方式的数据通信流量特征进行统计，同时将HTTP标准应用中的关键字段、域、状态码进行存储、统计、计算；3)根据各个基于HTTP方式文件流会话中的文件大小，判断各个HTTP会话是否在传输同一个文件的不同文件段；4)再结合各个基于HTTP方式文件流的本地主机IP、端口对与目标文件服务器的IP、端口对以及迅雷客户端从迅雷资源服务器上获取到的资源数信息的统计结果进行各种组合的与操作或非操作，是否是基于HTTP方式的单服务器单线程、单服务器超线程、多服务器超线程的文件下载；5)结合已判断出来的迅雷自身所下载的文件流量，将这些基于HTTP方式的文件下载流量结合进行阻挡和流量控制。基于HTTP方式的文件流传输中，可以获取各个下载文件的总字节数。涉及的关键状态码有200、206；涉及的关键头域有Content-Encoding、Content-Length、Content-Range、Content-Type。一般情况下，迅雷客户端采用的是超线程方式下载文件，这对整体控制迅雷流量带来了方便。

参考IETF(The Internet Engineering Task Force，互联网工程任务组)的RFC 2616文档，将HTTP标准应用协议中各字段、域、状态码的具体定义与迅雷的自身协议识别结合起来分析：

如图2会话双方IP、PORT对统计图，示意了主要HTTP文件下载服务器列表，可以看出迅雷在应用HTTP协议下载时采用是多资源超线程的方式。

图3所示原始资源服务器返回的状态报文，示意了远程HTTP服务器返回的应答包，状态码为200，表示OK(参考RFC 26166.1.1节)，此状态码一般都是由原始地址服务器返回的状态，后面的Content-Length域出现，Transfer-Encoding域一定不会出现(出现则忽略Content-Length域了)。Content-Length域的值为所下载文件的总大小，是十进制字节序。

图4所示镜像资源服务器返回的状态报文，也示意了远程HTTP服务器返回的应答包，状态码为206，表示Partial Content(参考RFC 2616 6.1.1节)，说明所下载是部分文件片段，此状态一般是由候选资源服务器返回的状态，后面的Content-Length域中字节数大小为所下载的文件片段大小，图中数字3标记处也是所下载文件的总大小，这个数据是与图3中的Content-Length域后的数据是统一的，只不过此处的值是在Content-Range域后，此值的前面是此对话所下载文件片段的起止范围。

经过多次试验分析，同时也对当前互联网比较流行的几个类似的下载工具作了比较分析，得到以下结论：

在判断所有HTTP服务器返回的状态码为200与206的，取此报文中的所下载文件大小的值，状态码是200，就直接取Content-Length域的值；状态码是206的取Content-Range域后文件片段大小后面的值，通过统计，发现这些值相等且这些连接的目标服务器地址大都不同，同时根据当前用户PC上的迅雷客户端已接收到资源请求报文的回应做判断，这些连接都为迅雷的HTTP流量。

上述结论中，由于互联网上，与迅雷相似的HTTP下载工具很多，要不是一个地址的多线程下载，或者就是多线程多服务器的下载方式，这时最好将各已知下载工具的七层特征码、资源请求报文回应的服务器数量结合起来综合考虑。

本发明控管方法将基于HTTP方式文件流下载与普通的WEB应用区分开来，极大的优化网络；不但是对迅雷的基于HTTP方式文件流的下载，而且可以对目前互联网上常用的基于HTTP方式文件流的下载工具进行控制；对以后迅雷的文件下载或类似工具的文件下载的精度流量控制的细化提出来了新的途径。

需要理解到的是：上述说明并非是对本发明的限制，在本发明构思范围内，所进行的添加、变换、替换等，也应属于本发明的保护范围。