一种代理服务器处理网络访问请求的方法和代理服务器

摘要

本发明公开了一种代理服务器处理网络访问请求的方法和一种代理服务器。该方法包括：接收客户端的网络请求报文的报文头；根据报文头中的访问目标服务器信息，连接该访问目标服务器；接收客户端的网络请求报文的报文体，将该报文体发送给访问目标服务器；接收访问目标服务器返回的数据并发送给客户端。本发明的技术方案在建立与访问目标服务器的连接时，不需要接收完整的报文，而是在接收网络请求报文的报文头后，根据接收的报文头中的信息建立与访问目标服务器的连接，缩短了传输时间，提高了处理网络访问的速度，有利于提高代理服务器的性能，同时节省了用户的等待时间，提高了用户体验。

说明书

技术领域

本发明涉及互联网技术领域，特别涉及一种代理服务器处理网络访问请 求的方法和代理服务器。

背景技术

代理服务器是一种特殊的网络服务，允许一个网络终端(一般为客户端) 通过这个服务与另一个网络终端(一般为服务器)进行非直接的连接。客户 端首先与代理服务器创建连接，接着根据代理服务器所使用的代理协议，请 求对目标服务器创建连接、或者获得目标服务器的指定资源。代理服务有利 于保障网络终端的隐私或安全，防止攻击，但是当代理服务器处理网络访问 请求的速度过慢时，也会增加用户的等待时间，降低用户体验。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分 地解决上述问题的一种代理服务器处理网络访问请求的方法和代理服务器。

依据本发明的一个方面，提供了一种代理服务器处理网络访问请求的方 法，该方法包括：

接收客户端的网络请求报文的报文头；

根据报文头中的访问目标服务器信息，连接该访问目标服务器；

接收客户端的网络请求报文的报文体，将该报文体发送给访问目标服务 器；

接收访问目标服务器返回的数据并发送给所述客户端。

可选地，当报文头中的访问目标服务器信息为访问目标服务器的IP地址 时，直接根据该IP地址连接访问目标服务器；

当报文头中的访问目标服务器信息为访问目标服务器的域名时，该方法 进一步包括：查询域名系统DNS服务器，获得访问目标服务器的IP地址， 并根据获取该IP地址连接访问目标服务器。

可选地，该方法进一步包括：

将所述报文头的指定内容和访问目标服务器返回的数据对应保存到缓存 中；

在接收客户端的网络请求报文的报文头后，根据报文头中的指定内容查 询缓存，如果缓存中存在相同的内容，则读取缓存中与该内容对应的数据返 回该客户端。

可选地，所述将所述报文头的指定内容和访问目标服务器返回的数据对 应保存到缓存中包括：将所述报文头的指定内容保存到一级缓存中，将访问 目标服务器返回的数据对应保存到二级缓存中，并建立两者之间的映射关系；

所述根据报文头中的指定内容查询缓存，如果缓存中存在相同的内容， 则读取缓存中与该内容对应的数据返回该客户端包括：根据报文头中的指定 内容查询一级缓存，如果一级缓存中存在相同的内容，则根据所述映射关系 读取二级缓存中与该内容对应的数据返回该客户端。

可选地，该方法进一步包括：

将所述报文头的指定内容和访问目标服务器返回的数据对应保存到缓存 中时，进一步设置相应的过期时间；

在接收客户端的网络请求报文的报文头后，根据报文头中的指定内容查 询缓存时，如果缓存中存在相同的内容且未过期，则读取缓存中与该内容对 应的数据返回该客户端。

可选地，该方法进一步包括：

查询缓存中的距离过期的时间在预设阈值内的数据，对于这些数据进行 预取处理。

可选地，该方法进一步包括：

将报文头中的访问目标服务器信息与黑名单进行匹配；所述黑名单中保 存了拒绝或重定向代理服务器发送的网络访问请求的访问目标服务器列表；

当匹配命中所述黑名单时，向客户端返回错误码。

可选地，该方法进一步包括：

分析访问日志，当发现多个客户端访问同一个网页所返回的结果均异常 时，对该网页进行验证；

如果验证结果为该网页正常，则对该网页相关的目标访问服务器信息进 行计数，当计数达到预设条件时，将该网页相关的目标访问服务器信息添加 到黑名单中。

可选地，所述对该网页进行验证包括：

通过客户端程序直接连接该网页对应的目标访问服务器，并获得访问结 果；

根据获得的访问结果验证该网页。

依据本发明的另一个方面，提出了一种代理服务器，该代理服务器包括：

访问请求处理单元，适于接收客户端的网络请求报文的报文头；

连接处理单元，适于根据报文头中的访问目标服务器信息，连接该访问 目标服务器；

所述访问请求处理单元，还适于接收客户端的网络请求报文的报文体， 将该报文体发送给访问目标服务器；接收访问目标服务器返回的数据并发送 给所述客户端。

可选地，所述连接处理单元，适于当报文头中的访问目标服务器信息为 访问目标服务器的IP地址时，直接根据该IP地址连接访问目标服务器；当 报文头中的访问目标服务器信息为访问目标服务器的域名时，进一步查询域 名系统DNS服务器，获得访问目标服务器的IP地址，并根据获取该IP地址 连接访问目标服务器。

可选地，该代理服务器进一步包括：缓存单元；

所述访问请求处理单元，还适于将所述报文头的指定内容和访问目标服 务器返回的数据对应保存到缓存单元中；在接收客户端的网络请求报文的报 文头后，根据报文头中的指定内容查询缓存单元，如果缓存单元中存在相同 的内容，则读取缓存单元中与该内容对应的数据返回该客户端。

可选地，所述缓存单元包括：一级缓存单元和二级缓存单元；

所述访问请求处理单元，适于将所述报文头的指定内容保存到一级缓存 中，将访问目标服务器返回的数据对应保存到二级缓存中，并建立两者之间 的映射关系；在接收客户端的网络请求报文的报文头后，根据报文头中的指 定内容查询一级缓存单元，如果一级缓存单元中存在相同的内容，则根据所 述映射关系读取二级缓存单元中与该内容对应的数据返回该客户端。

可选地，所述访问请求处理单元，进一步适于将所述报文头的指定内容 和访问目标服务器返回的数据对应保存到缓存中时，进一步设置相应的过期 时间；在接收客户端的网络请求报文的报文头后，根据报文头中的指定内容 查询缓存时，如果缓存中存在相同的内容且未过期，则读取缓存中与该内容 对应的数据返回该客户端。

可选地，该代理服务器进一步包括：

预取处理单元，适于查询缓存单元中的距离过期的时间在预设阈值内的 数据，对于这些数据进行预取处理。

可选地，该代理服务器进一步包括：黑名单存储单元，适于存储黑名单； 所述黑名单中保存了拒绝或重定向代理服务器发送的网络访问请求的访问目 标服务器列表；

所述访问请求处理单元，进一步适于将报文头中的访问目标服务器信息 与黑名单进行匹配；当匹配命中所述黑名单时，向客户端返回错误码。

可选地，该代理服务器进一步包括：

黑名单维护单元，适于分析访问日志，当发现多个客户端访问同一个网 页所返回的结果均异常时，对该网页进行验证；如果验证结果为该网页正常， 则对该网页相关的目标访问服务器信息进行计数，当计数达到预设条件时， 将该网页相关的目标访问服务器信息添加到黑名单中。

可选地，所述黑名单维护单元，适于通过客户端程序直接连接该网页对 应的目标访问服务器，并获得访问结果；根据获得的访问结果验证该网页。

综上所述，本发明的技术方案在建立与访问目标服务器的连接时，不需 要接收完整的报文，而是在接收网络请求报文的报文头后，根据接收的报文 头中的信息建立与访问目标服务器的连接，由于建立连接时不需要接收网络 请求报文的报文体，降低了在此环节需要传输的数据量，因此缩短了传输时 间，提高了处理网络访问的速度，有利于提高代理服务器的性能，同时节省 了用户的等待时间，提高了用户体验。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本 领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的， 而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示 相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种代理服务器处理网络访问请求 的方法的流程图；

图2示出了根据本发明一个实施例的一种代理服务器的示意图；

图3示出了根据本发明一个实施例的一种代理服务器的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示 了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不 应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地 理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1为本发明一个实施例的一种代理服务器处理网络访问请求的方法的 流程图，如图1所示，该方法包括：

步骤S110，接收客户端的网络请求报文的报文头。

步骤S120，根据报文头中的访问目标服务器信息，连接该访问目标服务 器。

步骤S130，接收客户端的网络请求报文的报文体，将该报文体发送给访 问目标服务器。

步骤S140，接收访问目标服务器返回的数据并发送给客户端。

本发明的技术方案在建立与访问目标服务器的连接时，不需要接收完整 的网络请求报文，而是在接收网络请求报文的报文头后，根据接收的报文头 中的信息建立与访问目标服务器的连接，由于建立连接时不需要接收网络请 求报文的报文体，降低了在此环节需要传输的数据量，因此缩短了传输时间， 提高了处理网络访问的速度，有利于提高代理服务器的性能，同时节省了用 户的等待时间，提高了用户体验。

在本发明的一个实施例中，当报文头中的访问目标服务器信息为访问目 标服务器的IP地址时，直接根据该IP地址连接访问目标服务器。

当报文头中的访问目标服务器信息为访问目标服务器的域名时，该方法 进一步包括：查询域名系统DNS服务器，获得访问目标服务器的IP地址， 并根据获取该IP地址连接访问目标服务器。

在本发明的一个实施例中，该方法进一步包括：

步骤S150，将报文头的指定内容和访问目标服务器返回的数据对应保存 到缓存中。

步骤S160，在接收客户端的网络请求报文的报文头后，根据报文头中的 指定内容查询缓存，如果缓存中存在相同的内容，则读取缓存中与该内容对 应的数据返回该客户端。

其中，步骤S150将报文头的指定内容和访问目标服务器返回的数据对 应保存到缓存中包括：将报文头的指定内容保存到一级缓存中，将访问目标 服务器返回的数据对应保存到二级缓存中，并建立两者之间的映射关系。

相应地，步骤S160根据报文头中的指定内容查询缓存，如果缓存中存 在相同的内容，则读取缓存中与该内容对应的数据返回该客户端包括：根据 报文头中的指定内容查询一级缓存，如果一级缓存中存在相同的内容，则根 据映射关系读取二级缓存中与该内容对应的数据返回该客户端。

通过将报文头的指定内容和访问目标服务器返回的数据对应保存到缓存 中，可以方便当再有相同的网络访问请求时，直接通过该请求的报文头信息， 从缓存中获取对应的数据返回给客户端，无需再连接到访问目标服务器。同 时，这个处理过程中，客户端和代理服务器之间也仅需要传输网络请求的报 文头，不需要传输报文体，进一步降低了传输的数据量，节省了带宽，提高 了代理服务器的响应速度和性能，节省了用户的等待时间，提高了用户体验。

此外，该方法进一步包括：

步骤S170，将报文头的指定内容和访问目标服务器返回的数据对应保存 到缓存中时，进一步设置相应的过期时间。

步骤S180，在接收客户端的网络请求报文的报文头后，根据报文头中的 指定内容查询缓存时，如果缓存中存在相同的内容且未过期，则读取缓存中 与该内容对应的数据返回该客户端。

在此基础上，该方法进一步包括：

步骤S190，查询缓存中的距离过期的时间在预设阈值内的数据，对于这 些数据进行预取处理。

为缓存的报文头的指定内容和访问目标服务器返回的数据设置相应的过 期时间，根据报文头的指定内容查询缓存时，如果缓存中存在相同的内容且 未过期，则可以直接使用该缓存内容，保证缓存内容的有效性。

如果缓存内容距离过期的时间在预设阈值内，则对这些数据进行预取处 理，例如发送请求至预取服务器，发起预取服务。通过预取处理，可以根据 用户的网络请求，预测用户将有可能使用的数据，预取内容能够被多个用户 所共享，能够反应群体用户的共同兴趣。本发明结合对缓存数据的过期时间 检验，预取用户可能使用的数据，对缓存中快要过期的数据进行更新和补充， 来提高在用户提出网络访问请求时命中缓存的几率，节省了处理网络请求和 请求文件在网络上传输的时间，加快了用户访问网络的速度，提高了用户体 验。

在本发明的上述各实施例中，该方法进一步包括：

步骤S1100，将报文头中的访问目标服务器信息与黑名单进行匹配；黑 名单中保存了拒绝或重定向代理服务器发送的网络访问请求的访问目标服务 器列表。

步骤S1110，当匹配命中黑名单时，向客户端返回错误码。

因为一些站点会限制代理的访问，将代理的访问拒绝或者重定向到其他 页面，导致代理服务器的访问失败。在这种情况下，设置黑名单，保存拒绝 或者重定向代理服务器发送的网络访问请求的访问目标服务器列表，例如保 存访问目标服务器的URL，只要客户端请求了这些URL，就向客户端返回错 误码，告诉客户端此URL不可访问。通过设置上述黑名单机制，能够快速识 别限制代理访问的URL，来及时判断该访问不可进行并告知客户端，避免无 用的网络连接尝试，避免资源浪费。

此外，该方法进一步包括：

步骤S1120，分析访问日志，当发现多个客户端访问同一个网页所返回 的结果均异常时，对该网页进行验证。

步骤S1130，如果验证结果为该网页正常，则对该网页相关的目标访问 服务器信息进行计数，当计数达到预设条件时，将该网页相关的目标访问服 务器信息添加到黑名单中。

其中，步骤S1120对该网页进行验证包括：

步骤S1121，通过客户端程序直接连接该网页对应的目标访问服务器， 并获得访问结果；

步骤S1122，根据获得的访问结果验证该网页。

因为人力有限，网络数据量庞大，黑名单的生成不能只靠手动方式。为 此需要一套自动黑名单挖掘机制。本发明的黑名单机制通过对代理服务器的 访问日志进行挖掘，找到有用信息，当发现多个客户端访问一个网页，返回 结果都不正常的时候，通过程序直连原网站，自动验证该原网页的内容，如 果原网页正常，就说明该网页限制代理访问，则对该URL计数，当该计数达 到一定程度或者达到一定比例的时候，将该网页加入黑名单。通过这种方式， 能够充分利用访问日志自动生成黑名单，节省人力，且生成的黑名单准确度 高。

这里需要说明的是上述各步骤之间的执行顺序并不受限于步骤标号的顺 序，即步骤标号的顺序并不限定各步骤之间的执行顺序。

图2为本发明一个实施例的一种代理服务器的示意图，如图2所示，该 代理服务器200包括：

访问请求处理单元210，适于接收客户端的网络请求报文的报文头。

连接处理单元220，适于根据报文头中的访问目标服务器信息，连接该 访问目标服务器。

访问请求处理单元210，还适于接收客户端的网络请求报文的报文体， 将该报文体发送给访问目标服务器；接收访问目标服务器返回的数据并发送 给客户端。

在本发明的一个实施例中，连接处理单元220，适于当报文头中的访问 目标服务器信息为访问目标服务器的IP地址时，直接根据该IP地址连接访 问目标服务器；当报文头中的访问目标服务器信息为访问目标服务器的域名 时，进一步查询域名系统DNS服务器，获得访问目标服务器的IP地址，并 根据获取该IP地址连接访问目标服务器。

图3为本发明另一个实施例的一种代理服务器的示意图，如图3所示， 该代理服务器300包括：访问请求处理单元310、连接处理单元320、缓存单 元330、预取处理单元340、黑名单存储单元350和黑名单维护单元360。

其中，访问请求处理单元310和连接处理单元320具有与图2所示的访 问请求处理单元210和连接处理单元220对应相同的功能，在此不再赘述。

在本发明的一个实施例中，该代理服务器300进一步包括：缓存单元330。 访问请求处理单元310，还适于将报文头的指定内容和访问目标服务器返回 的数据对应保存到缓存单元330中；在接收客户端的网络请求报文的报文头 后，根据报文头中的指定内容查询缓存单元330，如果缓存单元330中存在 相同的内容，则读取缓存单元330中与该内容对应的数据返回该客户端。

具体地，缓存单元330包括：一级缓存单元331和二级缓存单元332。

相应地，访问请求处理单元310，适于将报文头的指定内容保存到一级 缓存331中，将访问目标服务器返回的数据对应保存到二级缓存332中，并 建立两者之间的映射关系；在接收客户端的网络请求报文的报文头后，根据 报文头中的指定内容查询一级缓存单元331，如果一级缓存单元331中存在 相同的内容，则根据映射关系读取二级缓存单元332中与该内容对应的数据 返回该客户端。

此外，访问请求处理单元310，进一步适于将报文头的指定内容和访问 目标服务器返回的数据对应保存到缓存中时，进一步设置相应的过期时间； 在接收客户端的网络请求报文的报文头后，根据报文头中的指定内容查询缓 存时，如果缓存中存在相同的内容且未过期，则读取缓存中与该内容对应的 数据返回该客户端。

在本发明的一个实施例中，该代理服务器300进一步包括：预取处理单 元340，适于查询缓存单元330中的距离过期的时间在预设阈值内的数据， 对于这些数据进行预取处理。

在本发明的一个实施例中，该代理服务器300进一步包括：黑名单存储 单元350，适于存储黑名单；黑名单中保存了拒绝或重定向代理服务器300 发送的网络访问请求的访问目标服务器列表。

访问请求处理单元310，进一步适于将报文头中的访问目标服务器信息 与黑名单进行匹配；当匹配命中黑名单时，向客户端返回错误码。

在本发明的一个实施例中，该代理服务器300进一步包括：黑名单维护 单元360，适于分析访问日志，当发现多个客户端访问同一个网页所返回的 结果均异常时，对该网页进行验证；如果验证结果为该网页正常，则对该网 页相关的目标访问服务器信息进行计数，当计数达到预设条件时，将该网页 相关的目标访问服务器信息添加到黑名单中。

此外，黑名单维护单元360，适于通过客户端程序直接连接该网页对应 的目标访问服务器，并获得访问结果；根据获得的访问结果验证该网页。

需要说明的是，图2到图1所示代理服务器的各实施例与上文图1所示 方法的各实施例对应相同，上文已详细说明，在此不再赘述。

综上所述，本发明的技术方案在建立与访问目标服务器的连接时，不需 要接收完整的报文，而是在接收网络请求报文的报文头后，根据接收的报文 头中的信息建立与访问目标服务器的连接，由于建立连接时不需要接收网络 请求报文的报文体，降低了在此环节需要传输的数据量，因此缩短了传输时 间，提高了处理网络访问的速度，有利于提高代理服务器的性能，同时节省 了用户的等待时间，提高了用户体验。其次，本发明还对报文头指定内容和 访问目标服务器返回的数据进行缓存，并结合预取处理，提高网络请求命中 缓存的概率，节省连接访问目标服务器和从服务器传输数据的时间。再次， 设置黑名单机制，快速识别不可访问的网页，避免了无用的网络连接尝试， 节省了资源，同时充分利用访问日志，自动生成黑名单，节省人力，提高了 黑名单的准确性。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固 有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述， 构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定 编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容， 并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本 发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未 详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个 或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时 被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开 的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求 中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映 的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循 具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利 要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自 适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以 把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可 以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者 单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴 随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或 者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴 随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相 似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其 它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组 合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权 利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使 用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理 器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当 理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据 本发明实施例的代理服务器中的一些或者全部部件的一些或者全部功能。本 发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或 者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的 程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形 式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或 者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制， 并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实 施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要 求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于 元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以 借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在 列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个 硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。 可将这些单词解释为名称。