一种爬虫检测方法、web应用云防火墙、装置和存储介质

摘要

本申请涉及一种爬虫检测方法、web应用云防火墙、装置和存储介质，通过获取站点的爬虫数据，其中，爬虫数据携带有来源IP地址、用户代理信息和时间戳；将来源IP地址和预设IP地址进行匹配，根据相匹配的预设IP地址携带的标签初步确定来源IP地址的恶意倾向，其中，标签所指示的恶意倾向从高到低排列分别包括第一等级、第二等级和第三等级；在来源IP地址的恶意倾向属于第二等级的情况下，根据爬虫数据生成各用户代理的爬虫特征信息，并将爬虫特征信息和爬虫行为规则进行匹配，根据相匹配的爬虫行为规则最终确定用户代理的恶意倾向，解决了相关技术中爬虫检测方法存在检测不够准确的问题，提升了爬虫检测方法的准确度。