识别网络爬虫以及提取网络爬虫特征的方法及装置

摘要

本发明公开了识别网络爬虫以及提取网络爬虫特征的方法及装置，此方法包括：确定用户访问特征集中的子集，此子集中的访问特征的访问参数与整体业务访问特征集中的至少一访问特征的访问参数相同；根据子集与整体业务访问特征集确定出综合访问特征集；从作为训练数据的历史日志中获取样本用户的用户访问特征集和综合访问特征集的合集中各访问特征的值，根据合集中各访问特征的值从合集中选择出重要访问特征集；根据重要访问特征集检测待检测用户是否为爬虫。通过本发明获得的爬虫特征具有代表性，通过有效性监控如果随时间推移出现误判则可以调整重要访问特征及相应的规则，最终达到较高的爬虫检测的精确率和召回率。