对网页抓取的控制方法、动态更新黑名单和白名单的方法及相关装置

摘要

本申请提供一种对网页抓取的控制方法、动态更新黑名单和白名单的方法及相关装置。该网页抓取的控制方法包括：预先存储黑名单和白名单，在黑名单中指示有禁止出现在搜索网页上的敏感关键词，在白名单中指示有允许出现在搜索网页上的非敏感关键词，响应于对网站网页的抓取请求，从网站网页中提取出关键词；判断关键词是否在黑名单中，如果在黑名单中，拒绝抓取请求，如果不在黑名单中，判断关键词是否在白名单中，如果在白名单中，允许抓取请求，如果不在白名单中，拒绝抓取请求。通过本申请，可以有效控制网页抓取的范围，尽量避免在抓取到的网站网页上出现敏感关键词，一方面提高搜索质量，另一方面提高搜索引擎对信息收录的及时性和有效性。