基于pythonQT及智能算法的快速规则定制方法

摘要

本发明公开了基于pythonQT及智能算法的快速规则定制方法，涉及网页规则定制技术领域。本发明包括输入待爬取页面的URL，客户端通过URL加载页面；基于selenium提取页面中导航列表项；通过智能算法提取详情页正文部分；通过js技术从页面中获取页面元素规则，返回客户端；规则上传服务端，后台爬虫程序根据规则进行爬取。本发明通过selenium提取页面中导航列表项并过滤掉纵坐标大于浏览器高度的标签以及横坐标相同的个数小于基准值的标签；之后再通过智能算法提取详情页正文部分，避免了通过人工分析网站定制网页规则不适用多种繁杂的网站页面规则定制的问题，适用于与不同网站网页规则定制，提高网页规则定制效率。