网页正文内容获取方法、装置、计算机设备及存储介质

摘要

本申请涉及数据采集领域，具体使用了数据爬取技术，采用网络爬虫的方式进行爬取，并公开了一种网页正文内容获取方法、装置、计算机设备及存储介质，对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容，将所述预留content内容进行合并处理以得到第一Block块，对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块，从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本，根据预设规则提取目标的正文内容。本申请利用网页标题及相关内容的特点，能够实现快速定位正文内容并进行爬取，避免遗漏正文重点信息，提高了爬取的精确度，还减少人工参与的工作量。