基于网络爬虫和深度学习技术分析

摘要

本文简要介绍了网络爬虫与深度学习的概念,并在深度学习的基础上探究网络爬虫的应用方法,开展网页主题爬虫设计工作.在深度信念网络的应用下,通过网页转化、模型构建、建立分类器等方式,对网页内容概念进行展示,构建多层网页主题特征向量.根据实验测试结果可知,上述操作可在新特征下快速精准识别网页主题,促进爬虫页面识别率的提升.