一种基于neo4j图形数据库自动提取网页正文内容的方法

摘要

本方法公布了一种基于neo4j图形数据库自动提取网页正文内容的方法。本方法包括：步骤S101，利用模拟浏览器请求技术从开源渠道获取网页的HTML源码作为训练集合；步骤S102，提取HTML标签并将HTML源码转换为树形结构；步骤S103，遍历树中的所有节点提取出表示节点之间关系的三元组；步骤S104，利用neo4j图形数据库将关系三元组转换成图；步骤S105，通过节点压缩和枝节压缩，去除图中的冗余节点；步骤S106，提取多维特征，通过机器学习训练正文节点分类模型；步骤S107，利用分类模型提取出网页中的正文节点，并由正文节点的子节点按顺序恢复出完整的网页正文内容。本发明提供了一种简单易用、准确高效地提取网页正文内容的实现方法。