一种基于小样本半监督学习的网页数据抽取方法

摘要

本发明公开了一种基于小样本半监督学习的网页数据抽取方法，包括如下步骤：针对来自同一网页模板的相似性网页，选取一组样本网页，由用户手工选择并标注出需要抽取的数据项，称为标注数据项；根据标注数据项在DOM树上所对应的节点，称为标注节点，根据标注数据项在对应DOM树上的不同特征，构造一组关于该标注节点的初始候选特征集合；利用半监督式学习方法，确定初始候选特征集合中的最小关联性特征，推导出对该数据项泛化的抽取规则；对一个网页上拟抽取的每个数据项都进行规则推导，得到该网页上关于这组数据项的抽取规则；将抽取规则作用于相似性网页，抽取出一批数据。本发明能完成网页数据抽取规则的生成和网页数据的自动化抽取处理。