一种从新闻列表页抽取新闻记录元数据的方法及系统

摘要

本发明公开了一种从新闻列表页抽取新闻记录元数据的方法及系统。本发明首先获取目标新闻列表页的网页源代码，按照所述网页源代码对应的HTML文本顺序生成HTML标签树；然后遍历所述HTML标签树，计算每个HTML标签子树的文本链接比得分，将文本链接比得分大于设定阈值的标签子树进行合并，获取一棵最大候选子树；最后从所述最大候选子树中抽取新闻记录元数据列表。采用本发明，用户只需输入新闻列表页，无需配置模板即可得到新闻记录，完全实现了新闻资讯网站列表页新闻记录抽取的自动化、无人化。而且无需关心新闻网站将来是否改版，极大降低了维护和使用成本。