一种面向词典集的复杂从属结构网页信息抽取方法及系统

摘要

本发明公开了一种面向词典集的复杂从属结构网页信息抽取方法：根据页面标识判断页面是否完整并返回目标完整html页面；根据语义相关性将预设语种主标题挂接至定义的规则表示词典集中对应的规则表示中，生成全表示词典集；从复杂从属结构页面下提取全文本内容并最终形成目标文本内容，并用规则表示词典集中的规则表示替换全表示词典集分割目标文本内容得到包含每个规则表示子集的全分割复杂从属文本集；合并全分割复杂从属文本集中相同规则表示的子集内容并将其作为每个规则表示的全内容；基于新发布页面重新抽取主标题内容动态扩充全表示词典集。本发明解决了传统的网页的信息解析方法中不同站点之间内容主题相同但页面结构不统一而导致的解析困难的问题。