基于查询扩展的有限数据源数据获取方法

摘要

本发明公开了一种基于查询扩展的有限数据源数据获取方法，本发明通过查询扩展技术执行多次查询以获取尽可能多的记录，可以有效地避开返回记录数的限制；以最少的查询次数穷尽此类数据源中的相关文档，本发明通过多次查询直至穷尽有限数据源中所有相关文档；本发明将该方法应用与实际的信息检索中，能以较少的查询扩展次数从有限数据源中获取所有相关的数据。

说明书

技术领域

本发明属于信息处理技术领域，尤其涉及信息检索领域中的查询扩展以及局部上下文分 析方法。

背景技术

互联网可以视为一个不断增长的文本语料库，不同领域的专家学者建议将互联网上的资 源作为语料的获取来源。对语言学家而言，Web是重要的语言数据来源；自然语言处理领域 (NLP)，很多研究使用互联网上的文本数据并获得成功，研究包括机器翻译﹑术语抽取﹑拼音 检查和语法检查等。可以说，Web相当于一个巨型的免费语料库，收录不同类型资源的搜索 引擎、在线数据库便是开启这个语料库的“钥匙”，可以视作存储特定类型资源的数据源。许 多研究通过搜索引擎这类数据源获取语料数据建设新的语料库或优化现有语料库，通过获取 新闻文本数据用于舆情系统建设和新闻热点发现。然而这类数据源具有许多限制，首先他们 只存储采集自因特网的有限信息，其次这些数据源只向用户提供查询的接口，用户只能通过 查询从中获取与查询相关的数据，最后数据源对返回数据的数目也有较大限制。在本文中， 定义具有上述三点性质的互联网数据源为有限数据源。常见的有限数据源包括搜索引擎、数 字图书馆、视频网站等包含大量数据资源的信息服务系统。

虽然有限数据源可以为研究者提供大量语料数据，但是其有限的检索结果数限制了研究 者对数据的获取，根据2014年对通用搜索引擎的统计数据，谷歌网页搜索一次检索最多返回 400条记录，百度网页搜索一次检索最多返回760条记录，雅虎网页搜索一次检索最多返回 1000条记录。

针对上述问题，一种可行的方法就是通过多次拓展查询来穷尽相关数据，但是每次拓展 查询可能会有大量重复的检索结果，导致查询次数过多，数据获取效率低，无法获取所有相 关的数据。

发明内容

本发明针对上述现有技术所存在的问题，提供一种基于查询扩展的有限数据源数据获取 方法。

本发明的技术方案为一种基于查询扩展的有限数据源数据获取方法，包含以下步骤：

步骤1，用初始查询表达式Q在总文档数为N的有限数据源中检索，获取前n篇文档S， 构成初始查询的结果集R，对前n篇文档S进行正文提取、分词和词性标注，对所有词进行 词性过滤，从所有词中选取概念词集C，按公式(1)计算概念词集C中每个概念词c_i与查询 词w_i之间的共现度，根据概念词c_i与查询词w_i之间的共现度f(c,Q)，对所有概念词进行逆向 排序，选取前k个概念词作为扩展词集；

$f(c,Q)=\underset{w_i\in Q}{\Pi }{(\lambda +co\_\mathrm{deg}ree(c,w_i\left)\right)}^{idf\left(w_i\right)}$  公式(1)

其中，共现度计算公式中idf(w_i)为查询词w_i的逆文档频率，λ为常量；co_degree(c，w_i)为 每个查询词w_i与概念C之间的贡献数，概念C与初始查询表达式Q之间的共现度为概念C 与初始查询表达式Q所有的查询词w_i的共现数的成积和；idf(w_i)为查询词w_i逆文档频率， Sum(d)为有限数据源中的文档中数，d_wi为有限数据源中包含词w_i的文 档总数，idf(w_i)词语普遍重要性的度量；

步骤2，根据扩展词集构造查询表达式，查询表达式为S+t_i，然后进行k次查询得到k 个查询结果集；

步骤3，判断k次查询累积返回的不重复文档总数是否超过总文档数N，如果未达到， 则按照步骤1从每个初始查询的结果集R中选取m个扩展词，进行第二层查询扩展，此时总 共查询k×m次，此时的查询表达式为S+t_ii；其间，如果累积返回的文档总数超过总数N， 则停止；

步骤4，按照步骤2和步骤3迭代进行查询扩展，直到累计返回的文档总数等于总数N； 此累计返回的文档总数N指不重复的文档数；

优选的，所述的步骤2中，共现度计算公式中λ默认为1。

本发明的有益效果是：一种基于查询扩展的有限数据源数据获取方法，本发明通过查询 扩展技术执行多次查询以获取尽可能多的记录，可以有效地避开返回记录数的限制；以最少 的查询次数穷尽此类数据源中的相关文档，本发明能以较少的查询扩展次数从有限数据源中 获取所有相关的数据。

附图说明

图1是本发明的方法流程图。

具体实施方式

如图1，本发明提供一种基于查询扩展的有限数据源数据获取方法，包含以下步骤：

步骤1，用初始查询表达式Q在总文档数为N的有限数据源中检索，获取前n篇文档S， 构成初始查询的结果集R，对前n篇文档S进行正文提取、分词和词性标注，对所有词进行 词性过滤，从所有词中选取概念词集C，按公式(1)计算概念词集C中每个概念词c_i与查询 词w_i之间的共现度，根据概念词c_i与查询词w_i之间的共现度f(c,Q)，对所有概念词进行逆向 排序，选取前k个概念词作为扩展词集；

$f(c,Q)=\underset{w_i\in Q}{\Pi }{(\lambda +co\_\mathrm{deg}ree(c,w_i\left)\right)}^{idf\left(w_i\right)}$  公式(1)

其中，共现度计算公式中idf(w_i)为查询词w_i的逆文档频率，λ为常量；co_degree(c，w_i)为 每个查询词w_i与概念C之间的贡献数，概念C与初始查询表达式Q之间的共现度为概念C 与初始查询表达式Q所有的查询词w_i的共现数的成积和；idf(w_i)为查询词w_i逆文档频率， Sum(d)为有限数据源中的文档中数，d_wi为有限数据源中包含词w_i的文 档总数，idf(w_i)词语普遍重要性的度量；

步骤2，根据扩展词集构造查询表达式，查询表达式为S+t_i，然后进行k次查询得到k 个查询结果集；

步骤3，判断k次查询累积返回的不重复文档总数是否超过总文档数N，如果未达到， 则按照步骤1从每个初始查询的结果集R中选取m个扩展词，进行第二层查询扩展，此时总 共查询k×m次，此时的查询表达式为S+t_ii；其间，如果累积返回的文档总数超过总数N， 则停止；

步骤4，按照步骤2和步骤3迭代进行查询扩展，直到累计返回的文档总数等于总数N； 此累计返回的文档总数N指不重复的文档数；

在步骤2中，共现度计算公式中λ默认为1。