一种基于倒排索引的评估类文档不定长词句的查询方法

摘要

一种基于倒排索引的评估类文档不定长词句的查询方法，它涉及数据科学领域的索引方法以及NLP领域的分词方法，解决了评估类文档不定长词句的查询问题。本发明的步骤为：一、对待查询文档进行数据预处理，利用jieba分词方法进行分词处理，得到单词词典与词频信息；二、基于完全重建策略的倒排索引原理建立自适应倒排表；三、结合待查找不定长词句的信息，通过自适应倒排表索引词句中各个单词位置信息，识别不定长词句位置信息并索引其所在段落，来完成评估类文档不定长词句的查询功能。本发明的基本思想是对文本数据进行分词，建立倒排索引，进而实现快速搜索不定长词句，从而实现对评估类文档的查询功能。应用场景广泛，因而具有很高的社会经济价值。