一种基于BM25算法的文本语料库的搭建和优化方法

摘要

本发明公开了一种基于BM25算法的文本语料库的搭建和优化方法，包括步骤1：由人工进行建立训练语料库，语料库组成来源可以是自写语料或数据库现有资源处理提取；步骤2：获取一定时间内电商评论数据，进行数据预处理，整理出语料库基础文本；步骤3：使用BM25算法计算评论语料库基础文本内容与语料库相似度，步骤4：根据i分组相似数据与不关联或低关联数据，对不关联或低关联部分数据做频率统计用以观察数据为业务作支持、新增或删减已有语料；对相似数据使用均值聚类将不存在的语料增加到语料库，完成语料库的优化。