跨领域模式下语料库信息智能筛选仿真研究

摘要

对跨领域模式下语料库信息进行筛选,能够提高语料库信息提取的完整性.针对当前跨领域模式下语料库信息智能筛选方法存在的筛选质量差,筛选执行时间较长,占用计算机内存较大问题,提出一种基于多层向量空间模型的跨领域模式下语料库信息智能筛选方法,通过编辑距离、向量余弦和Jaccard系数方法对跨领域模式下语料库信息文本的相似度进行评价,根据评价结果,将语料库信息划分为多个相对独立的文本段,根据文本段中索引项位置的不同,赋予文本段不同的权重,构建多层向量空间模型,并根据文本相似度确定模型相似度,根据相似度结果,完成跨领域模式下语料库信息智能筛选.实验结果表明,所提方法能够有效提高信息筛选的质量,且筛选速度较快,占用的计算机内存较少.