基于LSH技术的试题相似度检测方法

摘要

试题内容重复率是评价试题库及试卷质量的重要指标之一,为了快速找出题库中的相似试题,本文主要研究了基于K-shingles的Jaccard相似度、MinHash和LSH技术应用于相似试题的检测方法。此方法首先将题干内容进行中文分词,进行适当处理后转换成K-shingle集,通过MinHash计算出签名,最后使用LSH技术快速地找出候选相似试题对并计算出相应的Jaccard相似度,若该相似度大于给定的阈值,则发现相似试题。该方法通过在题库系统中的使用,充分验证了该方法的可行性,达到了很好的效果。