一种基于子块过滤的分布式代码克隆检测与搜索方法、系统及介质

摘要

本发明公开了一种基于子块过滤的分布式代码克隆检测与搜索方法、系统及介质，本发明方法包括对用户代码和代码库源代码分别分组并行进行预处理得到包含Token及其频率信息的中间文件；根据所有中间文件建立全局Token频率表；将代码库源代码的代码块利用全局Token频率表分组并行处理，建立索引得到索引库；利用子块过滤机制，从用户代码中提取出关键字查询索引库，得到用户代码的代码块所对应的候选集；针对用户代码中的每一个代码块，计算该代码块与其对应的候选集中的每一个候选代码块之间的相似度，若相似度超过预设则判定为克隆对。本发明具有检测语言无关的特性，检测和搜索效率高，适用于大规模代码的克隆检测及搜索，支持用户查询代码。