一种基于藏文句子级别的藏文论文复制检测方法及系统

摘要

本发明是一种基于藏文句子级别的藏文论文复制检测方法及系统，方法对藏文文本字符编码转换及噪音去除的预处理；利用藏文句子边界识别把文本按句子分成文本块并建立文本块分词临时表；根据句子数在句子‑文档倒排索引表和临时表中提取并计算文本特征得到句子相似度；利用句子相似值建立邻接表并计算文本块相似度，根据文本块相似值来检测两篇藏文论文存在的复制。所述系统包括通过因特网连接到客户终端服务器的藏文论文复制检测装置，以及连接到所述服务器存储藏文论文的数据库；所述装置包括对文本字符编码转换及去除噪音的预处理模块；构建文本块分词的临时表模块；构建句子文本特征的提取模块；检测论文存在相似复制数据的复制检测模块。