一种用于短文本的去重方法及装置

摘要

本发明实施例公开了一种用于短文本的去重方法，该方法包括获取短文本的文本串信息；对所述文本串进行分词，根据所述文本串的分词信息得到所述文本串的关键词；根据所述关键词对应的权重得到文本子串，所述文本子串包括阈值个数的关键词；去除所述文本子串的重复项。本发明实施例提供的技术方案，通过获取文本串的关键词，达到了对原文本串的泛化效果，提高了去重的泛化能力和效率，计算量小，实现了多个文本串间去重的效果。