一种基于预分类的短文本关键词提取方法及系统

摘要

本发明公开了一种基于预分类的短文本关键词提取方法及系统，该系统包括划分单元、生成单元、累计计算单元及提取处理单元。该方法包括：将短文本全量数据集划分为多个短文本子数据集；采用短文本预分类方式以及通用条数最优值，生成得到每一个短文本子数据集所对应的关键词特征词典；对每一个短文本子数据集进行关键词权重系数的累计计算；对短文本全量数据集进行关键词提取处理。通过使用本发明的方法和系统，能将整个计算过程拓展到分布式系统中，大大提高处理效率，而且利用短文本预分类方式还能提升短文本的TF‑IDF特征的表达效果，从而提高提取效果。本发明作为一种基于预分类的短文本关键词提取方法及系统可广泛应用于关键词提取领域中。