一种基于深度语义路径搜索的短文本聚类方法

摘要

本发明属于文本特征向量化表示领域，公开了一种基于深度语义路径搜索的短文本聚类方法。对通用语料库进行预处理，得到所述语料库对应的词汇表；建立所述词汇表中各词语的实数向量；对短文本进行预处理，利用处理后的短文本对LSTM序列化模型进行训练，得到优化后LSTM模型；搜索短文本中词序列中有序的子序列组合，利用所述优化后的LSTM模型计算所述子序列组合的概率，利用所述概率选择所述短文本最优的语义路径；利用短文本间最优的语言路径通过余弦相似度计算得到短文本间相似度；将所述相似度作为聚类的参数对短文本进行聚类，得到最终聚类的结果；采用本发明可以有效的解决个别噪音词对解析整个短文本语义的干扰问题。