从非结构化文本中提取特征词的方法及系统、计算机程序

摘要

本发明属于计算机软件技术领域，公开了一种从非结构化文本中提取特征词的方法及系统、计算机程序，对于每一段文本，首先通过隐马尔科夫模型将句子拆分成单词，使用word2vec将单词映射成向量；通过k‑means算法，将文本中出现的所有单词聚类；一个词属于Top K类，则不是关键词，否则是关键词。实验结果表明，本发明提出的特征词提取方法，在识别率和误识别率方面明显优于TFIDF。结果显示，TF‑IDF识别率为34.13％，误识别率为82.9％；识别率为81.65％，误识别率为40.25％，识别率大幅提升了47.52％的同时误识别率降低了42.65％。