基于无监督学习的思想政治教育领域文献分词方法及系统

摘要

本公开公开了基于无监督学习的思想政治教育领域文献分词方法及系统，包括：构建n‑gram语言模型，利用预先构建的训练集对n‑gram语言模型进行训练，生成字级n‑gram语言模型；接收思想政治教育领域文献的待分词文本，利用维特比Viterbi算法和训练好的字级n‑gram语言模型对输入的待分词文本进行分词并输出初始分词结果；基于初始分词结果，计算领域文献构词指标的词频偏差TFD；根据词频偏差TFD，计算排序词频偏差rTFD；利用计算得到的排序词频偏差rTFD，对初始分词结果中的初始分词词组的合并，实现对分词结果的优化并输出最终分词结果。