基于词嵌入的流形主题模型的建模方法

摘要

本发明涉及自然语言数据处理领域，提出一种基于词嵌入的流形主题模型的建模方法，包括以下步骤：输入文档集D，将文档集D中的词训练成词嵌入xdn，将所有词嵌入xdn进行归一化处理，并初始化先验参数m,σ2,μ0,C0,α及主题zdn；根据当前的先验参数计算主题‑词分布密集度κ，主题‑词分布的均值向量μ，以及文档‑主题分布πd，然后求出文本中每个词嵌入xdn的主题zdn；执行EM算法的E步，更新变分近似分布q的变分参数λd,ψ,γ,ρ；执行EM算法的M步，通过变分参数更新先验参数，并更新文本中每个词嵌入xdn的主题zdn；计算变分下界vLB，判断vLB是否达到最大值，若是，则输出所有词嵌入xdn的主题zdn；若否，则跳转至步骤二。本发明能够在流形空间中更好地捕捉词嵌入的结构信息，有效避免数据结构信息丢失的问题。