一种基于HDP模型的文档信息提取方法

摘要

本发明公开了一种基于HDP模型的文档信息提取方法，包括步骤：S1、构建引入窗口机制的WHDP模型；S2、获取待提取信息的文本数据，并对其进行预处理；S3、将预处理后的文本数据输入到WHDP模型中进行处理，提取对应的文档主题分布和主题单词分布作为文本信息提取结果。本方法结合吉布斯采用和消息传播算法实现更新主题概率和动态更新主题个数；利用窗口及移动窗口保证了文本单词的顺序性，降低文本语义的混淆，本发明提出的WHDP模型有更好的收敛性、泛化性，既能自动确定海量文本中的文档主题数，又能避免推理过程词文本上下文信息的丢失。