非结构化文本数据增强型分布式大规模数据维度抽取方法

摘要

本发明提供了一种非结构化文本数据增强型分布式大规模数据维度抽取方法，包括文本分词，词频统计，输入文本主题提取以及过滤主题词，输入文本主题提取：根据抽取所关注的目标领域，确定目标领域的主题词集合，通过计算得出在输入文本中主题词与主题词所有左侧词共同出现时的稳定性，通过训练设定第二阈值，将稳定性与第二阈值做对比，当稳定性不小于第二阈值时，能得到输入文本主题相关的左侧主题词的集合。有效将海量非结构化文本数据转换为结构或半结构化数据，从而为数据分析挖掘提供良好的支持。对于解决大量非结构化文本的结构化分析这样的复杂问题具有较好的效果。