一种基于大数据和中文特征的中文文本分词方法

摘要

本发明公开了一种基于大数据和中文特征的中文文本分词方法，第一步：首先建立文本库；第二步：然后对文本库中的文章进行分词；第三步：再对切分词组进行拼接；第四步：拼接得到的词组进行词频统计；第五步：之后对不同候选词库中的词组进行相似度计算；第六步：最后对候选词库进行整合优化形成行业词典。算法运行稳定、效果良好，技术成熟；全切分分词方法获得输入句子的所有可能的切分形式，从根本上避免可能切分形式的遗漏，实现完备的歧义检测；结合上下文识别新词，自动消除和切分歧义，分词准确度更高；将网络电子文本作为自动分词资源，利用相关手段在电子资源库中直接获取需要的知识，应用范围广泛，不受待处理文本的领域限制。