一种基于词典的lucene中文分词方法

摘要

本发明公开了一种基于词典的中文分词方法，首先收集语料，构建专业词典，构建方法为：首先去除停用词，将语料划分为文本片段，从文本片段中提取候选词，统计候选词和每个单字在所有文本片段中的出现概率，计算每个候选词中两个汉字的互信息，互信息大于预设的互信息阈值，则保留该候选词，否则删除该候选词，然后对筛选后的候选词进行合并，将合并处理后的候选词采用通用词典进行匹配过滤，将过滤后的候选词加入专业词典；对待分词文本先采用专业词典进行分词，剩下的文本再采用通用词典进行分词。本发明基于统计的方法从语料中抽取专业术语来构建专业词典，通用性较强，采用该专业词典进行分词可以有效满足专业领域的要求。