一种用于HMM的分词训练语料标注方法

摘要

本发明公开一种用于HMM的分词训练语料标注方法,属于大数据语言处理领域；利用trie将已有实体词词典的内容构建成字典树：构建trie字典树函数，标注字典文件全路径及文件名，将字典文件中每个词加入Set，利用开源org.ahocorasick.trie将输入的词加入trie树，从字符串中识别出trie树包含的词函数，读取特定文档，判断是否有文本行，若有则取出文本行与字典树匹配，匹配成功的词加入tagList中，遍历tagList，在待识别实体词的特定文档中识别出的词的一部分，按HMM构建模型时的需求将实体词按词首和词中进行标注状态的语料标注。