一种基于条件随机场的越南语分词方法

摘要

本发明涉及一种基于条件随机场的越南语分词方法，属于自然语言处理技术领域。本发明包括首先对提取出的越南语语料进行分词建模，再把待分词的句子级测试语料通过建好的模型进行分词。本发明提出的基于条件随机场的越南语分词方法，对越南语句子实现了有效的切分，为词性标注、句法分析和机器翻译等工作做铺垫；通过与现有的越南语分词工具VnTokenizer比较，本文的越南语分词方法在准确率、召回率和F值上都有1％左右的提高；本文的越南语分词方法在同样的测试语料上分词的速度要比VnTokenizer快。