基于NLP技术的日语词性赋码器信度研究

摘要

词性赋码在语料库建设中起着十分重要的作用,随着自然语言识别技术的不断发展,利用NLP技术对日语词性赋码成为可能.文章采用PyKNP、CaboCha和Yahoo!Dependency Parser三种基于NLP技术的日语词性赋码器对样本语料进行赋码及依存句法树分析,并对影响其赋码准确率的因素进行解读.结果表明,基于NLP技术的赋码器在赋码精度上有一定提升,并扩展了数据的解析维度.