班智达藏文自动分词系统的设计与实现

摘要

分词是理解自然语言的第一步,在此基础上才能划分短语、抽取概念以及分析主题,以至自然语言理解,最终实现智能化。通过对85万字节藏语语料的统计分析和藏语词的分布特点、语法功能的研究,设计开发了基于词典库的班智达藏文自动分词系统。系统的研制为藏文输入法研究、藏文电子词典建设、藏文字词频统计、搜索引擎的设计和实现、机器翻译系统的开发、网络信息安全、藏文语料库建设以及藏语语义分析研究奠定了基础。