基于国际标准编码的蒙古文词切分系统构建

摘要

蒙古族历史与文化源远流长，蒙古族的语言文字是蒙古族社会交际的工具。在当今信息化、全球化大背景下，蒙古语言文字的信息化对促进蒙古语言文字的学习、使用、研究和发展具有重要意义。 蒙古文词切分是蒙古文词法分析、机器翻译、信息检索、文本分类、篇章处理等众多工作的基础和前提。由于历史、地域、文化等诸多原因，导致多种蒙古文编码共存，从而使得大量信息资源无法共享。蒙古文国际标准编码的问世结束了原来的多种蒙古文编码在应用中各自为政的历史，但由于国际标准编码为基础的研究才刚刚起步，大量的基础性的工作急需启动和研究，因此，本文围绕蒙古文切词问题，开展了以下工作: 首先，本研究整理和校对了110万词的国际标准编码的蒙古文语料及文档资料库，这些资料可作为蒙古文信息处理后续工作的基础性资料。 其次，深入研究了蒙古文构词法的特点，并提出考虑了语境关系和词内各成分高耦合度的词切分模型。同时深入研究了蒙古文构词法的特点及蒙古文语境关系，并提出了相应的机器学习方法以提高系统切分蒙古文词的精度和速度。 此外，对基于国际标准编码的蒙古文词切分模型进行了分析和比较研究，提出了15种蒙古文词切分方法的评价方法和有效性计量公式。 另外，给出了基于国际标准编码的蒙古文词切分系统的设计方法和整体框架。 最后，完成了基于国际标准编码的蒙古文词切分软件系统和结果分析。 基于蒙古文国际标准编码的蒙古文词切分系统不仅把蒙古文信息处理工作引入到国际标准编码为基础的研究领域，同时也为蒙古文信息处理工作提供了标准化的蒙古文资源，因此，本文的工作对促进蒙古文信息化工作具有一定的意义。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 研究意义

1．3 国内外研究现状

1．3．1 国内外关于词切分方法的研究状况

1．3．2 蒙古文信息处理研究概况

1．3．3 蒙古文词切分方法的研究进展

1．4 研究内容与论文组织结构

1．4．1 本文的主要工作

1．4．2 论文的组织结构

第2章 蒙古语国际标准编码及其信息化

2．1 蒙古语及其国际标准编码

2．1．1 蒙古文词语

2．1．2 蒙古语词根、词干和词缀

2．1．3 蒙古文正字法

2．1．4 蒙古语国际标准编码

2．2 基于国际标准编码的蒙古文语料库的构建

2．2．1 语料库的建设原则

2．2．2 蒙古文词切分系统语料的选择与构建

第3章 基于国际标准编码的蒙古文词切分模型及其分析

3．1 蒙古文词切分模型介绍

3．1．1 统计语言模型基本原理

3．1．2 主要的统计语言模型

3．1．3 条件随机场模型

3．2 蒙古文词切分模型的研究与分析

第4章 蒙古文词切分方法及其词切分系统设计

4．1 基于国际标准编码的蒙古文词切分方法的设计

4．1．1 基本的蒙古文词切分方法

4．1．2 组合型蒙古文词切分方法

4．2 基于国际标准编码的蒙古文词切分方法的比较研究

4．2．1 基于国际标准编码的蒙古文词切分方法的评价标准

4．2．2 基于国际标准编码的蒙古文词切分评价方法

4．2．3 基于国际标准编码的蒙古文词切分的综合评价方法

4．3 基于国际标准编码的蒙古文词切分系统设计

4．3．1 系统总流程

4．3．2 系统设计说明

第5章 蒙古文词切分系统的实现

5．1 词切分系统实验软硬件环境

5．2 词切分系统工作详述

5．2．1 语料的标准化处理

5．2．2 语料的预处理过程

5．2．3 词切分处理过程

5．3 词切分实验

5．4 蒙古文词切分系统实验结果的综合分析

第6章 总结与展望

6．1 总结

6．2 展望

参考文献

攻读硕士学位问发表的论文及参加的科研项目

致谢

附录