基于规则的维文文字校对系统的设计与实现

摘要

随着社会的信息化不断深入发展，电子杂志、报刊、文档等各种电子出版物不断涌现。如何保证这些文本的正确性，已经成为自然语言处理研究人员关注的热点。目前的维吾尔语文校对方法多是以单词级别上的统计、比较方法为主，使用的校对系统模型比较简单，利用语言学知识也不丰富，因此开发一套基于维吾尔语的语言、语音规则的维吾尔语文字校对系统成为当前之急需。 本文围绕维吾尔语文字校对系统的设计与实现，在开发与设计中采用了可以快速开发和维护便利的面向对象的开发方法，结合软件工程开发理论，从实际需求出发，对目前需要解决的问题进行了详细的需求分析、设计实现与测试。本文详细讨论了维吾尔语文字校对系统的具体实现方法，研究讨论了维吾尔文词法库建立、多文种编辑器的设计、分音节算法、同化现象及其处理算法、语音和谐规律处理算法、多线程处理算法、侯选词的算法等技术。通过设计崭新的方案，建立维吾尔文词根与词缀库，实现了在词根和词缀切分方法，进行词法分析、语音分析，对错误的词进行自动修正或提供正确的候选词。本系统的多文种编辑器中实现了编码转换（非标准维吾尔文字符转换成维吾尔文Unicode与维吾尔拉丁文转换成维吾尔文Unicode）技术，给用户提供了方便，并保留了用非标准系统输入的数据。本系统中根据维吾尔文非等宽复杂文字的特征引用维吾尔文Open Type字库技术，为维吾尔文字的字形替换、定位、调整、Open Type字符引擎支持下的对维吾尔文非等宽字符的自动选型与混合编辑排版功能提供了便利。 由于技术水平上的限制，虽然国内已出现了一些商业性的和免费的维吾尔语文字校对系统，但是这些系统的技术细节没有公布，性能指标也不清楚。在这些传统的校对系统，维吾尔语言特有的现象被忽略，而独立于词法、语音法的成分被系统的收集。本软件的研制成功以更合理的方案在以维吾尔语的词法、语音法规则的基础上解决了维吾尔语文字校对问题。本系统功能、速度、稳定性等方面运行良好。本文提出的词根和词缀分开的分析方法，在自然语言理解、语音识别、机器翻译等领域更有发展前途。

目录

文摘

英文文摘

声明

1 绪论

1.1 论文背景和意义

1.2 国内外自然语言词汇信息处理研究现状

1.2.1 英文词汇信息处理研究

1.2.2汉文词汇信息处理研究

1.2.3 少数民族语言词汇信息处理研究

1.3论文主要工作

1.4论文结构

2相关技术

2.1 开发工具的选用及介绍

2.1.1 Visual C#语言

2.1.2 Microsoft Access 2003

2.2 Unicode

2.3维吾尔文Open Type字库开发技术

2.3.1 Open Type字形技术

2.3.2 Open Type脚本设计

2.3.3维吾尔文字符集

2.3.4维吾尔文Open Type特征脚本设计

2.3.5维吾尔文Open Type字库制作

2.4维吾尔语的语言、语音特征

小结

3 系统分析

3.1系统总体结构

3.2功能需求

3.3非功能需求

3.4运行环境

小结

4系统设计与实现

4.1设计原则和设计目标

4.2系统总体概述

4.3系统的界面功能的实现

4.3.1 维吾尔文字的书写规则

4.3.2非标准维吾尔文字符转换成维吾尔文Unicode

4.3.3 维吾尔拉丁文转换成维吾尔文Unicode

4.3.4维吾尔文自动选形

4.3.5给用户显示错词信息

4.3.6替换算法界面功能

4.4维吾尔文词法库

4.4.1数据库选择

4.4.2数据库结构

4.4.3分析校对过程

4.5分音节算法

4.6维吾尔语中的同化现象及其处理算法

4.6.1 维吾尔语中的同化现象

4.6.2同化现象的解决方案

4.6.3 同化现象的复原

4.7语音和谐规律处理算法

4.8多线程处理算法

4.9侯选词的算法

小结

结 论

参考文献

致 谢