基于贝叶斯网络的文语转换系统文本分析研究

摘要

贝叶斯网络是研究不确定性问题的重要方法之一。它是基于概率和统计理论，具有坚实的数学基础。由于具有自然的表达方式、强大的推理能力和方便的决策机制等优点，贝叶斯网络在许多领域得到了广泛的应用。而文语转换(TTS)是将文字信息按语音处理规则转换成声音信号输出的技术，它可以使计算机流利地读出文字信息，使人们通过听就可以明白信息的内容。由于汉语文字博大精深，其文本分析具有较大的不确定性，故传统的基于规则的文本分析方法不能很好的适应文语转换系统，特别是开放字集分析系统的需要。本文在贝叶斯网络基础理论框架的基础上，将其应用于文语转换系统中的文本分析中。本文主要讨论了贝叶斯网络的基础知识、文本分析的主要研究问题和基于贝叶斯网络的文本分析算法及实验结果分析等三个主要部分。 首先对贝叶斯网络的基础知识，包括贝叶斯网络的定义、符号表示进行了讨论；并在此基础上讨论了朴素贝叶斯分类器、树扩张朴素贝叶斯分类器、BAN分类器、贝叶斯多网分类器、通用贝叶斯网分类器等几种典型的贝叶斯网络分类器，进而讨论了各自的特点；为了降低贝叶斯网络的计算复杂性，讨论了上下文独立关系、因果独立关系，并讨论了独立关系的作用。 针对文本分析中研究的难点，主要讨论了句子边界的确定方法，在以符号作为文本分析的主要依据的基础上，给出了有歧义符号的判定算法，并给出了具体算法及其应用示例；针对特殊符号给出了特殊符号分析的方法，针对汉语中的英文和数字也进行了分类，并给出了相应的分析算法；讨论了消岐分词的两种主要方法——基于规则的方法和基于统计的方法，并进行了比较；给出了多音字的分类方法，按照多音字词性与字音的对应关系将多音字分为A类和B类，并针对不同类型的多音字给出了相应的分析方法，进而讨论了分析的效果。 在文本分析中，分词主要有两种技术手段：一个是基于规则的方法，另一个是基于统计的方法。基于规则的方法是处理确定性问题的重要手段，它具有充分吸取专家经验和更为直观、更易于获得的优点。而基于统计的方法则更鲁棒，性能更高。作为一种基于概率和统计理论的数据分析和辅助决策工具，贝叶斯网络适合于博大的中文文本分析工作。本文将文本分析与贝叶斯网络相结合，并选取测试数据进行测试。测试结果表明本文的算法在分词准确率、召回率、F指标等方面都优于其他算法；而对于多音字的辨析方面在不同的测试集上也表现出较好的性能。

目录

文摘

英文文摘

声明

第一章绪论

1.1.贝叶斯网络概述

1.1.1.贝叶斯网络的起源与发展

1.1.2.贝叶斯网络的类型

1.1.3.贝叶斯网络的主要特点

1.1.4.贝叶斯网络的应用

1.2.文语转换的研究现状

1.3.文本分析系统的组成

1.4.本文研究的意义及主要工作

第二章贝叶斯网络介绍

2.1贝叶斯网络的定义

2.2典型的贝叶斯分类器

2.2.1朴素贝叶斯分类器

2.2.2树扩张朴素贝叶斯分类器

2.2.3BAN分类器

2.2.4贝叶斯多网分类器

2.2.5通用贝叶斯网分类器

2.3.贝叶斯网中的独立关系

2.3.1.条件独立关系

2.3.2上下文独立关系

2.3.3因果影响独立关系

2.3.4独立关系的作用

第三章文语转换系统中常用的文本分析方法

3.1文本分析研究的主要内容

3.1.1句法分析

3.1.2歧义消除

3.1.3语言学知识的获取

3.1.4句子边界的确定

3.2特殊符号处理

3.3消岐分词算法

3.4多音字的处理

第四章基于贝叶斯网络的TTS分词方法

4.1分词问题描述

4.2基于贝叶斯网络的分词算法

4.2.1 FMM与BMM简介

4.2.2基于贝叶斯网络前后分析相结合的分词方法

4.3实验结果

4.3.1句子切分实验

4.3.2多音字辨析实验

第五章结论

5.1本文工作总结

5.2下一步的工作展望

参考文献

攻读硕士学位期间发表的论文和参与的项目

致谢