基于大语料库英文TTS语音拼接单元的选择

摘要

人类对人机交互方式革新的需求为TTS技术的发展提供了机遇。近年来，基于大语料库的语音拼接合成方法被广泛采用，使得合成语音的自然度得到了大幅度的提高。单元选择完成从待合成文本的音标到最佳语音单元序列的转换，与合成的效果密切相关，是实现该方法的关键。对单元选择的研究主要包括拼接基元种类的选择、构造合理的代价函数及降低计算复杂度从而提高效率等。 基于当前对同一发音人中英文双语合成研究的需要，本论文的工作以一个基于大语料库的英文TTS系统的开发为背景，围绕设计语音拼接单元的选择算法展开，研究了面向拼接合成的协同发音现象、基于决策树CART的单元预选和基于混合基元的单元选择算法。主要工作内容和研究成果如下： 1.以听觉感知为标准，对英语连续语流中的协同发音现象进行了研究，总结了具有强协同发音效应的音联，并以此为基础，综合英语多音节、无限词汇的特点，确定了系统的拼接基元，建立了多层混合基元模型； 2.利用决策树CART实现语音单元的预选：针对不同种类的基元，通过CART离线聚类建立一系列反映文本环境属性和韵律信息之间映射关系的决策树，并将聚类的结果应用于在线单元预选，提高了单元选择的效率； 3.基于混合基元设计了高效的单元选择算法，提出了易于预选搜索的语料库结构、设计了适合不同种类基元的目标代价和连接代价、根据全局代价从候选单元网络中得到最佳拼接路径； 4.提出了构建常用词音库的思想，利用原始语料生成新的单词单元，作为对音库的扩充，其目的是保证常用词合成的质量，进一步提高单元选择的效率。 实验表明，对协同发音现象具有较好涵盖能力的混合基元模型的采用，大大优化了单元选择的效果，提高了合成语音的自然度。而决策树的引入以及语料库结构和常用词音库的设计在保证单元选择的准确率的同时，使得算法的效率有了很大的提高，保证了文语转换的实时性。

目录

文摘

英文文摘

学位论文版权使用授权书及同济大学学位论文原创性声明

第1章引言

1.1TTS技术概述

1.1.1 TTS技术的发展历史

1.1.2TTS技术的发展方向

1.1.3英文TTS在国内外的研究现状

1.2基于大语料库的英文TTS系统概述

1.2.1自然语言处理模块

1.2.2语音合成模块

1.3本论文的工作

1.3.1论文研究的目的和意义

1.3.2论文工作介绍和内容安排

第2章单元选择算法设计基础

2.1单元选择过程的数学描述

2.2算法设计的相关问题

2.3英语语音概要

2.3.1语音的韵律学特征

2.3.2单音和音节

2.3.3连续语流中的语音现象

2.4小结

第3章语音拼接基元的选取

3.1面向拼接合成的协同发音研究

3.1.1 C-V、V-C音联

3.1.2 C-C音联

3.2拼接基元的选取

3.2.1常用拼接基元

3.2.2混合基元(Hybrid unit)

3.2.3本文采用的拼接基元

3.3混合基元的提取

3.4小结

第4章决策树CART在单元预选中的应用

4.1单元预选的必要性

4.2 CART简介

4.2.1概述

4.2.2 CART建树过程中的一些问题

4.3基于CART的语音单元聚类

4.3.1决策属性的设计

4.3.2决策属性的取值

4.3.3不纯度度量及分裂停止条件

4.4小结

第5章基于混合基元的单元选择算法

5.1算法的整体框架

5.2基于混合基元的语音、语料库

5.3基于CART的在线单元预选

5.4最佳单元序列的选择

5.4.1目标代价和连接代价

5.4.2最佳路径选择

5.5常用词音库的构建

5.6实验结果分析

5.6.1原始语料实验

5.6.2任意文本实验

5.7小结

第6章总结与展望

6.1工作总结

6.2展望

6.3结束语

致谢

参考文献

附录A 2004年英文TTS系统的863测试样例

个人简历在读期间发表的学术论文与研究成果