语音变化分析及其在孤立词识别中的应用

摘要

语音识别技术近年来取得了长足的发展，伴随着计算机和手机等体积小巧的便携式设备的普及，尤其是进入网络时代以后，各种基于语音识别的应用不断涌现。特别的，孤立词识别作为语音识别的一种由于其具备计算效率高、存储空间小和易于实现的优点，尤其是在实现中小词汇量的系统时既简单又高效，在特定场合中拥有广泛的应用。但是在实验室环境中表现良好的自动语音识别系统，在实际应用中却不得不面对由通道特性改变、背景噪音的干扰以及说话人特性变化等语音变化因素引起的系统性能严重下降的局面。因此语音变化对于语音识别系统影响的研究已经引起了学术界和工业界的关注。
　　 本文在调研引发语音变化的主要因素、孤立词识别技术及鲁棒性语音识别技术研究现状的前提下，在满足语音变化条件的语料库上分析通道特性和说话人情感状态对于语音识别三个层面：特征层、模型层和得分层的影响。然后本文在基于模板的和基于隐马尔可夫模型(HMM)的孤立词识别框架下研究对通道特性和说话人情感状态具备鲁棒性的孤立词识别技术。在基于模板的方法中本文通过基频修正算法、聚类选择模板的方法和通用向量方法(CVA)来提高系统对说话人情感状态的鲁棒性。而在基于HMM的方法中我们通过在特征层进行倒谱均值减和在得分层进行得分规整来提高系统对于通道变化的鲁棒性。实验结果表明这些方法不同程度的提高了孤立词识别系统对于通道变化和说话人情感状态引发的语音变化的鲁棒性。最后我们将鲁棒性孤立词识别技术在实际领域中进行了初步应用。
　　 本文的主要工作包括：1．采集与制作了汉语孤立词库MIWAC。2．在不同的语料库上通过多种手段分析了通道特性和说话人情感状态影响语音识别系统的特征分布、模型区分性和得分分布的规律。3．利用语音变化分析结果，在基于模板的和基于HMM的框架下研究了对于通道特性和说话人情感状态具有鲁棒性的孤立词识别技术。4．将提出的鲁棒性孤立词识别技术在移动媒体信息检索和家用电器控制领域实现了初步应用。

目录

文摘

英文文摘

论文说明：图表目录

第1章 绪论

1.1 课题背景与研究意义

1.2 孤立词识别介绍

1.3 语音变化

1.4 实用语音识别技术研究现状

1.4.1 特征域

1.4.2 模型域

1.4.3 得分域

1.4.4 其他方法

1.5 本文研究内容和组织结构

1.6 本章小结

第2章 实验语料库

2.1 汉语普通话情感语料库MASC

2.2 汉语孤立词库MIWAC

2.3 本章小结

第3章 语音变化分析

3.1 分析特征的选择

3.1.1 基音频率

3.1.2 能量

3.1.3 共振峰

3.1.4 梅尔倒谱系数

3.1.5 特征统计方法

3.2 特征层语音变化分析结果

3.2.1 基音频率分析结果

3.2.2 能量分析结果

3.2.3 共振峰分析结果

3.2.4 MFCC分析结果

3.3 模型层语音变化分析

3.3.1 Kullback-Leibler散度

3.3.2 Fisher F-ratio

3.3.3 语音变化下模型差异

3.3.4 通道特性影响下模型分析结果

3.3.5 说话人情感影响下模型分析结果

3.4 得分层语音变化分析

3.4.1 通道特性影响下的得分分析结果

3.4.2 说话人情感影响下的得分分析结果

3.5 本章小结

第4章 鲁棒孤立词识别技术研究

4.1 基于DTW的孤立词识别方法概述

4.2 基于HMM的孤立词识别方法概述

4.3 基频包络在模板方法中的应用

4.3.1 算法基本思想

4.3.2 基频修正算法

4.3.3 实验及结果分析

4.4 基于聚类选择模板的孤立词识别方法

4.4.1 模板选择算法

4.4.2 特征统计量的选取

4.4.3 实验及结果分析

4.5 通用向量方法

4.5.1 算法基本思想及流程

4.5.2 实验及结果分析

4.6 对通道变化鲁棒的HMM孤立词识别方法

4.6.1 倒谱均值减(CMS)

4.6.2 得分规整

4.6.3 CMS相关实验及结果分析

4.6.4 得分规整的相关实验及结果分析

4.7 本章小结

第5章 系统应用

5.1. 基于移动媒体的信息检索系统

5.1.1 韵河

5.1.2 基于移动媒体的信息检索系统的实现

5.2 在多模态通用遥控器GeeAir中的应用

5.3 本章小结

第6章 总结与展望

参考文献

攻读硕士学位期间主要的研究成果

致谢