噪声鲁棒性语音识别：从特征提取到声学模型的研究

摘要

该论文的研究课题是噪声鲁棒性语音识别.因为语音识别系统在噪声环境中识别性能会严重下降,所以噪声鲁棒性是目前语音识别面临的主要问题之一.我们从特征撮到声学模型进行了一系列的研究工作,提出了一些新的鲁棒性语音识别方法.第一个方法是略帧法.略帧法在识别过程中对每帧的似然值加权,帧权值是帧信噪比的函数.略帧法克服了忽略特征法的缺点:一是特征参数可以使用倒谱参数;二是只需要通过帧能量估计信噪比,鲁棒性能较好.但略帧法不能弥补语音频谱受噪声的干扰.为了进行语音频谱的补偿,在第二个方法中我们提出了将离散全极点模型(DAP)用于特征提取过程中以提高特征参数的鲁棒性.DAP频谱克服了LP频谱峰值会偏向基频谱波的缺点,且在计算过程中可以对IS距离进行加权.我们用时频域信噪比对DAP加权.但该方法的性能受到信噪比估计精确度的影响.为了避开信噪比的估计,该文提出了第三个方法,一种新的子带加权自适应方法.该方法克服了传统子带法的两个缺点:一是保留了频谱带间的相关性;二是可以用自适应的方法对子带权值进行估计.我们分别提出了特征空间和模型空间的子带加权.根据最大似然自适应理论,分别提出了特征空间和模型空间子带权值自适应算法.以上的方法均基于HMM模型,在第四个方法中我们实现了基于HMM误差模型(HEM)的语音识别系统并提出了HEM的最大似然线性变换自适应算法,HEM是HMM的扩展,具有比HMM更灵活的拓扑结构.它将HMM的一个流(状态串)扩展到两个流,分别称为滤波模型和残差模型,而HMM是当残差模型为单高斯分布时的特例.与此相对应,HEM的自适应算法比HMM自适应自满MLLR更为灵活,我们可以分别对HEM的滤波模型和残差模型进行自适应.为了拒识插入噪声和集外词,在该文第五个工作中我们实现了基于填充模型和噪声模型的确信度判决法.我们使用所有声学模型单元的全连接网络作为填充模型,并对一些常见的短时噪声或突发噪声建立了噪声模型.该文还完成了一些相关的研究工作.在特征提取上,我们提出了一种结合MFCC和PLP的P-MFCC特征参数;提出了倒频域差分系数;对几种归一化能量(峰值归一化、均值归一化和标准归一化)的识别性能进行了比较.我们测试了基于能量和基于模型的端点检测的性能并对方法作了改进.为了在数据量有限的情况下提高音段切分的准确性,我们提出了一种自适应迭代切分标注方法,我们还提出了一种基于HMM的汉语韵律词基频模型.该模型既能有效地完成基频曲线生成,又能在大语料库语音合成中提高合成单元选择的准确性.

目录

文摘

英文文摘

第一章引言

1.1语音识别

1.2噪声鲁棒性语音识别

1.3 论文内容

第二章自动语音识别

2.1引言

2.2特征提取

2.3声学模型

2.4语言模型

2.5识别性能测试

2.6相关工作

2.6.1不同特征参数的性能比较

2.6.2P-MFCC

2.6.3倒频域差分系数

2.6.4端点检测

2.6.5能量归一化

2.6.6MLLR测试结果

2.6.7自适应迭代切分标注

2.6.8汉语韵律词基频模型

2.7小结

第三章略帧法

3.1引言

3.2略帧法

3.3信噪比估计

3.4实验结果

3.5小结

第四章离散全极点倒谱特征提取

4.1引言

4.2离散全极点模型

4.3特征提取过程

4.4信噪比估计

4.5实验结果

4.6小结

第五章子带加权自适应

5.1引言

5.2子带加权

5.3子带加权自适应

5.4实验结果

5.5小结

第六章HMM误差模型及其自适应

6.1引言

6.2 HMM误差模型

6.3 HEM自适应

6.4实验结果

6.4.1模拟实验

6.4.2Aurora2实验结果

6.5小结

第七章：确信度判决

7.1引言

7.2确信度判决方法

7.3确信度判决实现

7.4实验结果

7.5小结

第八章总结

8.1论文的贡献

8.2将来的工作

附录A：识别任务与数据库

A.1 Aurora2

A.2 Aurora3

A.3 Resource Management

A.4 NOISEX-92

A.5 863汉语连续语音数据库

附录B：特征参数的性能比较

附录C：HEM输出概率

附录D：残差模型自适应

附录E：滤波模型自适应

E.1滤波模型对角阵自适应

E.2滤波模型偏移矢量自适应

参考文献

致谢

已发表论文