中文语音关键词检出技术研究

摘要

随着深度学习的发展，深度神经网络（Deep Neural Network，DNN）与循环神经网络(Recurrent Neural Networks，RNN)已被成功应用于英文语音识别和语音关键词检出系统。本文主要研究了分别用深度神经网络-隐马尔科夫模型(Deep Neural Network-HiddenMarkov Model，DNN-HMM)和带有长短时记忆单元的循环神经网络(Long Short TermMemory RNN，LSTM-RNN)对中文声韵母进行声学建模，从而优化现有中文语音关键词检出系统性能。
　　本文首先介绍了连续语音识别的框架与原理，包括语音信号的特征提取、语音信号声学建模技术、发音字典和语言模型以及基于加权有限状态转换器的语音解码网络。其中语音信号特征提取包括感知线性预测系数、梅尔频率倒谱系数、滤波器组特征、基频特征四种声学特征。其次研究了基于连续语音识别器的语音关键词检出技术，包括基于网格结构建立索引、关键词搜索方法、关键词确认置信度以及语音关键词检出系统的评价指标。本文还研究了一种中文语音关键词检出系统，此系统采用高识别率的声韵母进行声学建模和检索，通过查表法将输入汉字字符形式的关键字转化为声韵母进行关键词检出。本文分别训练基于DNN-HMM的声学模型和基于LSTM-RNN的声学模型，搭建中文语音关键词检出系统，各得到了73.32％和79.84％的召回率，说明使用LSTM-RNN声学建模可以优化语音关键词检出系统性能。之后为搭建的中文语音关键词检出系统选取不同声学特征进行性能分析，结果表明基频特征可以一定程度上提高检出性能;然后采用融合置信度优化中文语音关键词检出系统性能;其次，对比两个系统在不同规格训练数据下的性能，讨论了各自的应用范围;最后，提出了一种召回率更高的基于系统融合的中文语音关键词检出系统。

目录

声明

摘要

1 绪论

1．1 课题背景与研究意义

1．2 发展历史与研究现状

1．3 论文的主要内容安排

2 连续语音识别框架与原理

2．1 语音信号的特征提取

2．1．1 感知线性预测系数

2．1．2 梅尔频率倒谱系数

2．1．3 滤波器组特征

2．1．4 基频特征

2．1．5 特征归一化方法

2．2 语音信号声学建模技术概述

2．2．1 声学建模单元选择

2．2．2 常见的声学模型

2．3 发音字典和语言模型概述

2．3．1 语音识别中的发音字典

2．3．2 语音识别中的语言模型

2．4 基于加权有限状态转换器的语音解码网络构建

2．4．1 加权有限状态转换器

2．4．2 混合语音识别器解码

2．4．3 端到端语音识别器解码

2．5 语音识别系统性能评价指标

2．6 本章小结

3 基于连续语音识别器的关键词检出技术

3．1 基于网格结构建立索引

3．1．1 网格结构概述

3．1．2 建立索引

3．2 关键词搜索方法

3．3 基于网格后验概率的置信度

3．4 关键词检出系统性能评价指标

3．5 本章小结

4 基于DNN-HMM声学模型的中文语音关键词检出系统

4．1 中文语音关键词检出系统

4．2 基于DNN-HMM的声学建模

4．2．1 DNN-HMM的网络结构

4．2．2 DNN-HMM网络的训练

4．2．3 DNN-HMM网络参数的选择

4．3 实验条件与结果分析

4．3．1 实验条件

4．3．2 硬件实验设备

4．3．3 相关数据准备

4．3．4 实验结果分析

4．4 DNN-HMM声学模型的应用范围以及存在的问题

4．5 本章小结

5 基于LSTM-RNN声学模型的中文语音关键词检出系统

5．1 基于LSTM-RNN的声学建模

5．1．1 LSTM-RNN的网络结构

5．1．2 LSTM-RNN网络的训练

5．1．3 LSTM-RNN网络参数选择

5．2 实验条件与结果分析

5．3 不同声学特征参数对检出系统性能影响分析

5．4 不同训练数据量对检出系统性能影响分析

5．5 融合置信度对检出系统性能影响分析

5．6 基于系统融合的中文语音关键词检出

5．7 本章小结

6 总结和展望

6．1 本文工作回顾

6．2 未来工作展望

致谢

参考文献

攻读硕士学位期间发表的论文和出版著作情况