改进的稀疏最小二乘支持向量机在语音识别中的应用

摘要

语音识别是一种最直接、最便捷的人机交互手段，属于多维模式识别的范畴。最小二乘支持向量机是机器学习领域目前研究较热的一种模式识别算法，作为标准支持向量机的一种扩展，具有小样本学习、能够避免“高维维数灾难”和模型训练算法简单易实现的优点，因此适用于复杂的语音信号的识别。但其具有解的稀疏性缺失的缺点，造成模型复杂度的提高和系统识别速度的降低，本文针对这个问题展开了研究，具体研究内容如下:
　　(1)深入研究了语音识别系统和最小二乘支持向量机原理，将最小二乘支持向量机引入到语音识别系统中，克服了传统语音识别方法中隐马尔可夫模型需要先验分布知识、人工神经网络容易出现“过学习”的缺陷。
　　(2)仔细研究了模型参数对系统的学习能力和泛化能力的重要性，提出采用粒子群全局优化算法结合K折交叉验证的方案进行最佳参数寻优，避免了人工手动调试复杂和网格算法耗时长的问题。
　　(3)在深入研究最小二乘支持向量机稀疏性缺失的原因和语音样本特征维数对模型性能影响的基础上，提出采用基于独立成分分析的最小二乘支持向量机稀疏化方法。该方法首先采用独立成分分析方法进行语音特征降维;然后在模型训练之后采用基于独立成分分析的快速剪枝算法对核矩阵进行约简，约简过程中采用峰度和偏度的组合作为独立成分重要性的度量指标，以此来解决独立成分的排序问题。韩语语音库上的实验表明，该算法在有效实现模型稀疏化的同时保证了模型识别精度。
　　(4)针对非支持向量参与模型训练会造成模型复杂度提高和模型识别性能降低的问题，本文从数据挖掘和支持向量的几何分布含义两个方面出发，提出了基于支持向量预选取的最小二乘支持向量机稀疏化算法。该算法在模型训练之前，将K均值聚类算法提取的关键表征样本和中心距离比值算法选取的边界样本的并集作为预选支持向量，从而有效实现了稀疏化。经韩语语音库和Aurora-2语音库实验表明，该方法在几乎不损失识别精度的基础上提高了识别速度，达到了稀疏化的目的。

目录

声明

摘要

第一章 绪论

1．1 课题研究背景与意义

1．2 语音识别的发展与现状

1．3 语音识别系统面临的问题

1．4 本文完成的主要工作

1．5 本文结构安排

第二章 语音识别系统基础理论

2．1 语音识别的基本原理

2．2 语音信号预处理

2．2．1 预滤波

2．2．2 预加重

2．2．3 加窗和分帧

2．2．4 端点检测

2．3 语音信号特征提取

2．4 模型训练及模式匹配

2．4．1 隐马尔可夫模型

2．4．2 人工神经网络

2．4．3 支持向量机

2．5 本章小结

第三章 最小二乘支持向量分类机理论

3．1 统计学习理论

3．1．1 VC维

3．1．2 结构风险最小化

3．2 支持向量分类机(SVM)

3．2．1 线性支持向量机

3．2．2 非线性支持向量机

3．2．3 多类分类方法

3．3 最小二乘支持向量分类机(LSSVM)

3．3．1 最小二乘支持向量分类机原理

3．3．2 最小二乘支持向量机的稀疏性

3．4 模型参数的选择方法

3．5 本章小结

第四章 基于独立成分分析的LSSVM稀疏化算法

4．1 独立成分分析(ICA)

4．1．1 独立成分分析算法的基本思想

4．1．2 独立成分分析算法的快速实现

4．2 ICA_LSSVM稀疏化算法

4．2．1 ICA_LSSVM稀疏化算法的提出

4．2．2 ICA_LSSVM稀疏化算法中的特征降维

4．2．3 ICA_LSSVM稀疏化算法中的核矩阵约简

4．2．4 ICA_LSSVM稀疏化算法的实现

4．3 实验仿真与分析

4．3．1 实验环境与数据库介绍

4．3．2 实验结果与分析

4．4 本章小结

第五章 基于预选支持向量的LSSVM稀疏化算法

5．1 基于K均值聚类的LSSVM的稀疏化

5．1．1 K均值聚类(K-means)

5．1．2 基于K均值聚类的LSSVM稀疏化算法

5．2 基于中心距离比值的LSSVM稀疏化算法

5．3 改进的LSSVM稀疏化算法

5．3．1 改进的LSSVM稀疏化算法的基本思想

5．3．2 改进的LSSVM稀疏化算法的实现

5．4 实验仿真与分析

5．4．1 实验环境与数据库介绍

5．4．2 实验结果与分析

5．5 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

致谢

攻读学位期间发表的学术论文目录