基于GMM/SVM和多子系统融合的与文本无关的话者识别

摘要

语音信号是用于个人身份辨识和确认的一种有效的生物特征,说话人识别的研究也是语音信号处理的一个重要的研究方向,其研究具有重要的理论意义和广泛的应用前景.近年来支持向量机(SVM)由于其具有强区分能力,尤其适合解决类似于话者确认这样的二元分类问题,因而成为模式分类研究领域的一个研究热点.该文将以SVM用于与文本无关的话者确认作为主要研究内容,对SVM话者模型的训练及匹配所存在的一些问题做了较深入的研究,同时对语音信号中所包含的激励源信息以及多信息、多子系统融合策略用于提高话者识别系统的性能及鲁棒性进行了深入的研究,主要研究内容与工作成果如下:1.针对直接采用声道倒谱特征参数时的SVM话者模型训练所面临的大样本情况下的训练效率低、不易收敛以及鲁棒性能不好等问题,提出了一种结合统计特征参数的GMM/SVM话者模型,由目标说话人和背景说话人的混合高斯模型(GMM)提取的话者统计特征训练建立SVM话者模型,从而有效地解决了SVM训练时的大样本等问题.2.研究讨论了语音信号中所携带的激励源特征及其动态参数对话者识别性能的影响,提出了一种以激励源信息作为辅助的主从系统结构策略,主系统为采用声道倒谱参数GMM-UBM系统,激励源参数采用SVM方式(SVM-PITCH),主辅系统在输出级用SVM实现非线性融合,从而可以有效的发挥两类不同特征信息对于说话人识别的互补作用,进一步提高了系统性i能及鲁棒性.3.针对训练语音和测试语音长度较短时,高斯混合模型不能取高混合度而导致的识别性能下降,提出了一种分类GMM和多子系统融合的系统方法.4.针对通过各种手机、电话通道传输的语音信号中不同频带范围受通道噪声和通道特性变化影响的不同,以及不同频带中所包含的话者个性信息对话者识别系统性能的影响与贡献不同,结合人耳听觉感知机理,我们设计了一种具有较宽的子带带宽以及具有更多的子带间交叠的基于子带GMM和SVM融合的与文本无关的话者确认系统(WSB-GMM/SVM),并通过与全频带系统相结合,大大提高了整个确认系统的性能.论文的研究工作得到了国家自然科学基金项目(60272039)和安徽省自然科学基金项目(01042205)的资助.

目录

文摘

英文文摘

第一章 绪论

§1.1引言

§1.2说话人识别概述

§1.2.1发展历程

§1.3话者识别的特征参数

§1.4说话人识别

§1.4.1说话人辨识

§1.4.2说话人确认

§1.5论文主要研究内容

第二章概率统计模型和辨别模型

§2.1引言

§2.2统计模型和辨别模型的分类特点

§2.3统计模型

§2.3.1隐马尔可夫模型(HMM)

§2.3.2高斯混合模型(GMM)

§2.4辨别模型

§2.4.1支持向量机(SVM)

§2.4.2神经网络

§2.5具有区分性的统计模型

§2.5.1 RBF函数网络

§2.5.2有区分性训练的GMM

§2.6本章小结

第三章支持向量机话者模型

§3.1引言

§3.2支持向量机

§3.2.1基于风险最小的机器学习方法

§3.2.2线性判决边界

§3.2.3非线性判决边界

§3.2.3核函数

§3.3 SVM模型的输出评分

§3.4基于支持向量机的话者确认系统

§3.4.1前端处理

§3.4.2 SVM模型建模中的几个问题

§3.5本章小结

第四章结合统计特征的GMM/SVM说话人身份确认

§4.1引言

§4.2 SVM话者模型训练所面临的问题

§4.2.1大样本情况

§4.2.2用于SVM训练的特征参数

§4.2.3支持向量个数过多的问题

§4.3结合统计特征的SVM话者模型

§4.3.1 GMM/SVM话者模型

§4.3.2 GMM/SVM模型训练算法—ReTrain

§4.4结合统计特征的GMM/SVM话者确认系统

§4.4.1系统结构框图

§4.4.2在MSRA语料库上的实验研究

§4.4.3在NIST'01语料库上的实验研究

§4.5基于特征映射的GMM/SVM话者确认系统

§4.5.1系统描述

§4.5.2基于特征映射的GMM/SVM话者确认系统的初步实验

§4.6展望—结合统计特征的SVM模型的扩展和改进

§4.6.1 G-SVM话者模型

§4.7本章小结

第五章激励源特征用于提高话者确认性能

§5.1引言

§5.2基音及其衍生参数

§5.2.1基音周期的提取

§5.2.2基音的动态参数

§5.3 SVM-PITCH话者确认辅助系统

§5.3.1激励源特征的模型选取

§5.3.2 SVM-PITCH话者模型

§5.3.3 SVM-PITCH话者确认系统

§5.4 GMM-UBM/SVM话者确认系统

§5.4.1不同特征信息子系统融合方式

§5.4.2 GMM-UBM话者确认主系统

§5.4.3 SVM融合

§5.5在NIST’01数据库上的实验结果

§5.5.1实验条件

§5.5.2 SVM-PITCH话者确认子系统的实验结果

§5.5.3核函数对SVM-PITCH系统确认性能的影响

§5.5.4冒认话者个数对SVM-PITCH系统确认性能的影响

§5.5.5 SVM-PITCH提高UBM-MAP确认性能的实验结果

§5.6展望—超音段特征对提高话者确认性能的影响

§5.7本章小结

第六章基于分类GMM和子系统融合的说话人辨识

§6.1引言

§6.2基于能量分类GMM和NN融合的说话人辨识系统

§6.2.1基于能量分类的高斯混合模型(E-GMM)

§6.2.2系统结构

§6.2.3神经网络融合

§6.2.4 E-GMM/NN在MSRA语料库上的实验结果

§6.3基于特征子空间分类GMM和NN融合的说话人辨识系统

§6.3.1特征子空间分类高斯混合模型(FS-GMM)

§6.3.2基于FS-GMM和神经网络融合的说话人系统构成

§6.3.3神经网络融合

§6.3.4分类空间个数的选择

§6.3.5 FS-GMM/NN在MSRA语料库上的实验结果

§6.3.6 FS-GMM/NN与E-GMM/NN的性能对比实验结果

§6.4基于多子带系统和SVM融合的说话人确认

§6.4.1子带MFCC的鲁棒性

§6.4.2 SB-GMM/SVM话者确认系统

§6.4.3 SB-GMM输出的SVM融合

§6.4.4子带划分

§6.4.5 SB-GMM/SVM在NIST'01语料库上的实验研究

§6.5本章小节

第七章总结与展望

参考文献

致谢

攻读学位期间的主要研究工作和论文发表情况