情感说话人识别中的基频失配及其补偿方法研究

摘要

随着计算机技术的发展和社会信息化程度的提高，说话人识别技术具有了越来越广阔的应用前景，同时用户对说话人识别系统的准确性和鲁棒性的要求也越来越高。在实际应用环境中，说话人识别系统的性能受到很多因素的影响，情感变化是其中最为常见的一种。我们将训练或者测试语料中包含情感语音的说话人识别称为情感说话人识别，训练与测试时说话人情感状态的不一致会改变说话人个性特征的分布，从而导致测试语音与训练模型的模式不匹配，极大地降低系统的识别性能。
　　 针对仅有中性训练语音的情感说话人识别问题，本论文从分析各种情感语音与中性语音的差异出发，以研究情感变化引发的基频失配为基础，利用基频与MFCC之间存在的关联，从情感补偿框架中的情感拓展、情感屏蔽、情感规整和得分补偿四个技术角度研究了相应的算法，来削弱情感变化对说话人识别性能的影响。
　　 本论文的主要贡献总结如下：
　　 1.提出了一种新的情感语音的划分与检测方法
　　 鉴于情感检测在情感补偿方法中的重要性以及目前情感识别算法的不可靠性，本文提出了一种依据模式失配程度来划分与检测情感语音的方法，根据不同情感语音与中性语音之间的差异，将情感语音划分为高差异类(愤怒、高兴和惊慌)与低差异类(悲伤)，由此提出了一种基于MFCC特征与韵律特征相结合的差异检测方法来区分这两类语音。
　　 2.首次研究了情感变化引发的基频失配问题
　　 从发音机制上研究了情感影响下基频失配产生的原理，分别从前人有关声源和声道之间互扰的研究、基频与MFCC的关联、基频失配与说话人识别性能间的关系三方面分析了利用基频失配来评估模式失配的可行性，并对通过修改基频降低基频失配来降低模式失配的可行性进行了详尽的实验分析。
　　 3.首次提出并研究了基于基频失配的情感补偿方法
　　 针对高差异类情感语音引发的模式失配问题，本文先用差异检测方法检测出该类语音，再通过拓展生成与之类似的情感语音，或者通过屏蔽、规整和得分补偿等方法消除其对系统的负面影响。具体方法如下：
　　 1)基于基频失配检测的情感屏蔽方法
　　 根据高差异类情感语音中基频偏高的部分相比基频偏低的部分与中性模型失配更严重这一特性，提出了基于基频失配检测的情感屏蔽方法，采用剔除和规整两种策略屏蔽语音的高失配部分，从不同程度上降低了情感测试语音与中性训练语音之间的失配程度。
　　 2)基于基频映射的情感拓展方法
　　 通过调节中性语音的基频均值来合成在特征分布上更接近于真实的高差异类情感的语音，以此构建说话人的“高差异类情感模型”，并将其与中性模型相结合，来提高说话人模型对多情感状态下的语音特征的描述能力。
　　 3)基于基频修正的情感规整方法
　　 从修正高差异类情感语音与中性语音之间的基频失配入手，通过使其基频均值趋向于中性语音来降低两者声学特征之间的不匹配程度，从而有效降低情感变化对说话人识别的影响。
　　 4)基于基频失配评估的得分补偿方法
　　 鉴于情感变化引发的基频失配与说话人识别率之间的相关性，以基频偏差区问内的说话人识别率作为该区间内语音帧得分的可靠性系数，依据语音高失配部分的基频均值所对应区间的可靠性系数对该部分帧得分进行加权，从而较大幅度地提高了系统的性能。