基于多语种语音信号的情感识别研究

摘要

语言是人类特有的表达情感的重要工具，话语中不仅包含语义信息，也包含人们特定的情绪心理特征。传统的语音处理系统往往着眼于内容的准确性，忽略了对心理特征的研究。近年来，随着人机自然交互、心理检测、智能机器人等诸多领域的应用需要，针对语音信号分析辨识其中的情感特征，受到越来越多的研究人员的关注，语音情感识别成为语音处理领域一个新的研究热点。但是，目前对情感识别的研究还不深入，在情感语音数据库的建立、情感特征参数提取、情感识别方法等诸多方面的研究还没有形成系统的理论。研究人员对英语的分析较多，而对汉语的研究较少。另外，情感参数的选取主要集中在语音声学方面，而对融合了语义、面部表情、人体生理信息的多模式识别研究较少。因此，可以说语音情感识别尚处于初步阶段，还有许多工作须要深入下去。
　　 本文以多语种情感语音为研究对象，对语音情感数据库的建立、语音声学特征参数的提取、基于声学特征的情感识别、结合语义的情感识别等问题进行了深入的研究，主要包括以下内容：
　　 第一，选择平静、高兴、愤怒、惊奇和悲伤5种情感状态，在实验室环境下录制情感语音样本，建立包括汉、英、日、韩、俄等在内的多语种情感语音数据库。
　　 第二，分析了不同情感状态下多语种语音信号的声学特征，提取了韵律特征参数，对不同语种的情感语音进行了声学特征的比较，得出了语音情感特征的一般规律，即在同一情感状态下，不同语种的声学特征存在相似性。
　　 第三，以多语种情感语音数据库为样本集，分别运用主元素分析法及高斯混合模型法进行了情感识别实验，其中主元素分析法取得了74.2％的平均识别率，高斯混合模型法则获得了78.1％的平均识别率。
　　 第四，在分析声学特征的基础上，结合语义信息对语音情感进行识别。首先对带有情感色彩的词汇进行标注，通过动态时间规整算法识别语句中的情感关键词，提取语句的语义信息。然后将语音信号的韵律特征与语义信息结合，采用高斯混合模型法进行识别。实验结果表明，结合语义信息的情感识别率比单纯使用韵律特征的识别率高3个百分点。
　　 本文的主要创新，一是建立了多语种情感语音数据库，通过声学特征参数的提取、分析，得出了语音情感特征的一般规律；二是在韵律特征的基础上结合语义信息，进行了情感识别实验，获得了比使用韵律特征更高的识别率。