基于面部表情分析的情感语音识别

摘要

随着计算机在各个领域的广泛应用，语音识别作为人机交互的关键技术越来越受到人们的重视。为了更全面的反映说话人的信息，听视觉多模态语音识别逐渐成为研究的热点。语音情感识别是多模态识别的一种，它让计算机在识别语音内容的同时又能判别说话人的情感状态。本文以基于矢量量化（VQ）算法的孤立词识别系统和基于主成分分析（PCA）算法的图像识别系统为基础，构建听视觉情感语音识别系统。 孤立词识别系统包括声学层识别和语法层修正两部分。为了改善声学层识别系统的不足，本文研究了一种适用于孤立词识别、基于词汇、短句统计的2元语法规则。该语法模型由词语矩阵和短句矩阵两大部分组成，按照相应的规则对原始识别结果加以修正。测试实验表明，识别率在语法规则的帮助下有了较为明显的改善。 本文从摄像设备录制的连续视频流中抓取特定时刻的人脸表情图像，经过预处理和主成分分析，与表情模板库中的样本比较，进而判别图像所属的情感类别。 为了在时间轴上实现语音识别和图像识别结果的同步对应，首先在语音信号端点检测时，利用语音段之间的时间的差异产生标点符号，以标点符号的产生时刻作为图像识别程序从视频中抓取图像的时间点。再利用标点符号和图像的对应关系，把语音识别的输出结果和图像识别的输出结果进行融合，最终产生带有情感标记的语音识别结果。实验测试表明，这种综合识别系统能在识别语音内容的同时反映说话人的情感状况。

目录

文摘

英文文摘

声明

第一章绪论

1.1.引言

1.2语音识别技术的发展

1.3语音识别的主要方法

1.3.1动态时间规整模型(DTW)

1.3.2隐马尔可夫模型(HMM)

1.3.3矢量量化(VQ)

1.3.4人工神经网络(ANN)方法

1.3.5语音识别中的语言模型

1.4人脸表情识别技术的发展

1.5人脸表情识别的主要方法

1.5.1人脸检测与定位

1.5.2表情的特征提取

1.5.3表情识别方法分类

1.6论文内容安排

第二章语音识别系统

2.1系统原理

2.2语音库

2.2.1语法文本

2.2.2音库

2.3声学层语音识别系统

2.3.1预处理及端点检测

2.3.2提取MFCC特征参数

2.3.3基于VQ矢量量化算法的模板匹配

2.4语法修正模型

2.4.1词法层判别

2.4.2句法层修正

2.5实验结果分析

2.5.1实验说明

2.5.2实验结果分析

第三章表情识别系统

3.1表情识别过程

3.2表情库

3.3图像提取和预处理

3.3.1连续视频图像序列采样

3.3.2图像预处理

3.4基于PCA算法的表情识别

3.4.1训练模板库

3.4.2表情识别

3.5实验结果分析

3.5.1实验说明

3.5.2实验结果分析

第四章听视觉语音识别系统

4.1系统原理

4.2识别结果的同步融合

4.3实验结果分析

4.3.1实验说明

4.3.2实验结果分析

第五章结论

参考文献

致谢

硕士期间发表的论文