基于语音信号的情绪识别研究

摘要

在人机交互不断取得新进展的同时，计算机缺乏情感越来越成为双方交流的障碍，于是诞生了“情感计算”科学。语音情绪识别是情感计算的重要分支，在人机交互中有着广泛的应用。
　　本文以汉语语音中的情绪为研究对象，采用高斯混合模型和最大期望算法为主要手段，对语音情绪识别进行了探讨，并设计出了语音情绪识别算法，提高了人机交互的智能水平。
　　首先，分析人类的发音机理和汉语发音的几种特点；结合本课题的研究对象和录音脚本的选取原则，用诱导式录音法建立起了语音数据库；根据发音与情绪之间的关系提取出了能够表达情绪变化的特征参数，并用中心削波原理对自相关函数法计算基音周期进行了改进，提高了运算速度。
　　其次，分析了用高斯混合模型进行情绪分类的方法并加以改进，用期望最大算法将对数似然函数最大化，扩大了高斯混合模型对语音情绪的识别范围；编写了MATLAB程序完成了权值学习和情绪识别的过程，实现了对语音信号中的情绪分类；讨论了期望最大算法的收敛性。
　　最后，用凌阳公司开发的控制板和直流驱动的小车作为实验平台，实现了用语音情绪来控制小车的行进路线，验证了情绪识别的正确性；通过对情绪失控的探索，提出了利用情绪提高人机交互中的安全性的方法；对情绪程度进行了尝试性探索。

目录

摘 要

Abstract

第1章 绪论

1.1 课题来源及研究目的和意义

1.1.1 课题来源

1.1.2 研究目的和意义

1.2 关于语音情绪识别的国内外研究现状

1.2.1 媒体实验室的理论研究

1.2.2 NEC与SGI合作开发出的KOTOHANA终端

1.2.3 Nemesysco公司的分层分析技术

1.2.4 南加州大学关于发音学的研究

1.2.5 国内关于语音情绪识别研究的概况

1.3 对研究现状的分析

1.4 课题的主要研究内容

第2章 语音库的建立

2.1 引言

2.2 建立语音库的准则

2.2.1 语音库的取材范围

2.2.2 语音库录音时的自然性

2.2.3 语音采集的语境

2.3 录音脚本的选择

2.4 本章小结

第3章 语音信号的产生和接收及特征参数提取

3.1 引言

3.2 语音的产生与接收

3.2.1 语音的产生

3.2.2 语音的接收

3.3 对语音信号的预处理

3.3.1 采样和量化

3.3.2 短时加窗处理

3.4 语音信号的特征提取

3.4.1 发音速率

3.4.2 短时能量

3.4.3 短时过零率

3.4.4 端点检测

3.4.5 短时自相关函数及其基音周期和频率

3.5 特征参数与语音中情绪的对应关系

3.6 特征参数提取实验及结果分析

3.7 本章小结

第4章 语音中的情绪识别

4.1 引言

4.2 情绪识别原理

4.2.1 情绪识别方法的选择

4.2.2 高斯混合模型原理

4.3 EM算法理论

4.4 EM算法实现

4.4.1 EM算法的程序设计

4.4.2 EM算法的收敛性

4.5 情绪识别过程及结果分析

4.6 本章小结

第5章 语音情绪控制小车实验设计

5.1 引言

5.2 语音情绪控制实验小车模块

5.2.1 语音录入模块

5.2.2 特征提取模块

5.2.3 情绪判别模块

5.2.4 末端小车执行模块

5.3 语音情绪控制小车实验方案设计及结果分析

5.3.1 基本情绪测试

5.3.2 情绪失控测试

5.3.3 情绪程度测试

5.4 本章小结

结 论

参考文献

攻读学位期间发表的学术论文

哈尔滨工业大学论文原创性声明及使用授权说明

致谢