基于深度学习的文本语音耦合情感识别方法研究

摘要

人机交互领域研究是目前智能技术应用研究的重要方向之一，自然语言理解是人机交互的重要完成途径，其中情感识别技术对于实现自然人机交互起到至关重要。同时随着多交叉学科以及计算机科学相应的模式识别技术共同发展，情感识别研究任务，作为人工智能中的一个重要领域在理论研究和实际应用上都获得了较大的发展。
　　在人机交互过程中，基于面部表情的情感识别研究中主要面临的问题为信号采集以及信息处理，这种方法对硬件设备的有着较高要求。语音的获取以及对话内容可以通过同种路径获取，文本信息属于语音承载内容，两者在处理上具有同一性，因此基于语音信号情感识别方法与基于文本信号处理方法可以归类实现，在此研究背景下，考虑单独处理语言和文本上的局限性，本文将结合语言和文本两种模态进行情感识别任务。本文的主要研究内容和工作有:
　　1.语音情感数据库的整理工作，本文将移动客服通话数据作为实验数据，对语音数据进行情感标记处理以及文本识别处理，并对整通话按句子切分处理，从而完成对语音数据库进行整合工作。
　　2.基于文本的情感识别研究。本文采用多种统计方法以及语义层特征提取方法对文本内容进行特征提取，同时考虑了短文本在情绪表达时的特点，并结合文本形态不同，从保存信息完整性角度出发，尽可能的提取文本中所表达的情感信息。
　　3.语音情感识别的研究工作。根据语音情感表达特征，在特征层面，将对语音信号进行两种不同的特征提取（基于韵律学的情感特征和基于普的情感特征提取）。
　　4.基于深度学习的双模态特征，搭建深度架构，融合两模态特征进行模型训练，利用不同信息融合方法对两种信息进行耦合，通过设计对比实验，验证本论文所提出方法的可行性。

目录

声明

致谢

摘要

第一章 绪论

1．1 课题研究背景和意义

1．2 交互过程中的情感计算

1．3 国内外研究现状

1．4 论文的章节安排

第二章 语音情感识别

2．1 语音情感库

2．2 语音数据预处理

2．3 语音情感特征

2．4 语音情感模型训练方法

第三章 文本情感识别

3．1 文本倾向性判断

3．2 文本特征提取

3．2．1 基于文本内容特征提取方法

3．2．2 基于外部知识库特征提取方法

3．3 文本情感识别研究工作

3．3．1 情感词典构建

3．3．2 微博文本特征提取

3．3．3 文本数据分析

3．3．4 文本数据结果识别分析

第四章 深度模型架构

4．1 RBM和ClassRBM

4．2 DBN架构

第五章 双模态情感识别系统研究

5．1 双模态情感识别系统的组成结构

5．2 文本语音数据库准备工作

5．3 双模态特征提取

5．3．1 语音模态特征提取

5．3．2 文本模态特征提取

5．4 双模态特征模型训练

5．4．1 文本模态情感识别实验

5．4．2 语音模态情感识别实验

5．4．3 文本语音耦合情感识别实验

第六章 总结与展望

6．1 总结

6．2 不足之处与展望

参考文献

攻读硕士学位期间的学术活动及成果情况