一种基于机器学习的双模态人人对话情感分析方法

摘要

本发明公开了一种基于机器学习的双模态人人对话情感分析系统及其方法，其特征包括：语音识别模块、文本深层特征提取模块、语音切分模块、声学特征提取模块、特征融合模块、情感分析模块；语音识别模块用于识别语音内容和时间标签，文本深层特征提取模块用于完成文本深层词级特征和文本深层句级特征的提取，语音切分模块用于将单句语音从整段语音中切分出来，声学特征提取模块用于完成语音的声学特征的提取，特征融合模块将所得到的文本深层特征和声学特征进行融合，情感分析模块用于得到所需要情感分析语音的情感极性。本发明能综合文本和音频两个模态对会话情感进行识别，并充分利用词向量、句向量所具有的特点，从而提高识别的准确性。