基于情感上下文的语音情感推理方法及系统

摘要

本发明公开了一种基于情感上下文的语音情感推理方法及系统，该方法包括：在相邻情感语句中提取上下文语音情感特征和传统语音情感特征，按特征类别的不同分别建立上下文模型和传统模型；对待分析连续语音划分为情感相对独立的情感语句序列，然后采用基于情感交互矩阵的融合方法将上下文模型和传统模型对待分析连续语音的当前情感语句的决策结果进行融合，得到初步的识别结果；从整个待分析连续语音角度对每个语句的情感类别用情感上下文推理规则进行调整，得到待分析连续语音的情感类别序列。本发明采用情感上下文的情感推理算法，借助情感交互矩阵，对待分析情感语句的情感状态进行分析和调整，从而提高连续语音情感识别的准确率。

说明书

技术领域

本发明涉及语音信号处理、情感分析和模式识别技术领域，尤其涉及一种基于情感上下 文的语音情感推理方法及系统。

背景技术

语音情感识别技术的发展对推动智能化、人性化的新型人机交互技术的发展和应用具有 重要的作用。如何使用计算机技术从语音中自动识别说话人的情感状态近年来受到各领域研 究者的广泛关注。在语音情感识别研究领域，研究者们开始逐渐关注上下文信息对提高情感 识别准确率的影响。所谓上下文是指与待分析对象情感表达相关的对象以及待分析对象自身 的个人信息（包括：性别、年龄、文化、语言、受教育程度、谈话背景等）以及最近一段时 间的情感状态等信息。

现有技术一分析了性别、题材、说话人、说话内容等语境上下文信息对情感识别的作用， 但主要针对孤立的、非自然的单句进行分析，仍未对自然环境下连续表达的情感语音进行描 述和处理。现有技术二开始关注词与周围环境之间所携带的上下文信息，提出了上下文环境、 动态环境和句全局环境3类共5种环境特征，并通过实验论证了上下文信息对提高情感识别 准确率的贡献，但是这篇文献所提出的方案需要构建大量且丰富的情感词汇库，且要求在情 感识别前必须识别出说话者的说话内容，说话内容识别的准确率会影响情感识别的准确率， 且说话内容的识别增加了情感识别的时间复杂度。现有技术三还根据语音的声学特征而无需 识别说话人的说话内容，分析了正在对话的两个人之间的情感状态的相互影响，得出了对话 双方的情感转移矩阵。

然而，现有技术中连续语音的情感识别只是针对每个当前句分析，为了解决现有技术的 缺陷，因此，本发明提供一种基于情感上下文的语音情感推理方法及系统，主要利用人类情 感表达和变化是一个连续的过程，待分析对象当前的情感状态与即将要表达的情感状态之间 存在一定的关联的特点，针对单个说话人的连续语音进行情感识别，发明了情感上下文特征 的提取方法和基于情感上下文的语音情感推理方法，本发明解决了无需识别说话人说话内容 的条件下，提高连续语音情感识别率的问题。

发明内容

本发明针对背景技术中连续语音的情感识别只是针对每个当前句分析的缺陷，提供了一 种基于情感上下文的语音情感推理方法及系统，发明语音情感上下文特征的提取方法和建立 高效的基于情感上下文的语音情感推理模型，构成完整的基于情感上下文的语音情感推理方 法。最终提高连续语音情感识别的准确率。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种基于情感上下文的语音情感推理方法，所述方法包括：

S1、在相邻情感语句中提取上下文语音情感特征和传统语音情感特征，按特征类别的不 同分别建立上下文模型和传统模型；

S2、对待分析连续语音划分为情感相对独立的情感语句序列，并提取所述情感语句的上 下文语音情感特征和传统语音情感特征.然后分别采用上下文模型和传统模型进行识别，得 出这两个模型对带分析情感语句的决策向量；

S3、采用基于情感交互矩阵的融合方法对上下文模型和传统模型对待分析连续语音的当 前情感语句的决策结果进行融合，得到初步的识别结果；

S4、从整个待分析连续语音角度对每个语句的情感类别用情感上下文推理规则进行调 整，得到待分析连续语音的情感类别序列。

作为本发明的进一步改进，所述步骤S3包括：

在利用传统模型和上下文模型对待分析情感语句决策向量的最大两类进行融合时，引入 现有统计出的情感交互矩阵，并进行情感交互矩阵处理，得到情感上下文交互矩阵，上下文 交互矩阵连同两决策向量一起对情感语句的情感类别进行融合推理。

作为本发明的进一步改进，所述步骤S4包括：

情感上下文推理规则利用人的情感表达具有连续性的特点，根据前后相邻语句的情感类 别对当前情感语句的情感类别进行调整。

作为本发明的进一步改进，所述步骤S1中的相邻情感语句为前后相邻情感语句的前一 句的后1/3有声段部分和后一语句的整个语句。

作为本发明的进一步改进，所述上下文语音情感特征包括：上下文动态情感特征、上下 文差分情感特征、上下文边缘动态情感特征和上下文边缘差分情感特征。

作为本发明的进一步改进，所述上下文动态情感特征为相邻情感语句的前一句的后1/3 有声段部分和后一句的整个有声段中101维传统语音情感特征中与变化率、平均变化和协方 差相关的33维的语音情感动态特征。

作为本发明的进一步改进，所述上下文差分情感特征为先对相邻情感语句的前一句的后 1/3有声段和后一句的整个有声段分别提取传统的101维语音情感特征，然后再对二者做差 分操作后得到的特征。

作为本发明的进一步改进，所述上下文边缘动态情感特征为从相邻情感语句的前一句的 后1/3有声段部分与后一句的前1/3有声段部分组成的边缘相邻句中提取的33维语音情感动 态特征。

作为本发明的进一步改进，所述下文边缘差分情感特征为边缘相邻句中按上下文差分情 感特征提取方法提取的特征。

相应地，一种基于情感上下文的语音情感推理系统，所述系统包括：

训练单元，用于在相邻情感语句中提取上下文语音情感特征和传统语音情感特征，按特 征类别的不同分别建立上下文模型和传统模型；

识别单元，用于对待分析连续语音划分为情感相对独立的情感语句序列，分别提取所述 语句的上下文语音情感特征和传统语音情感特征，然后分别采用训练好的上下文模型和传统 模型对当前语句进行情感识别，得出当前语句在两个模型上的决策向量；

融合识别单元，用于将上下文模型和传统模型对待分析连续语音的当前情感语句的决策 结果进行融合，得到初步的识别结果；

调整单元，用于从整个待分析连续语音角度对每个语句的情感类别用情感上下文推理规 则进行调整，得到待分析连续语音的情感类别序列。

本发明具有以下有益效果：

1、成功地从连续情感语句间提取上下文语音情感特征，并用其辅助从单个情感语句提 取的传统语音情感特征，从而提高连续语音的情感识别效率；

2、巧妙地利用现有统计的情感交互矩阵，将基于上下文语音情感特征的待识别情感语 句的情感状态与基于传统语音情感特征的待识别情感语句额情感状态进行情感推理融合，得 到对待识别情感语句的初步情感识别结果；

3、利用连续情感语句的情感变化具有稳定性的特点，制定了情感上下文推理规则对整 个连续识别语音进行上下文相关调整。

附图说明

图1是本发明一实施方式中基于情感上下文的语音情感推理方法框架图；

图2是本发明一实施方式中基于情感上下文的情感推理算法流程图。

具体实施方式

以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本 发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包 含在本发明的保护范围内。

本发明公开了一种基于情感上下文的语音情感推理方法，包括：

S1、在相邻情感语句中提取上下文语音情感特征和传统语音情感特征，按特征类别的不 同分别建立上下文模型和传统模型；

S2、对待分析连续语音划分为情感相对独立的情感语句序列，并提取所述情感语句的上 下文语音情感特征和传统语音情感特征.然后分别采用上下文模型和传统模型进行识别，得 出这两个模型对带分析情感语句的决策向量；

S3、采用基于情感交互矩阵的融合方法对上下文模型和传统模型对待分析连续语音的当 前情感语句的决策结果进行融合，得到初步的识别结果；

S4、从整个待分析连续语音角度对每个语句的情感类别用情感上下文推理规则进行调 整，得到待分析连续语音的情感类别序列。

具体包括：

步骤1：训练基于传统语音情感特征的语音情感识别模型。

步骤1.1：对训练库中的情感语音信号进行预处理，包括预加重、加窗处理、分帧、端 点检测。

步骤1.2：对训练集中的情感语句提取常用的传统语音情感特征101维，包括美尔倒谱 系数、基频、时长、强度、振幅、音质以及共振峰等语音的声学和韵律特征。

步骤1.3对提取的特征采用中性语句的对应特征进行归一化，然后采用SFFS(Sequential  Forward Floating Search)方法进行特征选择，经过特征选择后，剩下56个传统语音情感特征。

步骤1.4：采用训练集中情感语句的56维传统语音情感特征训练SVM分类器，得到基 于传统语音情感特征的语音情感识别模型。

步骤2：训练基于上下文语音情感特征的语音情感识别模型。

步骤2.1：对经过步骤1.1预处理后的训练集中的情感语句提取上下文语音情感特征， 包括：上下文动态情感特征，上下文差分情感特征，上下文边缘动态情感特征，上下文边缘 差分情感特征共268维。

步骤2.2：对步骤2.1提取的上下文语音情感特征采用中性语句的对应特征进行归一化， 然后采用SFFS(Sequential Forward Floating Search)方法进行特征选择，经过特征选择后剩下 91个上下文语音情感特征。

步骤2.3：采用训练集中情感语句所提取的91维上下文语音情感特征训练SVM(Support  Vector Machine支持向量机)分类器，得到基于上下文语音情感特征的语音情感识别模型。

步骤3：识别待识别的情感语句的情感状态

步骤3.1：对待识别连续情感语音信号进行预处理，包括预加重、加窗处理、自动分段、 分帧和端点检测。

步骤3.2：提取待识别情感语音信号的经过步骤1.2选择出的56维传统语音情感特征。

步骤3.3：输入步骤1.4训练得到的基于传统语音情感特征的语音情感识别模型进行识 别，特到的识别结果表示为TP。

步骤3.4：提取待识别情感语音信号的经过步骤2.2选择出的91维上下文语音情感特征。

步骤3.5：输入步骤2.3训练得到的基于上下文语音情感特征的语音情感识别模型进行 识别，特到的识别结果表示为CP。

步骤4：根据基于传统语音情感特征的语音情感识别模型的识别结果TP和基于上下文 语音情感特征的语音情感识别模型的识别结果CP，采用融合算法融合两个模型的识别结果， 初步得到待识别语音信号所属的情感类别以及该结果的置信度。

步骤5：采用基于情感上下文的推理规则，根据连续语音中待分析情感语句前后语句的 情感状态，对待分析情感语句所体现的情感状态进行调整，得到待分析情感语句最终所属的 情感状态。

相应地，本发明还公开了一种基于情感上下文的语音情感推理系统，包括：

训练单元，用于在相邻情感语句中提取上下文语音情感特征和传统语音情感特征，按特 征类别的不同分别建立上下文模型和传统模型；

识别单元，用于对待分析连续语音划分为情感相对独立的情感语句序列，分别提取这些 语句的上下文语音情感特征和传统语音情感特征，然后分别采用训练好的上下文模型和传统 模型对当前语句进行情感识别，得出当前语句在两个模型上的决策向量.

融合识别单元，用于将上下文模型和传统模型对待分析连续语音的当前情感语句的决策 结果进行融合，得到初步的识别结果；调整单元，用于从整个待分析连续语音角度对每个语 句的情感类别用情感上下文推理规则进行调整，得到待分析连续语音的情感类别序列。

下面结合附图和具体实施方式对本发明做进一步阐述：

如图1所示，为本发明一具体实施方式中基于情感上下文的情感推理系统框图，主要分 为四个阶段：训练阶段、识别阶段、融合识别阶段和基于情感上下文推理规则的情感调整阶 段。

1、训练阶段

训练阶段建立基于传统语音情感特征的语音情感识别模型和基于上下文语音情感特征 的语音情感识别模型，共分为三步：

(1)情感语音信号预处理。

这一步是采用传统的语音信号预处理方法对情感语音信号进行预处理，包括预加重、加 窗处理、分帧、端点检测。

(2)传统语音情感特征的提取和基于传统语音情感特征的语音情感识别模型训练。

(2-1)对当前情感语句提取包括美尔倒谱系数、基频、时长、强度、振幅、音质以及共 振峰等语音的声学和韵律特征，并在情感语句上分别提取这些特征的最大值、最小值以及变 化范围等统计特征。这些特征的提取方法不属于本发明的部分，因此不做详细叙述。提取的 具体特征见表1所示。

表1传统语音情感特征的描述

(2-2)采用中性情感的特征对（2-1）步所提取特征进行归一化，然后采用SFFS对101 维传统语音情感特征进行特征选择，经过特征选择后剩下56维。

(2-3)采用选择后的56维传统语音情感特征对基于传统语音情感特征的语音情感识别 模型进行训练，本实施方式中的识别模型采用SVM。

(3)上下文语音情感特征的提取和基于上下文语音情感特征的语音情感识别模型训练。

(3-1)提取上下文语音情感特征，包括上下文动态情感特征，上下文差分情感特征，上 下文边缘动态情感特征，上下文边缘差分情感特征。

(3-1-1)上下文动态情感特征的提取：对连续的两句情感语句提取短时能量、过零率、 梅尔倒谱系数（前12个系数）、基音频率、音质、静音比率、前三个共振峰系数的最大值、 最小值以及变化范围等统计特征共33维特征。具体特征见表2所示。

表2语音情感动态特征的描述

(3-1-2)上下文差分情感特征的提取：对连续的两句情感语句分别提取每条语句的短时 能量、过零率、梅尔倒谱系数（前12个系数）、基音频率、音质、静音比率、前三个共振峰 系数等特征以及这些情感特征的最大值、最小值以及变化范围等统计特征共101维特征。然 后再用后一句情感语句的情感特征减去前一句语句的相应的情感特征得到101维上下文差 分情感特征。

(3-1-3)上下文边缘动态情感特征的提取：提取从连续两句情感语句中前一句话的后1/3 有声段开始到后一句话的前1/3有声段截止的一段情感语句的短时能量、过零率、梅尔倒谱 系数（前12个系数）、基音频率、音质、静音比率、前三个共振峰系数的最大值、最小值以 及变化范围等统计特征共33维特征。

(3-1-4)上下文边缘差分情感特征的提取：分别提取连续两句情感语句中前一句话的后 1/3有声段和后一句话的前1/3有声段两个片段的短时能量、过零率、梅尔倒谱系数（前12 个系数）、基音频率、音质、静音比率、前三个共振峰系数等特征以及这些特征的最大值、 最小值以及变化范围等统计特征共101维特征。再用后一句话的前1/3段的101维情感特征 减去前一句话的后1/3段的相应的情感特征得到101维上下文边缘差分情感特征。

(3-2)采用中性情感的特征对（3-1-1）、（3-1-2）、（3-1-3）和（3-1-4）步所提取特征进行 归一化，然后采用SFFS对268维上下文语音情感特征进行特征选择，经过特征选择后剩下 91维。

(3-3)采用选择后的91维上下文语音情感特征对基于上下文语音情感特征的语音情感 识别模型进行训练，这里的识别模型采用SVM。

2、识别阶段

识别阶段是将待识别的情感语句经过对应的特征提取后，将所提取的特征输入第一阶段 训练好的模型，计算得出该情感语句在每个模型上的情感状态识别结果，分三步实施。

(1)对连续情感语音信号采用基于能量包络和停顿间隔的分段方法对连续语音进行分段。

(2)对分段后的情感语音信号进行预处理，所采用的方法同训练阶段的第（1）步。

(3)待识别情感语句中传统语音特征的提取和基于传统语音情感特征的语音情感识别。

(3-1)提取待识别情感语句中当前语句的经过特征选择后的56维传统语音情感特征，所 采用的方法同训练阶段的(2-1)步。

(3-2)识别待识别情感语句中当前语句的情感状态。

将本阶段(3-1)步所提取的待识别语句中当前语句的传统语音情感特征输入第一阶段(2-3) 步已经训练好的基于传统语音情感特征的语音情感识别模型，计算得出该待识别情感语句所 体现的情感状态。

(4)提取待识别情感语句中当前语句的上下文语音情感特征并采用所提取的上下文语音 情感特征识别经过训练阶段(3-3)步训练好的上下文语音情感识别模型识别当前语句所包含 的情感状态。

(3-1)待识别情感语句的上下文语音情感特征的提取，所采用的提取方法同训练阶段的 (3-1)步，这一步只提取经过特征选择后剩下的91维上下文语音情感特征。

(3-2)将本阶段(3-1)步所提取的待识别语句的91维上下文语音情感特征输入第一阶段 (3-3)步已经训练好的基于上下文语音情感特征的语音情感识别模型，得出该待识别情感语句 所包含的情感状态。

3、融合识别阶段

根据识别阶段中步骤(3-2)得出基于传统语音情感特征的待识别情感语句的情感状态和 步骤(3-2)得出的基于上下文语音情感特征的待识别情感语句的情感状态，按照如下融合方法 对两个识别模型的识别结果进行融合，初步得出待识别情感语句所包含的最终情感状态。

融合方法：

设测试样本集为Test={ts₁，ts₂，…，ts_n}，当前需识别的情感语句表示为ts_j，模型对待 识别样本ts_j的最终识别情感类别表示为PreLabel(ts_j)。设E={e₁，e₂，…，e_m}为有m类情感 的目标情感类别集，矩阵IM表示上下文交互矩阵，如式(1)所示:

$\mathrm{IM}=\left(\begin{array}{ccccc}{\mathrm{IP}}_{(1,1)},& ···& {\mathrm{IP}}_{(1,j)},& ···& {\mathrm{IP}}_{(1,m)}\\ {\mathrm{IP}}_{(i,1)},& ···& {\mathrm{IP}}_{(i,j)},& ···& {\mathrm{IP}}_{(i,m)}\\ {\mathrm{IP}}_{(m,1)},& ···& {\mathrm{IP}}_{(m,j)},& ···& {\mathrm{IP}}_{(m,m)}\end{array}\right)---\left(1\right)$

其中，向量IM_i=(IP_(i，1)，…，IP_(i，j)，…，IP_(i，m))为情感上下文交互向量，表示在前 一情感语句的情感类别为e_i时，当前情感语句属于各类情感状态的概率。而元素c_i，j表示当 前一句情感语句的情感类别为e_i时，当前情感语句属于情感类别e_j的概率。设TP表示待识 别情感语句经过基于传统情感特征的识别模型识别后输出按概率值由大到小排序的概率向 量，表示为TP=(tp₁，tp₂，tp₃，…，tp_i，…，tp_m)，其中，tp_i表示待识别情感语句经过 基于传统语音情感特征的识别模型识别后得出的属于情感e_i的概率。CP表示待识别情感语 句经过基于上下文情感特征的识别模型识别后输出按概率值由大到小排序的概率向量，表示 为CP=(cp₁，cp₂，cp₃，…，cp_i，…，cp_m)，其中，cp_i表示待识别情感语句经过基于上 下文语音情感特征的识别模型识别后得出的属于情感e_i的概率。设信任等级TrustLevel(ts_j)= {A₁，A₂，A₃}表示对每个推理结果的信任等级，其信任等级分为A₁、A₂和A₃三个等级，信 任度为A₁>A₂>A₃。融合方法分为2步实施。

(1)数据准备。

该部分为即将进行的数据融合做数据准备，数据除了概率向量TP和CP外，还需根据 当前需识别的情感语句ts_j的前一情感语句ts_j-1的情感类别从情感上下文交互矩阵选出对应的 情感上下文交互向量IM_i。其中，情感上下文交互矩阵是根从中国典型戏剧中统计出在对话 场景下两个人对话的情感变化交互矩阵中提炼而来，交互矩阵如表3所示。该情感交互矩阵 统计了上百小时的4000段对话，覆盖了男对男、男对女、女对女的对话。

表3交互矩阵

表3中，标记了A和B两个人对话的情感交互规律。该表分为左、右两部分，表示在 一个人的情感类别确定的情况下，另一个人出现上述6种情感的分布及概率大小。其中左边 部分表示在给定B的情感状态时，A的情感概率分布信息；同理，右边部分表示在确定A的 情感状态时，B可能出现的情感分布。为了消除左、右两边由于人的个体差异引起的情感分 布的不同，对两个表中情感对的分布概率求平均，得到表4所示的交互矩阵，定义为上下文 交互矩阵。上下文交互矩阵中概率的计算方法如式(2)所示，式中，AIP_(I，j)表示当A为情感 e_i时，B为情感e_j的概率；BIP_(I，j)表示当B为情感e_i时，A为情感e_j的概率：IP_(I，j)表示当前 一句为情感e_i时，后一句为情感e_j的概率。

表4上下文交互矩阵

${\mathrm{IP}}_{(i,j)}=\frac{{\mathrm{AIP}}_{(i,j)}+{\mathrm{BIP}}_{(i,j)}}{2}---\left(2\right)$

(2)用基于情感上下文的情感推理算法将上步准备好的数据进行情感推理融合，算法描 述如下：

输入：待识别情感语句ts_j；

基于传统情感特征识别模型的概率输出向量TP；

基于上下文情感特征识别模型的概率输出向量CP；

情感交互向量IM_i。

输出：情感语句ts_j临时所属的情感类别PreLabel(ts_j)。

算法的具体推理过程描述如下：

(1)若tp₁与cp₁的情感类别相同，则待测试样本的情感类别PreLabel(ts_j)标记为tp₁(cp₁) 类别，信任等级为A₃，算法结束；

(2)否则，tp₁与cp₁的情感类别不同，此时借助概率第二大的类别来同最大的类别一起 决策。

(2-1)若tp₂与cp₂的情感类别相同，分为如下3种别：

(2-1-1)若IP_(i，1)与tp₂(cp₂)的情感类别相同，则待测试样本的情感类别PreLabel(ts_j)标记 为IP_(i，1)类别，信任等级为A₂，算法结束；

(2-2-2)若IP_(i，1)与tp₁(或cp₁)的情感类别相同，则待测试样本的情感类别PreLabel(ts_j) 标记为tp₁(或cp₁)的类别，信任等级为A₂，算法结束；

(2-2-3)否则，计算元素tp₁和cp₁的置信度，则置信度较大者对应的情感类别标记为待 测试样本的情感类别PreLabel(ts_j)，信任等级为A₁，算法结束。

(2-2)若tp₂与cp₂的情感类别不同，分为如下2种况：

①若tp₁与cp₂的情感类别相同，（或tp₂与cp₁的情感类别相同），则待测试样本的情感 PreLabel(ts_j)标记为tp₁(或cp₁)的类别，信任等级为A₂，算法结束；

②否则，计算元素tp₁、tp₂、cp₁和cp₂四者的置信度，则置信度最大者对应的情感类别 标记为待测试样本的情感类别PreLabel(ts_j)，信任等级为A₁算法结束。

其中，算法中两个模型的概率输出向量TP和TC中各元素的置信度记为conf_(I，j)，表示 情感语句ts_i属于情感类别e_j的置信度，计算方法如式(4)所示，该置信度由两部分组成，一 部分来自于模型的输出向量自身，记为Pconf_(I，j)，其计算方法如式(3)所示；另一部分来自于 上下文交互矩阵。式中，P_(I，j)表示识别模型输出的情感语句ts_i属于情感类别e_j的概率。

${\mathrm{Pconf}}_{(i,j)}=(p_{(i,j)}-\frac{1}{m-1}\underset{k\ne j}{\overset{m}{\underset{k=1}{\Sigma }}}{p}_{(i,k)})---\left(3\right)$

${\mathrm{conf}}_{(i,j)}=c_{(i,j)}*{\mathrm{Pconf}}_{(i,j)}=c_{(i,j)}*(p_{(i,j)}-\frac{1}{m-1}\underset{k\ne j}{\overset{m}{\underset{k=1}{\Sigma }}}{p}_{(i,k)})---\left(4\right)$

算法针对以往采用最大概率情感类别的武断判决，增加次大概率情感类别和上下文交互 矩阵辅助其对待测试样本情感类别最后判断。同时，对每个规则的不同判决方案设置不同的 信任等级，其结构如图2所示。

4、基于情感上下文推理规则的情感调整阶段

对测试集Test={ts₁，ts₂，…，ts_n}的每个待识别情感语句按如上算法推理得到初步的判 决结果。根据情感极少存在突变的情况和推理算法中不同判别方案设置的信任等级，对测试 集Test的每个情感语句的识别结果根据情感上下文推理规则进行上下文相关调整。

情感上下文推理规则令当前需调整的句子为第ts_j句(j=2，3，…，n)，用ts_j-1和ts_j+1对ts_j句的结果辅助调整。当ts_j-1和ts_j+1的情感类别不相同时，不做处理；否者，ts_j的情感类 别分下面三种情况进行调整，其中，Label(ts_j)表示情感语句ts_j最终的情感类别。

规则1当ts_j的信任等级为A₁时，认为ts_j自身识别结果可信，不做任何修正，即：

$\mathrm{TrustLevel}\left({\mathrm{ts}}_j\right)=A_1\Rightarrow \mathrm{Label}\left({\mathrm{ts}}_j\right)=\mathrm{PreLabel}\left({\mathrm{ts}}_j\right);$

规则2当ts_j的信任等级为A₂时，认为ts_j识别结果可疑。根据ts_j-1和ts_j+1的结果处理， 如果ts_j-1和ts_j+1的信任等级都不为A₃，即二者信任等级为A₁或A₂，认为ts_j-1和ts_j+1结果可 信，并对ts_j的结果修正为与其相同的情感类别；否则，不做修正，即：

规则3当ts_j的信任等级为A₃时，认为ts_j识别结果不可信，修正其情感类别为ts_j-1(ts_j+1) 的情感类别，即：

$(\mathrm{TrustLevel}\left({\mathrm{ts}}_j\right)=A_3)\Rightarrow \mathrm{Label}\left({\mathrm{ts}}_j\right)=\mathrm{Label}\left({\mathrm{ts}}_{j-1}\right)$

此规则充分利用语句间的上下文信息，从情感变化很少突变考虑，对推理算法的初步结 果再次调整，得到Test测试集中每个情感语句的最终情感类别。

本发明具有以下有益效果：

1、成功地从连续情感语句间提取上下文语音情感特征，并用其辅助从单个情感语句提 取的传统语音情感特征，从而提高连续语音的情感识别效率；

2、巧妙地利用现有统计的情感交互矩阵，将基于上下文语音情感特征的待识别情感语 句的情感状态与基于传统语音情感特征的待识别情感语句额情感状态进行情感推理融合，得 到对待识别情感语句的初步情感识别结果；

3、利用连续情感语句的情感变化具有稳定性的特点，制定了情感上下文推理规则对整 个连续识别语音进行上下文相关调整。

本发明突破现有的语音情感识别方法仅从情感单句上进行分析的不足，从相邻情感语句 的情感变化存在相互关联的特性，采用情感上下文的情感推理算法，借助情感交互矩阵，对 待分析情感语句的情感状态进行分析和调整，从而提高连续语音情感识别的准确率。

与现有技术相比，本发明具有以下有益效果：

1、成功地从连续情感语句间提取上下文语音情感特征，并用其辅助从单个情感语句提 取的传统语音情感特征，从而提高连续语音的情感识别效率；

2、巧妙地利用现有统计的情感交互矩阵，将基于上下文语音情感特征的待识别情感语 句的情感状态与基于传统语音情感特征的待识别情感语句额情感状态进行情感推理融合，得 到对待识别情感语句的初步情感识别结果；

3、利用连续情感语句的情感变化具有稳定性的特点，制定了情感上下文推理规则对整 个连续识别语音进行上下文相关调整。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立 的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为 一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其 他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们 并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应 包含在本发明的保护范围之内。