语音情绪的分类方法及其情绪语意模型的建立方法

摘要

揭示一种语音情绪的分类方法及其情绪语意模型的建立方法。首先，借由一情绪语料库的语音信号所包括的语意属性以及韵律属性，建立一情绪语意模型。接着，撷取待测语音信号中的各待测词语的语意属性与韵律属性。之后，将各待测词语的语意属性与韵律属性，输入上述情绪语意模型，借此来将待测语音信号分类至对应的情绪类别。如此一来，经由韵律属性来加强各情绪类别的情绪特征，将可提高情绪分类的正确率。

说明书

技术领域

本发明是有关于一种情绪辨识方法，且特别是有关于一种结合语意与韵律的语音情绪的分类方法及其情绪语意模型的建立方法。

背景技术

近几年，由于科技的日新月异，人们与智慧型电子装置之间的沟通模式，已不再是过去以指令输入至电子装置，而电子装置再以文字回应的方式所能满足。因此，未来人类与智能电子装置之间的人机接口也将透过最自然且方便的沟通媒介“语音”来进行控制。而为了使人机接口系统更为多样性与人性化，许多学者、厂商则莫不开始着手研究情绪的辨识。

以客服系统而言，目前利用电视以及网络来进行购物的使用者越来越普遍。当产品发生故障时，使用者大都皆会打电话至客服中心询问。倘若客服系统能够辨识出使用者目前的情绪状态，客服人员便能够趁早来安抚使用者的情绪。并且，客服人员亦可依据所辨识出的使用者的情绪来判断自身是否能够解决，而决定是否将电话转接给资深客服人员来进行安抚动作。如此一来，便能够解决许多不必要的冲突产生。据此，如何提高情绪辨识的正确率，亦为目前研究的重要一环。

发明内容

本发明提供一种情绪语意模型的建立方法，结合语意属性与韵律属性来建构情绪语意模型。

本发明提供一种语音情绪的分类方法，分析词语的语意属性并结合韵律属性，借以提高分类的正确率。

本发明提出一种情绪语意模型的建立方法。先提供一个情绪语料库，其包括分属于多个情绪类别的多个语音信号。接着，分别撷取语音信号中的各词语的语意属性与韵律属性。其中，语意属性是查询词汇知识库而获得，而韵律属性是由各语音信号中撷取所得。之后，便可借由各语音信号的语意属性与韵律属性，建立情绪语意模型。

在本发明的一实施例中，上述建立情绪语意模型的步骤，包括依据语意属性与韵律属性，将各语音信号分别转换为语意韵律向量。再将这些语意韵律向量代入高斯混合模型，以建立情绪语意模型。

在本发明的一实施例中，上述依据语意属性与韵律属性，分别转换各语音信号为语意韵律向量的步骤，先依据各词语的语意属性与韵律属性，获得一语意韵律记录。接着，借由语意韵律记录来探勘一情绪规则。之后，便可依据上述情绪规则，将语意韵律记录转换为语意韵律向量。

在本发明的一实施例中，上述获得语意韵律记录的步骤包括：依据语意属性，判断各词语是否为语意标签。其中，语意标签是依据词汇知识库所定义而得。当词语属于语意标签时，结合此词语的语意标签与其所对应的韵律属性为一语意韵律标签，以将语意韵律标签记录至语意韵律记录。另外，更可依据语意属性，判断在不为语意标签的词语中是否包括情绪特征词，以结合情绪特征词与其对应的韵律属性为一特征集合，而将特征集合记录至语意韵律记录。

在本发明的一实施例中，情绪语意模型的建立方法更包括：依据一基本情绪规则以及词汇知识库，订定语意标签。其中，语意标签包括特定语意标签、否定语意标签与转折语意标签。

在本发明的一实施例中，上述将语意韵律记录转换为语意韵律向量的步骤，首先，依据情绪规则，计算语意韵律记录中的情绪特征词的语意分数以及韵律分数。接着，依据语意分数以及韵律分数，分别获得各语音信号的语意韵律记录在语意韵律向量中的维度分数。而上述语意韵律向量的维度是依据情绪规则的数量而决定。

在本发明的一实施例中，上述在分别撷取语音信号中的各词语的语意属性与韵律属性的步骤之前，更包括将各语音信号转换为文句。并且，对上述文句进行断词处理，而获得上述词语。

在本发明的一实施例中，上述词汇知识库为知网(HowNet)。韵律属性包括音高、能量以及音长。

本发明提出一种语音情绪的分类方法。首先，依据多个语音信号中的各测试词语所包括的语意属性以及韵律属性，建立一情绪语意模型。而语意属性是查询词汇知识库而获得，韵律属性则是由各语音信号所取得。接着，撷取待测语音信号中的各待测词语的语意属性与韵律属性。之后，将各待测词语的语意属性与韵律属性，代入上述情绪语意模型，以获得情绪语意分数。最后，依据情绪语意分数来判断待测语音信号的情绪类别。

在本发明的一实施例中，语音情绪的分类方法更包括：在待测语音信号中，检测一情绪显著音段，以撷取情绪显著音段的韵律特征。之后，将韵律特征代入情绪韵律模型，以获得情绪韵律分数。据此，上述判断待测语音信号的情绪类别的步骤，更可依据情绪语意分数与情绪韵律分数来进行判断。

在本发明的一实施例中，上述在待测语音信号中，检测情绪显著音段的步骤，可撷取待测语音信号的音高轨迹，而音高轨迹包括多个音高。借由检测音高轨迹中的连续音段，以将音高轨迹中的连续音段作为情绪显著音段。

基于上述，本发明先依据各词语的语意属性与韵律属性来训练语意韵律模型，以借由此语意韵律模型来作为语音情绪的分类。如此一来，经由韵律属性来加强各情绪类别的情绪特征，将可提高情绪分类的正确率。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1是依照本发明第一实施例所绘示的情绪语意模型的建立方法流程图。

图2是依照本发明第一实施例所绘示的语音情绪的分类方法流程图。

图3是依照本发明第二实施例所绘示的情绪语意模型的建立方法流程图。

图4是依照本发明第二实施例所绘示的知网概念记录形式的示意图。

图5是依照本发明第二实施例所绘示的语意标签的定义方法流程图。

图6是依照本发明第二实施例所绘示的基本情绪因素的示意图。

图7是依照本发明第二实施例所绘示的语意标签的示意图。

图8A是依照本发明第二实施例所绘示的附加属性的示意图。

图8B是依照本发明第二实施例所绘示的附加属性权重表的示意图。

图9是依照本发明第二实施例所绘示的韵律属性权重表的示意图。

图10是依照本发明第三实施例所绘示的语音情绪分类方法的流程图。

主要元件符号说明：

S105～S115：本发明第一实施例的情绪语意模型的建立方法各步骤

S205～S220：本发明第一实施例的语音情绪的分类方法各步骤

S310～S365：本发明第二实施例的情绪语意模型的建立方法各步骤

S505～S510：本发明第二实施例的语意标签的定义方法各步骤

S1010～S1030：本发明第三实施例的语音情绪分类方法各步骤

301：知网

302、1002：语意标签资料库

303、1003：韵律属性资料库

304、1004：情绪规则

305：附加属性权重表

306：韵律属性权重表

1001：声学模型

1005：情绪语意模型

1006：情绪韵律模型

具体实施方式

有别于传统仅使用情绪关键字于情绪分类，在下列实施例中，将进一步分析文字语意并应用于情绪分类上。为了使本发明的内容更为明了，以下特举实施例作为本发明确实能够据以实施的范例。

第一实施例

图1是依照本发明第一实施例所绘示的情绪语意模型的建立方法流程图。请参照图1，在步骤S105中，提供一情绪语料库，其包括多个语音信号。在建立情绪语意模型之前，先搜集多种情绪类别的语音信号。例如，可由多个不同的人针对生气、悲伤、高兴以及中性四种情绪类别分别进行语音录制，以建立情绪语料库。

接着，在步骤S110中，撷取各个语音信号中的各词语的语意属性与韵律属性，以利用语意属性与韵律属性来做为分类的特征值。例如，先将各个语音信号转换为文句，再将文句进行断词处理以切割为多个词语。之后，自一词汇知识库中查询这些词语的语意属性，并且自语音信号撷取这些词语的韵律属性(例如，音高、能量以及音长)。

最后，在步骤S115中，依据语意属性与韵律属性，建立情绪语意模型。例如，依据语意属性与韵律属性，将各语音信号转换为语意韵律向量。之后，再借由语意韵律向量来训练情绪语意模型。即是将所撷取出的语意属性与韵律属性等情绪特征利用分类技术加以归纳。

一般而言，分类技术包括支持向量机(Support Vector Machine，SVM)、类神经网络(Neural Network，NN)、隐藏式马可夫模组(Hidden Markov Model，HMM)以及高斯混合模式(Gaussian Mixture Model，GMM)等。在分类技术中，一般是借由在空间上的向量来进行训练。

举例来说，依据各词语的语意属性与韵律属性可获得此文句的一笔语意韵律记录。接着，再借由自情绪语料库所取得的全部的语意韵律记录来探勘出各个情绪类别的情绪规则。之后，便可依据上述情绪规则，将语意韵律记录转换为语意韵律向量。

在此，可预先利用上述词汇知识库来定义出多个语意标签。在定义上述语意标签之后，再加入语音信号中的韵律属性，而将语意标签扩展成语意韵律标签。据此，便可经由韵律属性来加强各情绪类别的情绪特征。

进一步地说，在撷取出各词语的语意属性之后，判断各词语的语意属性是否为语意标签。当词语属于语意标签时，便将此词语的语意标签与其所对应的韵律属性结合为一语意韵律标签。之后，再将语意韵律标签记录至文句所对应的语意韵律记录。另一方面，更可依据语意属性，判断在不为语意标签的词语中是否包括情绪特征词，以结合情绪特征词与其对应的韵律属性为一特征集合，而将特征集合记录至语意韵律记录。据此，便可依据自动探勘而得的情绪规则，将语意韵律记录转换为语意韵律向量，以借由语意韵律向量在空间中的关系来训练情绪语意模型。

而在建立情绪语意模组之后，便可开始进行语音情绪的辨识。以下再举一例来说明。

图2是依照本发明第一实施例所绘示的语音情绪的分类方法流程图。请参照图2，在步骤S205中，接收一待测语音信号。在接收到待测语音信号之后，便将待测语音信号转换为文句，并将此文句切割为多个待测词语。

接着，如步骤S210所示，自词汇知识库中查询这些待测词语的语意属性并且自待测语音信号来撷取这些待测词语的韵律属性。

之后，在步骤S215中，将各待测词语的语意属性与韵律属性，代入情绪语意模型，以获得情绪语意分数。由于情绪语意模型已经建立，在此将语意属性及韵律属性代入情绪语意模型，便可获得此待测语音信号在各情绪类别中所代表的情绪语意分数。

最后，在步骤S220中，依据情绪语意分数，判断待测语音信号的情绪类别。一般而言，情绪语意分数越高者通常是代表最后的分类结果。倘若快乐情绪类别的情绪语意分数为最高，即代表此待测语音信号属于快乐情绪类别。

上述词汇知识库例如为知网(Hownet)。知网是一个以汉语和英语的词语所代表的概念为描述物件，并且揭示概念与概念之间所具有的属性之间的关系。以下便以知网为例，再举一实施例来详细说明建立情绪语意模型的各步骤。

第二实施例

图3是依照本发明第二实施例所绘示的情绪语意模型的建立方法流程图。请参照图3，在步骤S310中，首先，查询知网301来撷取文句中各词语的语意属性。在知网301中记录了多个词语的概念以及这些词语之间的关系。

以下列举一例来说明知网的概念记录形式。图4是依照本发明第二实施例所绘示的知网概念记录形式的示意图。请参照图4，在知网中，每一个词语是由其概念与描述形成一笔记录。而每一笔记录主要包括功能变量名称(包括词语、词词语性、词语例子以及概念定义)与资料。以“W_C＝打”为例，其中“打”为资料，而“打”的功能变量名称为“W_C”，也就是说“打”为一个词语。而以“G_C＝V”为例，其中“V”为资料，而“V”的功能变量名称为“G_C”，也就是说“V”为一个词词语性。其余以此类推。

返回图3，接着，在步骤S315中，查询语意标签资库302，以判断语意属性是否属于语意标签。在此，语意标签是借由知网301当中所定义的语意属性而订定。以下再举一例来说明语意标签的定义方法各步骤。

图5是依照本发明第二实施例所绘示的语意标签的定义方法流程图。请参照图5，在步骤S505中，先订定基本引发的情绪因素。例如，参考情绪心理学以了解人类在什么情境或状况之下，会引发情绪的产生。在整理归纳出引发情绪的基本情绪因素后，分析这些基本情绪因素所隐含的主要语意。

举例来说，图6是依照本发明第二实施例所绘示的基本情绪因素的示意图。图6所示即为归纳所得的基本情绪因素。在此，分别为快乐情绪因素、生气情绪因素以及悲伤情绪因素。

经由对基本情绪因素的观察，可以发现这些基本情绪因素之中，均会有某些特定语意的表现。例如：得到某种好处、解除某种压力、失去某种好处等等。在上述语意表现中，例如将“得到”、“解除”、“失去”等动作描述部分称为“动作语意词”，而将附属于动作语意词而形成完整语意的部分称为“附属动作语意词”，如某种好处、压力、目标等。

回到图5，为了由语音信号所辨识出来文句中正确撷取出语意属性，之后便如步骤S510，利用基本情绪规则与知网来定义出语意标签。

举例来说，图7是依照本发明第二实施例所绘示的语意标签的示意图。在此，语意标签包括特定语意标签、否定语意标签以及转折语意标签。其中，特定语意标签是用来表达特定语意的词语，否定语意标签具有否定意味的词语，而转折语意标签则具有语气转折的词语。

在此，便根据知网中的动词，选取出其中具有表达特定语意的语意属性，再将这些语意属性分为15类，成为15个特定语意标签的定义。

以语意标签[达成]为例，在知网中具有“Vachieve|达成”、“fulful|实现”、“end|终结”、“finish|完毕”、“succeed|成功”属性的词语将会被归类到[达成]此一语意标签。例如，“查出”与“猜到”两个词语在知网中的记录为“DEF＝Vachieve|达成”，因此，上述两个词语将会被归类至[达成]这个语意标签。

否定语意标签的定义是将知网里所有词语的定义中具有特征“neg|负否”的词语全部直接撷取，而成为否定语意标签的定义。

转折语意标签的定义则是观察知网中所有副词与连接词，将具有转折语气的词语撷取成为转折语意标签的定义。此外，再根据转折语的特性，将转折语意标签分为二种，一为[转折-撷取]，另一为[转折-省略]。

在语意标签定义完成之后，便可利用其来对语音情绪进行分类。

返回图3，在步骤S315中，当词语的语意属性符合语意标签时，如步骤S320所示，标示对应的语意标签。之后，如步骤S325所示，查询韵律属性资料库303以将语意标签扩充为语意韵律标签。据此，可经由韵律属性来加强各情绪类别的情绪特征。接着，在步骤S340中，将语意韵律标签记录至此文句所对应的一语意韵律记录中。

举例来说，在将语音信号转换为文句并进行断词之后，可依据各个词语在语音信号中的音段，撷取出此一音段的韵律属性，并记录至韵律属性资料库303。在此，韵律属性包括音高、能量以及音长。而每一种韵律属性可分别量化成三个程度来表示，音高与能量以高(H)、中(M)、低(L)来表示，而音长则以长(L)、中(M)、短(S)来表示。

返回步骤S315，当词语的语意属性不符合语意标签，如步骤S330所示，自这些词语中取情绪特征词。之后，如步骤S335所示，将这些情绪特征词结合对应的韵律属性而成为一特征集合。接着，在步骤S340中，将特征集合记录至此文句所对应的一语意韵律记录中。

也就是说，除了已经被标上语意标签的词与之外在，其他未被标上语意标签的词语(例如，形容词或名词)中，取其在知网301中的情绪特征词，并将此情绪特征词加入至语意韵律记录之中，如此一来才算是一个完整文句的语意特征。

举例来说，假设语音信号转换的文句为，“都快没钱过日子了，还好今天拿到一点钱了”。在经过上述步骤S310～S325之后，获得“没”的语意韵律标签为[否定_PM_EH_DS]，“还好”的语意韵律标签为[转折-撷取_PL_EM_DL]，“拿到”的语意韵律标签为[得到_PH_EH_DM]，而其他词语则无任何语意标签。

接着，在其他未标示语意标签的词语中，依据其语意属性来找出情绪特征词。在经过上述步骤S330～S335之后，获得“钱”的特征集合为[wealth|钱财_PH_EM_DS]，而“一点”的特征集合为[few|少_PL_EM_DM]。

据此，所获得的语意韵律记录则为{[否定_PM_EH_DS]、[转折-撷取_PL_EM_DL]、[得到_PH_EH_DM]、[few|少_PL_EM_DM]、[wealth|钱财_PH_EM_DS]}。

值得注意的是，在本实施例中，仅撷取[转折-撷取]之后的语意韵律标签，因此最后得到的语意韵律记录为{[得到_PH_EH_DM]、[few|少_PL_EM_DM]、[wealth|钱财_PH_EM_DS]}。

而辨识后的文句经由语意属性以及韵律属性的撷取后，成为一笔语意韵律记录。之后，便运用资料探勘的技术，从全部的语意韵律记录中，自动来探勘出情绪规则304。

由于语意韵律标签的标示程序是以被标示的语意韵律标签为中心，因此所要求的情绪规则形态为T→D。其中，T代表语意韵律标签，例如[达成_PH_EM_DS]、[解除_PM_EH_DM]等。而D为附属于某个动作的附属语意词，是利用知网301来撷取出主要的情绪特征词并结合韵律属性而成为特征集合，如[symbol|符号_PM_EH_DM]。在此T与D可以是一个或多个。据此，不论是T1^T2→D1或是T3→D2^D3均有可能。

经由资料探勘技术得到情绪规则304后，在步骤S345～S355中，利用情绪规则304，将每一笔语意韵律记录转换为一语意韵律向量表示，其中每一条情绪规则代表向量空间中的一个维度。

倘若中性情绪规则为R₁^N，R₂^N，...，快乐情绪规则为R₁^H，R₂^H，...，生气情绪规则为R₁^A，R₂^A，...，悲伤情绪规则为R₁^S，R₂^S，...，

则每一笔语意韵律记录的语意韵律向量表示为而此语意韵律向量则是在维度为r_N+r_H+r_A+r_S向量空间中的一个点。

在步骤S345中，依据情绪规则304，计算语意韵律记录的语意分数。详细地说，在计分时，先检查语意韵律记录的T部分是否符合情绪规则304的T部分。倘若语意韵律记录的T部分符合情绪规则的T部分，才进一步对D部分进行检查，以计算此维度分数。

由于在知网301定义中，词语具有阶层关系，此阶层关系是在语意韵律记录与情绪规则304之间二个情绪特征词不一样时，用来计算二个情绪特征词的语意相似度。在知网301中，若阶层关系最深共分m层，阶层愈深，其关系愈好，即语意愈相近。因此语意韵律记录与情绪规则304之间二个情绪特征词D_i，D_j的比对分数为：

$v_p(D_i,D_j)=\left(\begin{array}{cc}1& \mathrm{if}{D}_i=D_j\\ \frac{L(D_i,D_j)}{m}{\left(\frac{1}{N\left(L(D_i,D_j)\right)}\right)}^{m-L(D_i,D_j)-1}& \mathrm{if}{D}_i\ne D_j\end{array}\right).$

其中，L(D_i，D_j)为D_i，D_j最大相同路径长，N(L(D_i，D_j))为最大相同路径节点下的子节点数，m为阶层关系。

阶层关系求得后，若语意韵律记录中的情绪特征词尚有一附加属性存在，再依不同的属性关系再进行运算，如步骤S350所示，依据附加属性权重表305来计算附加属性的计分。举例来说，图8A是依照本发明第二实施例所绘示的附加属性的示意图。图8B是依照本发明第二实施例所绘示的附加属性权重表的示意图。在图8A，以知网301为例，定义了八种附加属性。在图8B中，依据各附加属性之间的关系，给予各附加属性一权重值。

返回图4，接着，在步骤S355中，依据韵律属性权重表306计算韵律属性的计分。举例来说，图9是依照本发明第二实施例所绘示的韵律属性权重表的示意图。在图9中，将韵律属性可分别量化成三个程度来表示，音高与能量以高(H)、中(M)、低(L)来表示，而音长则以长(L)、中(M)、短(S)来表示。依据量化的程度差距来给予一权重值。H与M两者程度较近，赋予的权重值为0.5；而H与L两者程度较远，赋予的权重值为0.25；另外，M与H两者程度较近，所赋予的权重值亦为0.5。以此类推。

之后，在步骤S360中，根据上述步骤S345～S355来计算出语意韵律向量中的各维度分数。

举例来说，假设D_i为[symbol|符号_PM_EH_DM]，D_j为[&language|语言_PH_EM_DM]。D_i在知网的路径为1.1.2.5.1.1，而D_j在知网的路径为1.1.2.5.1，L(D_i，D_j)为5，N(L(D_i，D_j))为4，求得阶层关系分数v_p为5/28。附加属性分数v_r为0.5。韵律属性分数v_f为0.5。最后求得在语意韵律向量中的一维度分数为v＝v_p×v_r×v_f。

最后，在步骤S365中，在各情绪类别的语意韵律向量收集完成之后，便可以高斯混合模型建构出每一情绪类别的情绪语意模型。在情绪语意模型建构完成之后，便可开始进行语音情绪的分类。以下再举另一实施例来说明。

第三实施例

图10是依照本发明第三实施例所绘示的语音情绪分类方法的流程图。请参照图10，在本实施例中，接收到待测语音信号之后，可分别对待测语音信号进行文字语意的分析以及韵律特征的撷取。

在文字语意的分析上，首先如步骤S1010所示，利用一语音辨识的声学模型1001(例如HMM)将待测语音信号转换为文句。接着，如步骤1015所示，利用语意标签资料库1002、韵律属性资料库1003以及情绪规则1004，将此文句转换为语意韵律向量。

在此，步骤1015与前述第二实施例中的步骤S310～S360相同或相似，而语意标签资料库1002、韵律属性资料库1003以及情绪规则1004与前述第二实施例中的语意标签资料库302、韵律属性资料库303以及情绪规则304的建立方法亦相同或相似，故在此皆不再赘述。

另一方面，在韵律特征的撷取上，首先如步骤S1020所示，在待测语音信号中，检测一情绪显著音段。在待测语音信号中，为了避免非情绪音段影响了情绪辨识的准确率，因而可先检测情绪显著音段(Emotionally Salient Segment)，以针对显著音段来撷取韵律特征。所谓的情绪显著音段是先计算出整个待测语音信号的音高轨迹(Pitch Contour)。倘若音高轨迹中存在连续音段，则将此连续音段定义为情绪显著音段。

接着，在步骤S1025中，基于情绪显著音段来撷取韵律特征。韵律特征包括最大音高值、最小音高值、平均音高值、音高变异数、最大能量值、最小能量值、平均能量值、能量变异数、最大共振峰值、最小共振峰值、平均共振峰值、共振峰变异数，共计12个参数。将此12个参数视为12维度的韵律向量。

最后在步骤S1030中，结合情绪语意模型1005与情绪韵律模型1006，并且根据贝式定理来决定待测语音信号的情绪类别。详细地说，也就是将语意韵律向量代入情绪语意模型1005而获得情绪语意分数，并将韵律向量代入情绪韵律模型1006而获得情绪韵律分数。之后，借由贝式定理所找出的事后机率最大的情绪类别，即为最后的辨识结果。

在此，情绪韵律模型1006例如亦是以高斯混合模型所建立。也就是将情绪语料库中的语音信号，分别撷取上述12个参数，以此12个参数作为韵律向量来训练此情绪韵律模型1006。

综上所述，在上述实施例中，分析各词语的语意属性，并进一步结合韵律属性，据以提高情绪分类的正确率。此外，更可仅针对语音信号中的情绪显著音段进行分析，以避免非情绪的音段影响了情绪分类的正确率。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。