基于实体上下文判别的实体情感识别方法和系统

摘要

本发明公开了一种基于实体上下文判别的实体情感识别方法和系统，提高情感倾向判别的能力。其技术方案为：通过多任务共同训练，将篇章级情感识别、命名体识别、实体情感识别三种任务通过FinBERT模型有机结合，提高了每个任务的单一准确率，以及实体情感的识别准确率。通过局部编码器中的高斯掩码层，自主学习每个实体所需要注意的上下文范围，在每次预测时同时输出该值得到模型的上下文注意范围。通过局部编码器中的协方差自注意力层，自主学习句子中每个单词对最终结果所造成的权重偏向，使模型更好地将注意力集中到应该去注意并且判断的单词上。通过采用句法依存树生成关注区域的编码矩阵，提高模型准确性。

说明书

技术领域

本发明涉及一种实体情感识别的技术，具体涉及一种基于实体所处的上下文进行判别的实体情感识别方法和系统。

背景技术

随着海量数据信息的爆发，自动化的文本处理技术得到了广泛应用和发展，其中就包括情感识别技术。实体情感识别可具体应用在舆情分析系统中的实体分析功能中，利用该功能可探知一篇文章中出现的所有实体在文章中分别处于何种情感倾向，从而得到一篇文章相应的实体级别情感分析结论。金融领域中，利用实体情感识别判断不同的机构(不限于基金、期货公司、上市公司等等)在舆情中的情感倾向变化。

基于实体的情感识别是依附于篇章段落(实体所处上下文)的情感，因为每个实体在不同的篇章段落中会表现出不同的情感倾向。现实中的大多数文本包含了很多实体，情感识别技术需要解决的是找出文本中所有的实体并对这些实体在文中的情感倾向做出判别。

一般来说，要解决该问题，需要采用基于神经网络或是隐马尔可夫(HMM)结合条件随机场(CRF)的方法对大量的标记数据进行学习，从而得到一个获取了标记数据模式的模型。最新的方法采用了注意力模型来探索实体所处上下文的情感倾向，例如引入基于注意力的LSTM的ATAE-LSTM、使用上下文动态屏蔽/加权矩阵来定位上下文信息的LCF-BERT以及考虑依赖关系标签的BERT-RGAT。但是这些算法都无法充分利用实体所处上下文的有价值的依赖关系。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于实体上下文判别的实体情感识别方法和系统，提升了基于注意力模型的深度学习模型对实体所处上下文的依赖关系感知能力，从而提高了情感倾向判别的能力。

本发明的技术方案为：本发明揭示了一种基于实体上下文判别的实体情感识别方法，方法包括：

步骤一：对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据；

步骤二：对所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果，然后分别并行的执行步骤三至步骤五；

步骤三：对共享向量化模型步骤二得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型；

步骤四：对共享向量化模型步骤二得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型；

步骤五：对共享向量化模型步骤二得到的文本语义向量作为实体情感识别模型的输入，通过实体情感识别模型得到损失函数的计算值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的实体情感识别模型。

根据本发明的基于实体上下文判别的实体情感识别方法的一实施例，在步骤二中，使用该FinBERT模型对输入文本进行逐字处理，不仅将输入文本转化成标准化向量，还包括在后续任务中利用后续任务在优化目标过程中的反传数值对该FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型。

根据本发明的基于实体上下文判别的实体情感识别方法的一实施例，步骤三进一步包括：

步骤3-1：对一个批次中的输入文本内容进行切片，将不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量；

步骤3-2：将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量和真实值进行损失函数的计算；

步骤3-3：对文本损失值进行反向传播更新BiLSTM模型和FinBERT模型；

步骤3-4：处理下一个批次，反复迭代直到损失函数的计算值收敛。

根据本发明的基于实体上下文判别的实体情感识别方法的一实施例，步骤四进一步包括：

步骤4-1：将一个批次中的输入句子输入到FinBERT模型中；

步骤4-2：基于FinBERT模型输出得到的向量值和每个句子对应的标记序列进行损失函数的计算；

步骤4-3：将损失函数的计算值进行反向传播，更新FinBERT模型的参数值。

根据本发明的基于实体上下文判别的实体情感识别方法的一实施例，步骤五进一步包括：

步骤5-1：在每个批次中对给定的句子和相应的实体词，先采用FinBERT模型作为上下文编码器抽取上下文表示，该上下文表示中包含普通词嵌入和实体词嵌入，此外句子实体依存向量转化为句子实体嵌入向量表以用于与该上下文表示相乘；

步骤5-2：将来自FinBERT模型输出的上下文表示作为全局编码和局部编码分别使用，其中采用全局编码器将全局编码与句子实体嵌入向量表进行点乘，采用局部编码器将局部编码和高斯掩码层进行点乘并输入协方差自注意层；

步骤5-3：通过依存嵌入层，利用句子中的依存关系标签信息，得到句子实体嵌入向量表以用于与该上下文表示相乘；

步骤5-4：将局部编码器和全局编码器的输出特征结合起来作为最后的表示，将该表示输入到全连接神经网络中以得到不同情感极性的概率。

本发明还揭示了一种基于实体上下文判别的实体情感识别系统，系统包括：

数据输入模块，对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据；

语义向量化模块，对所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果；

篇章级情感识别模型模块，对语义向量化模块得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型；

命名体识别模型模块，对语义向量化模块得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型；

实体情感识别模型模块，对语义向量化模块得到的文本语义向量作为实体情感识别模型的输入，通过实体情感识别模型得到损失函数的计算值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的实体情感识别模型。

根据本发明的基于实体上下文判别的实体情感识别系统的一实施例，语义向量化模块进一步配置为，使用该FinBERT模型对输入文本进行逐字处理，不仅将输入文本转化成标准化向量，还包括在后续任务中利用后续任务在优化目标过程中的反传数值对该FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型。

根据本发明的基于实体上下文判别的实体情感识别系统的一实施例，篇章级情感识别模型模块进一步配置为：对一个批次中的输入文本内容进行切片，将不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量；将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量和真实值进行损失函数的计算；对文本损失值进行反向传播更新BiLSTM模型和FinBERT模型；处理下一个批次，反复迭代直到损失函数的计算值收敛。

根据本发明的基于实体上下文判别的实体情感识别系统的一实施例，命名体识别模型模块进一步配置为：将一个批次中的输入句子输入到FinBERT模型中；基于FinBERT模型输出得到的向量值和每个句子对应的标记序列进行损失函数的计算；将损失函数的计算值进行反向传播，更新FinBERT模型的参数值。

根据本发明的基于实体上下文判别的实体情感识别系统的一实施例，实体情感识别模型模块进一步配置为：在每个批次中对给定的句子和相应的实体词，先采用FinBERT模型作为上下文编码器抽取上下文表示，该上下文表示中包含普通词嵌入和实体词嵌入，此外句子实体依存向量转化为句子实体嵌入向量表以用于与该上下文表示相乘；将来自FinBERT模型输出的上下文表示作为全局编码和局部编码分别使用，其中采用全局编码器将全局编码与句子实体嵌入向量表进行点乘，采用局部编码器将局部编码和高斯掩码层进行点乘并输入协方差自注意层；通过依存嵌入层，利用句子中的依存关系标签信息，得到句子实体嵌入向量表以用于与该上下文表示相乘；将局部编码器和全局编码器的输出特征结合起来作为最后的表示，将该表示输入到全连接神经网络中以得到不同情感极性的概率。

本发明对比现有技术有以下的有益效果：本发明一方面利用高斯掩码层和协方差自注意层来提升捕捉局部信息的能力，另一方面利用多任务(篇章级情感识别和命名体识别)处理共享参数的方式提升模型对句子的向量化能力。通过这两个方面的结合大大提升了基于注意力模型的深度学习模型对实体所处上下文的依赖关系感知能力，从而提高了情感倾向判别的能力。

具体而言，本发明通过多任务共同训练，将篇章级情感识别、命名体识别、实体情感识别三种任务通过FinBERT模型有机结合在一起，不仅提高了每个任务的单一准确率，最重要的是提高了实体情感的识别准确率。

此外，本发明中设计了局部编码器中的高斯掩码层，高斯掩码层能自主学习每个实体所需要注意的上下文范围，比设置上下文范围固定值效果好很多，并且使得模型有更强的可解释性，能够在每次预测时同时输出该值得到模型的上下文注意范围。

第三，本发明中设计了局部编码器中的协方差自注意力层。协方差自注意层能够自主学习到句子中每个单词对最终结果所造成的权重偏向，从而使模型能够更好地将注意力集中到应该去注意并且判断的单词上。协方差自注意力层不仅提升了模型的准确度，同时也能输出可理解的模型在句子中的关注点。

第四，本发明采用句法依存树生成关注区域的编码矩阵，这种方式带来的全局注意力能很好地提高模型准确性。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的基于实体上下文判别的实体情感识别方法的一实施例的流程图。

图2示出了图1所示的方法实施例中的步骤三的细化流程图。

图3示出了图1所示的方法实施例中的步骤五的细化流程图。

图4示出了本发明的基于实体上下文判别的实体情感识别系统的一实施例的原理图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图1示出了本发明的基于实体上下文判别的实体情感识别方法的一实施例的流程。请参见图1，本实施例的方法的实施步骤详述如下。

步骤一：对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据。

篇章级数据：篇章级数据中每行的格式为<文本内容，情感标签>，文本内容是字符数量在200-4000之间的中文长文本数据，情感标签是代表该份长文本所属情感极性的标签，一共包含三种极性(正面、负面、中性)。

命名体数据：命名体数据中每行为<句子，句子中命名体标记序列>，句子是字符数量在10-100之间的短文本数据文本，文本句子中命名体标记序列是针对文本句子内容的字符级标记序列。B表示‘Begin’，I表示‘inside’，用B和I分别表示一个字属于某一个命名体的开始的字符和内部的字符。O表示‘other’，将不属于所要提取的命名体之外的其他字符都标注为O。给定一个句子S，包含n个字符(w

实体情感数据：实体情感数据中每行为<句子，实体，实体情感>，句子是字符数量在10-100之间的短文本数据，实体是当前文本内容中出现的某个我们关心的单词，实体情感是该实体在该句子中所包含的情感倾向。给定一个句子S，包含n个字符(w

步骤二：对上一层输入的篇章级数据、命名体数据、实体情感数据进行语义向量化的处理，三种不同的数据输入分别得到三种不同维度的向量输出结果。得到的文本语义向量将被后面步骤的模型训练使用。

在本步骤中，采用了基于金融数据精调(fine tune)后得到的BERT模型预训练参数，称为FinBERT模型。FinBERT模型的模型结构和BERT模型相同，都是由大量的transformer模组进行组合而成。FinBERT模型对输入文本是逐字处理的，不需要对文本分词就可以将输入文本转化成标准化向量。FinBERT模型的目的不仅仅是将输入文本转化成标准化向量，还包括在后续任务中，利用后续任务在优化目标的过程中的反传数值对FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型(向量化模型即为图示的FinBERT模型)。多个任务共享同一个向量化模型的好处在于，该向量化模型学习到了不同任务中的信息，进而相互反哺。不同的任务在同一个数据类型的范围内，能够更好地挖掘出该类型的潜在信息，因此本算法中将同一个FinBERT模型运用在了篇章级情感识别、命名体识别、实体情感识别三个任务当中。

该步骤提出了多任务训练共享同一个向量化模型，即，不同的训练任务采用同一个向量化模型的参数，以使所共享的这个向量化模型能够在不同的任务中学习到不同的经验并相互反哺，向量化模型的参数在不同的任务中被不断学习更新，充分学到了不同任务的数据特性。

步骤三：对共享向量化模型步骤二得到的文本语义向量作为模型的篇章级情感识别模型的输入，通过模型对损失函数的计算的数值，利用反向传播公式计算到的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数计算的数值低于预设阈值。训练结束之后可以得到一个可用于预测使用的篇章级情感识别模型。

同时参考图2，篇章级情感识别模型的训练步骤如下：

步骤3-1：对一个批次batch(例如设置为4，即一次迭代的训练数据中包含四条不同数据)中的输入文本内容(Doc_text_indices)进行切片，然后把不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量。

步骤3-2：将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量Doc sentiment和真实值进行损失函数的计算值doc loss的计算。docloss的计算采用了交叉熵损失函数的计算方式，交叉熵损失函数是一个现有的计算方式。doc loss相当于下面公式中的L计算公式如下，

其中M是类别的数量，在当前任务中M的值为3，y

后面的loss中计算都采用了这种损失函数的计算方式。

步骤3-3：对doc loss进行反向传播更新BiLSTM模型和FinBERT模型。

步骤3-4：处理下一个batch，反复迭代直到doc loss收敛。

步骤三执行了一个篇章级情感识别的训练，其技术效果是篇章级情感识别模型在学习过程中，能够让图2中的FinBERT模型学习到在篇章级情感中不同的字向量对情感做出的贡献，从而使得FinBERT模型再被使用时能够将字的向量表达得更加准确。

步骤四：对共享向量化模型步骤二得到的文本语义向量作为模型的命名体识别模型的输入，通过模型对损失函数的计算的数值，利用反向传播公式计算到的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数计算的数值低于预设阈值。训练结束之后可以得到一个可用于预测使用的命名体识别模型。

命名体识别模型的训练步骤如下。

步骤4-1：将一个batch(设置为32)中的输入句子S输入到FinBERT模型中。

步骤4-2：基于FinBERT模型输出得到的向量值和每个句子对应的标记序列S

步骤4-3：将计算得到的loss进行反向传播，更新FinBERT模型的参数值。

步骤四执行了一个命名体识别的训练，其技术效果与步骤三类似，能够拓展共享的FinBERT模型所学的信息维度。

步骤五：对共享向量化模型步骤二得到的文本语义向量作为模型的实体情感识别模型的输入，通过模型对损失函数的计算的数值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数计算的数值低于预设阈值。训练结束之后可以得到一个可用于预测使用的实体情感识别模型。

同时参考图3，实体情感识别模型的训练步骤如下所示。

步骤5-1：在每个batch中，对于给定的句子S＝w

步骤5-1能够使多种不同类型的变量统一到数值化向量的层面，在此层面上，不同类型的向量便可以进行拼接或是直接输入模型等后续操作。

步骤5-2：将来自FinBERT模型输出的上下文表示H分为两个部分，作为全局编码(Global context)和局部编码(Local context)分别使用。左侧的全局编码和Embedding表进行点乘的操作称为全局编码器，右侧局部编码和高斯掩码层(Gaussian Matrix)进行点乘并输入协方差自注意层(Multi-Head Covariance Self Attention Layer(MHCSA))的操作称为局部编码器。

如上所示，为了有效地编码局部上下文信息，本实施例构造了一种局部编码器，该局部编码器包含两个层：一个高斯掩码层(Gaussian Matrix)和一个协方差自注意层(MHCSA)。

(1)高斯掩码层的说明如下：

为了自适应地调整实体词周围区域中的上下文感受野，在本实施例中构建一个自适应的学习模块，通过学习一组高斯掩码来调节每个局部上下文的宽度。具体而言，设计了一个多层神经网络来学习标准偏差σ以控制高斯分布的形状，σ的计算如下：

σ＝δ((W

σ是softplus函数，H是BERT模型输入语句的隐藏上下文表示，而W

relu是一种激活函数，该激活函数的计算公式如下：

relu(x)＝max(0,x)

高斯分布函数定义如下：

上式中的参数x可以是任意的输入，这里只是介绍所采用的高斯公式的具体公式。

为了获得用于上下文局部的自适应掩码矩阵，初始化掩码向量M

其中

H

其中⊙表示Hadamard乘积。

(2)协方差自注意层的说明如下。

为了处理隐含的语义情况，本实施例中希望使不同上下文单词的注意权重尽可能可区分开。为此，通过一种协方差自注意机制来对给定实体的局部上下文特征H

其中Q，K和V是查询，键和值矩阵，而d

softmax(S)＝[S

为了扩大任何单词对之间的差异并使它们的注意力权重更加明显，通过减去Q和K的均值项来修改原始的自注意机制。具体而言，协方差注意力机制计算任何单词对之间的关注分数：(Q-U

步骤5-2中的全局编码器和局部编码器能够很好地将输入信息进行高纬度的语义转化，在这个维度中，实体情感识别模型可以较好地找出核心信息帮助判断。

步骤5-3：通过依存嵌入层，利用句子S中的依存关系标签信息，得到二维矩阵Embedding，用于和上下文表示H相乘。

依存嵌入层的处理过程是：输入句子S，通过句法依存树解析算法得到该句子的依存树，利用依存树的特点，计算出实体词A到其余普通词的最短距离，通过设置SRD(句法关心范围阈值)的大小，将距离在SRD以内的普通词置为有效，而其他词则置为无效。最后通过字表转换的方式，得到维度为(文本长度，嵌入维度)的二维矩阵Embedding，用于和H相乘。

假设文本长度为5，嵌入维度为10，Embedding的实例如下：

[[0,0,0,0,0,0,0,0,0],

[1,1,1,1,1,1,1,1,1]

[1,1,1,1,1,1,1,1,1]

[1,1,1,1,1,1,1,1,1]

[0,0,0,0,0,0,0,0,0]]

该实例意味着文本中的第二个字到第四个字是在模型的句法关心范围内的。与H相乘，可以得到模型全局关注范围，因此Embedding的生成、H与Embedding的相乘合称为全局编码器。

步骤5-4：在输出层中，将局部编码器和全局编码器的输出特征结合起来作为最后的表示h

P(y＝c)＝sotfmax(W

W

整个步骤五设计了一个训练实体情感识别的框架，在该框架中采用了高斯掩码层和协方差自注意层的两个技术手段，以便为实体情感识别带来上下文区域选取和注意特定区域的这两个技术效果，这两个技术效果能够提升最终识别的准确率。

需要说明的是，本发明的范围可做如下的扩展：

多任务同时训练不限于三个任务，也不限于是上述实施例中提及的这三种任务。

上述实施例中的步骤二中的共享向量化模型使用的FinBERT模型不是重点，可以替换成其他向量化的网络模型(例如BERT)。

步骤三中的BiLSTM模型不是重点，可以使用LSTM或者别的序列化深度学习模型进行替代。

步骤五中的高斯掩码层中的高斯分布假设不是重点，可以设定为其他分布进行替代，从而该掩码层可以成为其他分布掩码层。

步骤五中的第5-3步中涉及到利用句法依存树得到句子注意力范围的方式不仅仅局限于句法依存树，还可以采用别的编码方式得到相应矩阵。

图4示出了本发明的基于实体上下文判别的实体情感识别系统的一实施例的原理。请参见图4，本实施例的系统包括：数据输入模块、语义向量化模块、篇章级情感识别模型模块、命名体识别模型模块、实体情感识别模型模块。

数据输入模块的输出端连接语义向量化模块的输入端，语义向量化模块的输出端分别连接篇章级情感识别模型模块、命名体识别模型模块、实体情感识别模型模块的输入端。

数据输入模块，配置为对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据。

语义向量化模块，配置为对数据输入模块所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果。

语义向量化模块进一步配置为：使用FinBERT模型对输入文本进行逐字处理，不仅将输入文本转化成标准化向量，还包括在后续任务中利用后续任务在优化目标过程中的反传数值对FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型。

篇章级情感识别模型模块，配置为对语义向量化模块得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型。

篇章级情感识别模型模块进一步配置为：对一个批次中的输入文本内容进行切片，将不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量；将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量和真实值进行损失函数的计算；对文本损失值进行反向传播更新BiLSTM模型和FinBERT模型；处理下一个批次，反复迭代直到损失函数的计算值收敛。

命名体识别模型模块，配置为对语义向量化模块得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型。

命名体识别模型模块进一步配置为：将一个批次中的输入句子输入到FinBERT模型中；基于FinBERT模型输出得到的向量值和每个句子对应的标记序列进行损失函数的计算；将损失函数的计算值进行反向传播，更新FinBERT模型的参数值。

实体情感识别模型模块，配置为对语义向量化模块得到的文本语义向量作为实体情感识别模型的输入，通过实体情感识别模型得到损失函数的计算值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的实体情感识别模型。

实体情感识别模型模块进一步配置为：在每个批次中对给定的句子和相应的实体词，先采用FinBERT模型作为上下文编码器抽取上下文表示，该上下文表示中包含普通词嵌入和实体词嵌入，此外句子实体依存向量转化为句子实体嵌入向量表以用于与该上下文表示相乘；将来自FinBERT模型输出的上下文表示作为全局编码和局部编码分别使用，其中采用全局编码器将全局编码与句子实体嵌入向量表进行点乘，采用局部编码器将局部编码和高斯掩码层进行点乘并输入协方差自注意层；通过依存嵌入层，利用句子中的依存关系标签信息，得到句子实体嵌入向量表以用于与该上下文表示相乘；将局部编码器和全局编码器的输出特征结合起来作为最后的表示，将该表示输入到全连接神经网络中以得到不同情感极性的概率。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。