一种基于联合注意力机制的售电公司评价情感分类方法

摘要

本发明涉及一种基于联合注意力机制的售电公司评价情感分类方法，属于信息技术领域。该方法包括售电公司评价文本数据集的构建与划分、模型训练、模型调优和售电公司评价情感分类四大步骤。该方法获得的评价情感的分类结果一定程度可以反映电力用户对于售电公司的情感倾向，能够在某种意义上刻画售电公司在零售市场的客户满意度和好评度；分类结果可以作为评估售电公司服务质量、信用等级的一个重要指标，能够促进售电公司不断提升服务质量，优化电力套餐结构，调整电力价格，保障电力零售市场的良性竞争和健康平稳运行。

说明书

技术领域

本发明属于信息技术领域，具体涉及一种基于联合注意力机制的售电公司评价情感分类方法。

背景技术

随着近年来国内电力市场化改革在如火如荼的进行之中，电力零售市场作为电力市场的一大重要组成部分，为售电公司和中小型电力用户提供了较批发交易方式更为灵活的零售交易方式。中小型电力用户在向售电公司购电、用电之后，会对电力套餐的实惠程度、用电偏差的处理和售电公司的服务态度等方面进行评价，在这些评价中充满了电力用户丰富的情感倾向。基于此，分析电力用户对售电公司评价中的情感倾向，一方面可以为其他电力用户在选购和定制电力套餐时提供参考和决策依据，另一方面也能促使售电公司不断优化电力套餐结构、调整套餐价格和提升服务质量。

情感分类的算法大致经历了基于自定义情感词典和规则的方法、基于特征工程的机器学习的方法以及基于深度学习的方法三个阶段。基于自定义情感词典和规则的方法需要人工构建词库和情感判定规则，比较耗时耗力，且难以处理复杂的多情感极性分类任务；基于特征工程的机器学习方法则通过对文本建立特征向量而后训练分类器进行分类，这类方法虽然具有较强的可解释性，但特征提取和处理的过程会随着数据复杂程度增加而变得繁琐，导致严重的特征稀疏和维度灾难等问题。基于深度学习的方法在近年随着深度学习技术的崛起而备受关注，它通过神经网络端对端地学习输入数据和输出标签之间的映射关系，从而实现分类。虽然基于深度学习的方法比上述两种方法取得了更好的分类性能，但现存的大部分深度模型存在网络结构单一，网络运行机制不符合人类阅读理解文本的习惯和规律。

另外，现存的情感分类任务针对的领域通常是社交平台、传统网购平台和第三产业平台等，电力零售平台作为近年来电力市场化改革的产物，在一定程度上决定了未来电力零售行业的发展方向。售电公司作为零售平台上的店铺运营商，其服务质量的好坏与零售市场能否健康稳定发展直接挂钩。基于此，对售电公司的评价进行情感分类能够有效考量售电公司在零售市场中的用户满意度，有利于规范售电公司市场行为，提升其服务质量。然而，现存的情感分类任务还未有与电力零售领域中售电公司评价数据进行结合的案例。

综上，在情感分类算法方面，虽然目前基于深度学习的各种算法在其他领域取得了较好的结果，但这些算法大部分都存在提取特征粒度单一，不符合人类阅读理解文本规律的问题。另外，国内电力市场发展还处于起步阶段，市场模式也有别于国外，目前还没有一种高效、准确的对售电公司评价进行情感分类的算法。

发明内容

本发明的目的是为了解决现有技术的不足，基于在当前国内电力市场化改革背景下，在电力零售市场中缺乏一种高效准确的对售电公司评价情感进行分类的算法，提供一种基于联合注意力机制的售电公司评价情感分类方法。

为实现上述目的，本发明采用的技术方案如下：

一种基于联合注意力机制的售电公司评价情感分类方法，包括如下步骤：

步骤(1)，售电公司评价文本数据集的构建与划分：构建售电公司评价文本数据集，并将其划分为训练集和测试集；所述的评价文本数据集包括评论数据及其对应的情感类别；

步骤(2)，模型训练：采用训练集，以评论数据作为输入，以评论数据对应的情感类别作为输出，以交叉熵作为损失函数进行训练，得到基于联合注意力机制的情感分类模型；

所述的基于联合注意力机制的情感分类模型包括嵌入层、Bi-LSTM模块、CNN-LSTM模块、注意力层；

步骤(3)，模型调优：采用测试集，以交叉熵作为损失函数对模型中的参数进行调整，得到最优基于联合注意力机制的情感分类模型；

步骤(4)，售电公司评价情感分类：获取各售电公司的所有评价数据，使用模型对其评价数据进行情感分类，并统计其评价被分为各个情感类别的数量。

进一步，优选的是，步骤(1)中，构建售电公司评价文本数据集的具体方法为：在电力零售平台上随机爬取若干个售电公司10000条的评论数据，之后人工对其类别进行标注，标注类别总共有5个类别，即1星到5星，数字越大表示评论蕴含的情感越积极，反之则越消极；标注完成后将这些数据进行清洗和过滤，去除从网页爬取下来或显示乱码的评论，并去除网页标签、特殊符号、以及与情感表达无关的助词、介词。

例如5星表示用户对售电公司的服务非常满意，4星表示总体满意，3星表示一般满意，2星表示不太满意，1星则表示非常不满意；标注完成后将这些数据进行清洗和过滤，清洗和过滤主要是去除一些从网页爬取下来或显示乱码的评论，以及去除评论中的一些网页标签，特殊符号、以及与情感表达无关的助词、介词。

进一步，优选的是，步骤(1)中，训练集和测试集的比例为4∶1，且训练集和测试集中每个类别的样本数量需保持一致。

进一步，优选的是，步骤(2)中，嵌入层为模型的第一层，用于将输入文本序列中的每个词语转换为相应的分布式表示；具体为：对于一个包含有n个按序排列词语的句子S＝{w

而后将句子S中所有词语的词向量进行堆叠得到一个词向量矩阵W∈R

e

在公式(1)中，o

进一步，优选的是，步骤(2)中，Bi-LSTM模块每个神经元都包含遗忘门、输入门和输出门；

对于当前神经元，遗忘门首先接收上一神经元的输出h

f

输入门接收上一单元输出h

i

C′

C

之后输出门将基于前一神经元输出h

o

h

Bi-LSTM模块分别使用两个反向的LSTM对输入序列进行建模，定义输入词语w

进一步，优选的是，CNN-LSTM模块用于对文本序列在n-gram粒度上进行建模；CNN-LSTM模块包含两个以串联方式连接的神经网络：一个不带池化层的标准CNN和一个双向LSTM；

首先CNN对输入词向量矩阵W进行特征提取得到表示n-gram的特征映射图，而后将特征映射图输入到双向LSTM中得到n-gram序列的长序依赖关系。

进一步，优选的是，CNN用于对文本捕获基于窗口的n-gram表示，CNN接收嵌入层传入的词嵌入矩阵W，而后采用固定大小的卷积过滤器F∈R

c

其中，f为ReLU非线性激活函数，c

将特征映射图矩阵M也输入到一个双向LSTM中进行建模对词嵌入矩阵提取特征；同理，把第t个n-gram对应的正向和反向LSTM隐层状态

进一步，优选的是，在注意力层将CNN-LSTM模块的输出A作为注意力权重，与捕获词语序列长序依赖的Bi-LSTM模块输出H通过元素积相乘，如公式(9)所示；

相乘结果R为待分类文本最终的矩阵表示，而后将表示结果R输入池化层进行降维得到向量化表示P，再将P输入到一个全连接层通过Softmax函数进行归一化处理，最终得到文本属于每个类别概率构成的向量p＝(p

p＝Softmax(P·W+b

进一步，优选的是，损失函数交叉熵，具体描述为：假设待分类数据集共有N个类别，则对于某个样本，分别将其对于第i个类别预测概率pi取对数后与指示变量y

在模型训练过程中，每一轮迭代都需对所有样本计算损失函数值并得出样本的损失函数均值，而后计算损失函数对于各模型参数的梯度，并通过学习率对模型参数进行基于梯度方向的更新；模型参数经过多轮迭代后会使得损失函数的值在一个可接受的阈值范围内波动，这意味着模型已经充分学习到了从样本特征到类别的映射关系，可停止训练。

本发明分析传统的基于深度学习情感分类算法存在的缺陷，并结合人类阅读理解中使用注意力的习惯，探究设计一种基于联合注意力机制的情感分类模型；将售电公司评价文本作为数据集，并使用划分的训练集和测试集分别对模型进行训练和测试。在获取到售电公司评价文本数据集后对其进行清洗、过滤和词语向量化操作后，划分训练集和测试集，并将分类模型分别在训练集和测试集上进行训练和测试；然后调优模型以获得最佳分类性能。针对售电公司评价数据集特点和分类测试结果，对模型各网络层的参数进行调整以提升分类性能，实现分类模型与该领域数据集的有效契合；最后以评价情感分类结果作为对各售电公司的服务客户满意度的测评指标。评价情感的分类结果一定程度可以反映电力用户对于售电公司的情感倾向，能够在某种意义上刻画售电公司在零售市场的客户满意度和好评度；分类结果可以作为评估售电公司服务质量、信用等级的一个重要指标。

本发明与现有技术相比，其有益效果为：

本发明以电力零售市场中售电公司评价文本作为数据集，通过分析现有深度学习的情感分类算法存在的缺陷，提出了一种基于联合注意力机制的深度模型。该模型通过模仿人类在阅读文本时抓住文本中表达关键语义的词语和词组进行理解的特点，对售电公司评价文本提取对情感表达最为关键的语义进行建模，从而提升了评价情感分类的准确率。该模型通过在售电公司评价文本数据集上训练、测试，从而能对其他售电公司的评价情感进行有效、快速和准确的预测，最终根据各售电公司评价情感分类的指标，对其市场用户好评率和差评率进行评估，以促进售电公司不断提升服务质量，优化电力套餐结构，调整电力价格，保障电力零售市场的良性竞争和健康平稳运行。

附图说明

图1为基于联合注意力机制的情感分类模型图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。

一、问题定义

情感分类是自然语言处理领域的主流任务之一，该任务通过抽取文本中与情感相关的词法、语法结构和语义特征进而将文本分为具有不同情感倾向的类别。情感分类根据情感类别的数量可分为正负情感极性分类、多极性情感分类和细粒度方面级情感分类。本发明针对电力零售市场中售电公司评价文本数据集的特点，并结合市面上常见网购平台商品评价级别数量，选择多极性情感分类作为任务类型进行分类模型构建、模型训练、模型测试和模型调优，来实现将各售电公司评价文本根据情感倾向分为多个类别，并根据分类结果对各售电公司的市场服务满意度进行评估。

二、基于联合注意力机制的情感分类模型

本发明根据人类在阅读过程中会抓住文本关键义元之间的语义关系对文本进行理解的习惯，设计了一种基于联合注意力机制的网络模型，该模型采用一种并行结构，如图1所示，下面对该模型各网络层进行介绍。

1、嵌入层

该层为模型的第一层，用于将输入文本序列中的每个词语转换为相应的分布式表示。具体来说给定一个包含有n个按序排列词语的句子S＝{w

e

在公式(1)中，o

2、建模词语序列的双向LSTM(Bi-LSTM模块)

双向LSTM是一种经过改进后的RNN，用于对文本序列在词语粒度上进行建模。LSTM中的每个神经元都包含遗忘门、输入门和输出门。对于当前神经元，遗忘门首先接收上一神经元的输出h

f

同理，输入门接收上一单元输出h

i

C′

C

之后输出门将基于前一神经元输出h

o

h

此处分别使用两个反向的LSTM对输入序列进行建模，定义输入词语wi对应的正向和反向LSTM输出状态分别为

3、建模n-gram序列的CNN-LSTM模块

该模块用于对文本序列在n-gram粒度上进行建模。具体来说，它包含两个以串联方式连接的神经网络：一个不带池化层的标准CNN和一个双向LSTM。首先CNN对输入词向量矩阵进行特征提取得到表示n-gram的特征映射图，而后将特征映射图输入到双向LSTM中得到n-gram序列的长序依赖关系。

CNN通常用于对文本捕获基于窗口的n-gram表示，CNN接收嵌入层传入的词嵌入矩阵W，而后采用固定大小的卷积过滤器F∈R

c

其中，f为ReLU非线性激活函数，c

4、注意力层

在注意力层将CNN-LSTM模块的输出A作为注意力权重，与捕获词语序列长序依赖的双向LSTM输出H通过元素积相乘，如公式(9)所示。

相乘结果R为待分类文本最终的向量化表示，考虑到A和H分别包含了n-gram和词语粒度的文本长序依赖特征，其中A不仅蕴含了基于窗口的局部上下文特征，也包含了n-gram序列的长序依赖特征，因此将其作为注意力权重与对应的词语长序依赖特征H相乘，便能够对关键词语的语义进行强调。而后将表示结果R输入到一个池化层进行降维，再将降维后的结果P送入全连接层通过Softmax函数进行归一化处理，最终得到文本属于每个类别概率构成的向量p＝(p

p＝Softmax(P·W+b

三、损失函数与分类性能指标

模型训练过程中采用分类常规的交叉熵作为损失函数。假设待分类数据集共有N个类别，则对于某个样本，分别将其对于第i个类别预测概率p

训练过程就是通过对模型各参数进行基于损失函数梯度方向的更新来让损失函数的值不断减小，从而能够使模型对未标注数据进行准确的预测。模型分类的性能指标采用准确率(Accuracy)进行衡量，即统计所有样本中被正确分类的样本数占总样本数的比例。

四、一种基于联合注意力机制的售电公司评价情感分类方法

1、构建售电公司评价文本数据集

在电力零售平台上随机爬取若干个售电公司的10000条评论数据，之后人工对其类别进行标注，标注类别总共有5个类别，即1星到5星，数字越大表示评论蕴含的情感越积极，反之则越消极。例如5星表示用户对售电公司的服务非常满意，4星表示总体满意，3星表示一般满意，2星表示不太满意，1星则表示非常不满意。标注完成后将这些数据进行清洗和过滤以去除文本中的网页标签、特殊符号和与情感表达无关的助词、介词，最后将数据集利用中文分词工具进行分词后以4∶1的比例划分训练集和测试集，划分过程中需保证训练集和测试集中每类样本数量一致。

2、模型训练

将所构建数据集的训练集输入到基于联合注意力机制的情感分类模型中，以交叉熵作为损失函数进行训练，在训练初始阶段，模型的其他参数先随机进行设定。而后将测试集输入经过训练后的模型进行预测，统计预测结果。多次使用交叉验证的方式划分多组训练集和测试集，并分别对模型在不同训练集和测试集上进行训练和测试，分别记录模型在不同训练集和测试集上的分类性能。

3、模型调优

根据模型在多次交叉验证上的分类性能，对模型的若干参数例如(CNN卷积核大小、训练迭代次数、输入长度)进行调整，并再次进行训练和测试，直到模型获得最佳的分类性能，模型在实验过程中每个网络层关键超参数设定及参数总数如表1所示。此时将模型的最优参数进行保存，用于后续对其他售电公司的评价进行情感分类。

表1

此处选取近三年来被提出的模型结构与本发明模型结构相似的四个模型作为对比对象，并使用上述经过人工标记的售电公司评价数据作为数据集，使用相同的训练集对本发明涉及的模型及另外四个对比模型进行训练，而后使用相同测试集分别对上述模型进行测试，统计各模型的在测试集上的分类准确率，统计结果如表2所示。由表2可知，本发明涉及模型在售电公司评价数据分类上性能均优于其他四个现有模型。

表2

4、售电公司评价情感分类应用

获得最优模型后，获取各售电公司的所有评价数据，使用模型对其评价数据进行情感分类预测，并统计其评价被分为各个情感类别的数量，基于各个情感类别所对应的评价数量来计算售电公司在零售市场的好评率(5星评价数量占评价总数的比例)和差评率(1星评价数量占评价总数的比例)，并可对电力零售用户推荐好评率较高的售电公司。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。