基于深度学习的财务报告情感分析方法、装置及终端

摘要

本发明公开了一种基于深度学习的财务报告情感分析方法、装置及终端，其中分析方法包括：获取财务报告中管理层讨论与分析的文本信息；对所述文本信息进行预处理得到文本词汇；将所述文本词汇进行向量化表示；将所述文本词汇的向量化表示作为Word2Vec模型的输入进行词向量训练得到文本词向量，并提取所述文本词汇的实体特征和词性特征；构建BiLSTM模型，并在该模型中加入注意力机制；将文本词向量、实体特征和词性特征输入BiLSTM模型，计算所述文本信息的情感分析结果。本发明在BiLSTM模型基础上引入注意力机制，将目标词中各个词语语义的重要程度进行区分，快速而简洁的对文本进行特征提取，并对目标词进行特征表示，从而大幅提升现有模型性能。

说明书

技术领域

本发明属于自然语言处理技术领域，特别是涉及一种基于深度学习的财务报告情感分析方法、装置及终端。

背景技术

近年来金融市场随着各产业的不断成熟蓬勃发展，市场的投资热度只增不减，投资者在做企业投资决策时不管是依据理论或者过往经验，都离不开与一个企业的财务报告打交道。财务报告是由企业方根据市场规范定期发表的企业经营分析报告，报告内容从形式上可以分为两部分：财务信息与非财务信息。

财务信息主要是数据表格的呈现形式，对投资者而言，具有客观性，强规范性和易读性等特点，但财务信息只反映当前公司的经营状况，不具备前瞻性。因此出于对企业未来业绩的预测，投资者开始从非财务信息中挖掘公司的未来发展走向与成长性等信息，其中信息含量与价值含量最高的部分是“管理层讨论与分析”。该部分是管理层用文字表达公司的经营状况，投资持股情况，外部环境影响和未来发展趋势，相比于客观的财务数据，文本信息更具有主观性和情感倾向。

目前国内研究中引入“管理层讨论与分析”的分析较晚，因此对中文内容的MD&A详细的文本探索还不多，投资者对财务报告进行分析是希望能够从中预估一个公司未来的成长性、盈利性以及风险高低。因此研究MD&A文本与企业未来业绩间的关系能帮助投资者更好的把握企业未来的经营情况，在决策时做出更好的判断。

目前应用到财务报告文本分析的主流方法仍然是词典法和传统机器学习方法，特别是预测企业未来业绩的应用多为决策树、随机森林和XGBoost等方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度学习的财务报告情感分析方法、装置及终端。

本发明的目的是通过以下技术方案来实现的：基于深度学习的财务报告情感分析方法，包括：

获取财务报告中管理层讨论与分析的文本信息；

对所述文本信息进行预处理得到文本词汇；

将所述文本词汇进行向量化表示；

将所述文本词汇的向量化表示作为Word2Vec模型的输入进行词向量训练得到文本词向量，并提取所述文本词汇的实体特征和词性特征；

构建BiLSTM模型，并在BiLSTM模型中加入注意力机制；

将文本词向量、实体特征和词性特征输入BiLSTM模型，计算所述文本信息的情感分析结果。

优选的，对所述文本信息进行预处理得到文本词汇，包括：

对所述文本信息进行分句；

去除分句后的文本信息中的干扰符号；

对去除干扰符号后的文本信息进行分词得到文本词汇。

优选的，利用One-Hot编码方式将所述文本词汇进行向量化表示。

优选的，Word2Vec模型为CBOW模型或Skip-Gram模型。

优选的，词向量训练包括：

在CBOW模型的输入层将所有One-Hot向量连接，并将所有One-Hot向量分别乘以共享的输入权重矩阵；

将乘以输入权重矩阵后的所有One-Hot向量相加求平均作为隐层向量，并将隐层向量传递给隐藏层；

在隐层向量从隐藏层到输出层的传递过程中，将隐层向量乘以输出权重矩阵得到输出向量；

将所述输出向量经过Softmax激活函数层计算得到一个概率分布，最大的概率值所指示的单词为预测出的目标词向量；

计算预测出的目标词向量与文本词汇实际的One-Hot向量之间的误差；

定义交叉熵损失函数，并利用梯度下降算法更新输入权重矩阵和输出权重矩阵；

重复上述步骤直到预测出的目标词向量与文本词汇实际的One-Hot向量之间的误差满足阈值；

训练完成后将输入层的每个单词与初始权重矩阵相乘得到文本词向量。

优选的，在BiLSTM模型中加入注意力机制，包括：

设置模型数据输入占位符；

定义L2正则化损失；

设置词嵌入层：利用预训练的词向量将词嵌入矩阵初始化，利用词嵌入矩阵将输入的数据中的词转换成词向量；

定义两层BiLSTM的模型结构：定义前向LSTM结构和反向LSTM结构，采用动态输入模式拼接前向LSTM结构和反向LSTM结构的输出结果，或采用取序列全长的方式拼接前向LSTM结构和反向LSTM结构的输出结果；

获取最后一层LSTM神经元数量并初始化权重向量，对BiLSTM的拼接输出做非线性转换，对权重做维度变换和归一化处理，利用归一化的权值对非线性变换的输出进行加权求和，再做维度变换用于输出，利用Dropout进行正则化，得到注意力的输出；

利用全连接层进行损失计算：计算权重L2损失和偏移量L2损失，以及计算二元交叉熵损失，总损失为二元交叉熵的均值损失和带系数的模型的L2正则损失之和。

优选的，计算所述文本信息的情感分析结果式，在BiLSTM模型下得到隐藏层状态，以点乘方法计算每一个输入位置对当前位置的影响，将输出结果导入softmax函数层得到注意力权重分布，利用进行加权求和得到的相应向量，最终得到所述文本信息的情感分析结果。

基于深度学习的财务报告情感分析装置，包括：

文本收集模块，用于获取财务报告中管理层讨论与分析的文本信息；

数据处理模块，用于对所述文本信息进行预处理得到文本词汇，并将所述文本词汇进行向量化表示；

Word2Vec模型，用于将所述文本词汇的向量化表示作为输入进行词向量训练得到文本词向量，以及用于提取所述文本词汇的实体特征和词性特征；

加入注意力机制的BiLSTM模型，用于将文本词向量、实体特征和词性特征作为输入计算所述文本信息的情感分析结果。

基于深度学习的财务报告情感分析终端，包括处理器以及存储器，所述处理器耦合所述存储器，所述处理器在工作时执行存储器中所存储的指令以实现上述基于深度学习的财务报告情感分析方法。

本发明的有益效果是：

（1）本发明中采用BiLSTM模型，BiLSTM模型相比RNN模型和单独的LSTM模型保留了更多的上下文信息，相应的保留了更多的梯度，缓解了梯度消失的问题；

（2）本发明在BiLSTM模型基础上引入注意力机制，将目标词中各个词语语义的重要程度进行区分，快速而简洁的对文本进行特征提取，并对目标词进行特征表示，从而大幅提升现有模型性能；

（3）由于财报文本的专业性和格式统一性非常强，单条样本的文本长度较长，人工提取特征的难度较大，提取效果不佳；本发明采用深度学习方法，深度学习方法的优势恰恰在于模型的特征自学习能力，非常适合高维度大数据的特点，解决了人工提取特征的难度较大、，提取效果不佳的问题；

（4）本发明中BiLSTM模型能够将上下文语义进行关联，在中文语句处理过程中能够很好的将分词向量之间的关系进行绑定和整合，提高了预测的准确性；

（5）本发明中基于深度学习技术提取的抽象特征，通过Word2Vec技术模拟词语之间的联系与含义，提高了情感分类预测的准确性。

附图说明

图1为基于深度学习的财务报告情感分析方法的一种流程图；

图2为本发明进行词向量训练采用的CBOW模型的结构示意图；

图3为LSTM模型的结构示意图；

图4为本发明中加入注意力机制的BiLSTM模型的结构示意图；

图5为基于深度学习的财务报告情感分析装置的结构示意图。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1-5，本发明提供一种基于深度学习的财务报告情感分析方法、装置及终端：

实施例一

如图1所示，基于深度学习的财务报告情感分析方法，包括：

S1. 获取财务报告中管理层讨论与分析的文本信息。

S2. 对所述文本信息进行预处理得到文本词汇。

具体的，对所述文本信息进行预处理得到文本词汇，包括：

S21.对所述文本信息进行分句.

S22.去除分句后的文本信息中的干扰符号。

S23.对去除干扰符号后的文本信息进行分词得到文本词汇。

S3. 将所述文本词汇进行向量化表示。本实施例中，利用One-Hot编码方式将所述文本词汇进行向量化表示，将所述文本词汇的向量化表示结果记为One-Hot向量。

S4. 将所述文本词汇的向量化表示作为Word2Vec模型的输入进行词向量训练，并提取所述文本词汇的实体特征和词性特征。

所述Word2Vec模型为CBOW模型或Skip-Gram模型。

具体的，如图2所示，所述文本词汇的向量化表示作为Word2Vec模型的输入进行词向量训练，包括：

S41.在CBOW模型的输入层将所有One-Hot向量连接，并将所有One-Hot向量分别乘以共享的输入权重矩阵；

S42.将乘以输入权重矩阵后的所有One-Hot向量相加求平均作为隐层向量，并将隐层向量传递给隐藏层；

S43.在隐层向量从隐藏层到输出层的传递过程中，将隐层向量乘以输出权重矩阵得到输出向量；

S44.将所述输出向量经过Softmax激活函数层计算得到一个概率分布，最大的概率值所指示的单词为预测出的目标词向量；

S45.计算预测出的目标词向量与文本词汇实际的One-Hot向量之间的误差；

S46.定义交叉熵损失函数，并利用梯度下降算法更新输入权重矩阵和输出权重矩阵；

S47.重复S41-S46直到预测出的目标词向量与文本词汇实际的One-Hot向量之间的误差满足阈值；

S48.训练完成后将输入层的每个单词与初始权重矩阵相乘得到文本词向量。

S5.构建BiLSTM模型（Bi-directional Long Short-Term Memory，双向长短期记忆网络，简称BiLSTM），并在BiLSTM模型中加入注意力机制。

如图3所示，每条黑线都带有一个向量，表示从一个节点的输出到下一个节点的输入，结构内的圆表示向量相乘或相加等运算，方框表示神经网络学习层。在LSTM结构中，发挥长期记忆作用的关键是通过所有单元的水平线之间信息的传递。同时，在单元线的下方，门结构通过一个sigmoid神经层和一个逐点相乘的操作来选择需要传递或丢弃的信息，Sigmoid层输出向量的范围在（0，1）之间，作为衡量单元信息通过的比例。Bi-LSTM（BiLSTM模型）是指两个不同方向的LSTM层结合在一起，具体含义为：前向LSTM层从左至右识别文本并训练得到向量，后向LSTM层从右至左识别文本得到向量，然后将前向和后向的隐向量进行拼接得到一个新向量作为输出。文本中有的内容由前后文共同决定情绪特征，多加入一层后向LSTM层可以提升文本的预测效果。

注意力机制通过计算概率分布，关注对BiLSTM模型的输出具有显著影响的关键输入信息，从而优化BiLSTM模型对文本特征的学习。注意力机制在BiLSTM模型的模型训练层和输出层之间加入，对每个输入状态赋予不同的权重来决定各单元状态最后的输出结果。

如图4所示，首先由编码器将输入信息统一编码成固定长度的特征，之后在解码器将特征解码输出。这一过程将输入信息强制编码成同一个固定长度，使得模型性能受到影响。引入注意力机制后，注意力机制对输入信息用控制权重的方法进行选择性关注，在输出信息时也只会选择性地输出关注的内容，虽然从效率上讲会加大模型计算量，导致模型收敛时间变长，但是模型训练的效果会有大的提升，文本分析的目的性更强。

具体的，在BiLSTM模型中加入注意力机制，包括：

S51.设置模型数据输入占位符；

S52.定义L2正则化损失；

S53.设置词嵌入层：利用预训练的词向量将词嵌入矩阵初始化，利用词嵌入矩阵将输入的数据中的词转换成词向量；

S54.定义两层BiLSTM的模型结构：定义前向LSTM结构和反向LSTM结构，采用动态输入模式或取序列全长的方式拼接前向LSTM结构和反向LSTM结构的输出结果；

S55.获取最后一层LSTM神经元数量并初始化权重向量，对Bi-LSTM的拼接输出做非线性转换，对权重做维度变换和归一化处理，利用归一化的权值对非线性变换的输出进行加权求和，再做维度变换用于输出，利用Dropout进行正则化，得到Attention（注意力）的输出；

S56.利用全连接层进行损失计算，包括权重L2损失和偏移量L2损失，计算二元交叉熵损失，总损失为二元交叉熵的均值损失和带系数的模型的L2正则损失之和。

S6.将词向量训练的结果、实体特征和词性特征输入BiLSTM模型，计算所述文本信息的情感分析结果。

所述S6中，在BiLSTM模型下得到隐藏层状态，以点乘方法计算每一个输入位置对当前位置的影响，将输出结果导入softmax函数层得到注意力权重分布，利用进行加权求和得到的相应向量，最终得到所述文本信息的情感分析结果。

为了对本实施例的效果进行验证，搭建经典长文本分类模型—TextRCNN模型对样本数据进行训练，将Logistic回归模型、TextRCNN、Bi-LSTM+Attention模型结果与其他研究的模型预测结果进行比较，Bi-LSTM模型的预测效果显著好于传统机器学习方法。Bi-LSTM模型的精度为91.70%，分类效果比单独的LSTM效果更好，原因在于利用了双层 LSTM模型提取了更多的文本特征。在Bi-LSTM模型中引入注意力机制后，模型精度为98.30%，分类效果比TextRCNN和Bi-LSTM模型都要好，也比传统机器学习方法的精度高出15.23%。

实施例二

如图5所示，基于深度学习的财务报告情感分析装置，包括文本收集模块、数据处理模块、Word2Vec模型和加入注意力机制的BiLSTM模型。

所述文本收集模块用于获取财务报告中管理层讨论与分析的文本信息。

所述数据处理模块用于对所述文本信息进行预处理得到文本词汇，并将所述文本词汇进行向量化表示。对所述文本信息进行预处理得到文本词汇包括：对所述文本信息进行分句；去除分句后的文本信息中的干扰符号；对去除干扰符号后的文本信息进行分词得到文本词汇。

所述Word2Vec模型用于将所述文本词汇的向量化表示作为输入进行词向量训练得到文本词向量，以及用于提取所述文本词汇的实体特征和词性特征。

所述加入注意力机制的BiLSTM模型用于将文本词向量、实体特征和词性特征作为输入计算所述文本信息的情感分析结果。

实施例三

基于深度学习的财务报告情感分析终端，包括处理器以及存储器，所述处理器耦合所述存储器，所述处理器在工作时执行存储器中所存储的指令以实现实施例一所述的基于深度学习的财务报告情感分析方法。

其中，处理器还可以称为CPU（中央处理单元）。处理器可能是一种集成电路芯片，具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，但不仅限于此。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。