面向限价委托单趋势预测的多层神经网络集成系统及方法

摘要

本发明涉及一种面向限价委托单趋势预测的多层神经网络集成系统及方法,包括：数据预处理模块，用于对输入的训练数据集作归一化处理；网络训练模块，用于将归一化处理后的训练集对多层神经网络进行训练，其中所述多层神经网络包括第一子模型、第二子模型以及第三子模型，且将所述第一子模型、第二子模型以及第三子模型的输出作为集成算法的输入，并将每个子模型赋予设定的权重，通过所述集成算法得到每一类别的最终输出值；限价委托单趋势预测模块，用于将待处理数据集经过所述数据预处理模块后得到三组数据集，将所述三组数据集输入至所述网络训练模块中预测未来的趋势。本发明预测更加精确。

说明书

技术领域

本发明涉及多层神经网络集成的技术领域，尤其是指一种面向限价委托单趋势预测的多层神经网络集成系统及方法。

背景技术

信息技术的发展经过了四次工业革命，当今的科技水平发展可谓日新月异，技术不断更新换代，各式各样的信息瞬息万变，随着经济和生活水平的不断提高，人工智能的出现促进了各行各业的发展，如今已涉及到人类生活的方方面面，例如利用指纹识别上班打卡、利用智能交通检测路况、利用智能家电便捷人们的生活等等。人们过去所运用的经济学和金融学理论，成为了人工智能组成的关键部分，金融市场产生的高频时间序列数据为使用神经网络预测做了铺垫。

深度学习已在语音、图像和视频领域的发展已到成熟阶段，基本可以适应人们的生活，在金融市场的应用也十分广泛，而通过深度学习的模型判断市场的未来趋势仍是一道难题。当今金融市场已逐步实现现代化，已全面实现电子化交易，为投资者买卖证券提供了更多便利。同时，证券交易所产生了大量的高频交易数据，例如逐笔成交数据，限价委托单数据，分钟级数据等；近年来社交媒体和新媒体发展逐渐完善的同时也产生了各种文本数据。研究人员可以利用这些交易数据和文本数据，先前的研究可以证明，在某种程度上，金融市场的价格和未来趋势是可以预测的(见文献“Benchmark dataset for mid-piceforecasting of limit order book data with machine learning methods”)。

深度学习技术已成为近年来各界的热点问题研究方法，其中卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆(Long Short-Term Memory，LSTM)网络均是是深度学习的代表算法，CNN广泛应用于学习图像数据，而LSTM多用于学习时间序列数据。研究者将LSTM和卷积神经网络用到限价委托单预测中，相对于传统的统计学和金融学方法在准确率等指标上均有了大幅度的提升。投资者选择合适的价格和成交量提交委托单，该委托单称为限价委托单(Limit Order Book,LOB)，也称限价单。Ntakaris等人使用单隐层前馈神经网络、岭回归模型对限价委托单数据的中间价格进行预测(见文献“Benchmark dataset for mid-pice forecasting of limit order book data withmachine learning methods”)，同时提供了完全公开的限价单数据，但其模型预测效果较差，可以通过模型的改进来优化结果。Tsantekidis等人使用DeepLOB模型预测股票价格(见文献“DeepLOB Deep Convolutional Neural Networks for Limit Order Books”)，其中包含了卷积块、Inception模块和LSTM层，但由于网络的深度过大，削弱了对时间信息的关注，而且存在过拟合现象。

发明内容

为此，本发明所要解决的技术问题在于如何克服过拟合现象，并利用限价委托单数据捕捉其隐藏特征信息及趋势，使预测更加精确。

为解决上述技术问题，本发明的一种面向限价委托单趋势预测的多层神经网络集成系统，包括：数据预处理模块，用于对输入的训练数据集作归一化处理；网络训练模块，用于将归一化处理后的训练集对多层神经网络进行训练，其中所述多层神经网络包括第一子模型、第二子模型以及第三子模型，且将所述第一子模型、第二子模型以及第三子模型的输出作为集成算法的输入，并将每个子模型赋予设定的权重，通过所述集成算法得到每一类别的最终输出值；限价委托单趋势预测模块，用于将待处理数据集经过所述数据预处理模块后得到三组数据集，将所述三组数据集输入至所述网络训练模块中预测未来的趋势。

在本发明的一个实施例中，所述训练数据集包括限价委托单数据以及由限价委托单得到的特征变量数据，所述特征变量数据包括时间不敏感数据和时间敏感数据。

在本发明的一个实施例中，所述第一子模型为卷积神经网络模型，所述卷积神经网络模型包括上采样层、第一二维卷积层模块、第二二维卷积层模块、Dropout层以及第一全连接层。

在本发明的一个实施例中，所述第二子模型为长短期记忆模型，通过第一LSTM层寻找时间序列的时间关系，通过第二全连接层得到每一类别的概率值。

在本发明的一个实施例中，所述第三子模型为长短期记忆模型，通过第二LSTM层学习时间序列的时间关系，通过第三全连接层得到每一类别的概率值。

在本发明的一个实施例中，所述多层神经网络还包括加权平均模块，所述加权平均模块分别与第一子模型、第二子模型以及第三子模型相连。

在本发明的一个实施例中，所述第一子模型、第二子模型以及第三子模型分别输入到对应的子模型中正向传递，采用交叉熵损失函数进行反向更新优化更新多层神经网络模型的所有参数。

在本发明的一个实施例中，所述交叉熵损失函数为：

在本发明的一个实施例中，对多层神经网络进行训练时，在训练过程的反向更新中，计算并反向更新多层神经网络的权重和偏置值。

本发明还提供了一种面向限价委托单趋势预测的多层神经网络集成方法，包括如下步骤：步骤S1：对输入的训练数据集作归一化处理；步骤S2：利用归一化处理后的训练集对多层神经网络进行训练，其中所述多层神经网络包括第一子模型、第二子模型以及第三子模型，且将所述第一子模型、第二子模型以及第三子模型的输出作为集成算法的输入，并将每个子模型赋予设定的权重，通过所述集成算法得到每一类别的最终输出值；步骤S3：将待处理数据集经过所述步骤S1后得到三组数据集，将所述三组数据集输入至所述步骤S2中预测股票未来的趋势。

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的面向限价委托单趋势预测的多层神经网络集成系统及方法，可以克服过拟合现象，而且可以判断出股票短期未来的走势，为辅助参与金融市场投资的人进行交易决策，使投资者可以将宏观金融环境、投资标的价值分析等指标与该模型预测的短期趋势结合分析，使预测更加精确，避免使用真金不断的试错而造成财产损失。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明面向限价委托单趋势预测的多层神经网络集成系统示意图；

图2是本发明所示的多层神经网络集成模型的示意图；

图3是本发明限价委托单趋势预测结果对比示意图。

具体实施方式

实施例一

如图1所示，本实施例提供一种面向限价委托单趋势预测的多层神经网络集成系统，包括：数据预处理模块10，用于对输入的训练数据集作归一化处理；网络训练模块20，用于将归一化处理后的训练集对多层神经网络进行训练，其中所述多层神经网络包括第一子模型、第二子模型以及第三子模型，且将所述第一子模型、第二子模型以及第三子模型的输出作为集成算法的输入，并将每个子模型赋予设定的权重，通过所述集成算法得到每一类别的最终输出值；限价委托单趋势预测模块30，用于将待处理数据集经过所述数据预处理模块后得到三组数据集，将所述三组数据集输入至所述网络训练模块中预测未来的趋势。

本实施例所述面向限价委托单趋势预测的多层神经网络集成系统，包括数据预处理模块10，用于对输入的训练数据集作归一化处理，通过归一化处理可以得到标准化样本；网络训练模块20，用于将归一化处理后的训练集对多层神经网络进行训练，其中所述多层神经网络包括第一子模型、第二子模型以及第三子模型，且将所述第一子模型、第二子模型以及第三子模型的输出作为集成算法的输入，并将每个子模型赋予设定的权重，通过所述集成算法得到每一类别的最终输出值，有利于判断出股票短期未来的走势；限价委托单趋势预测模块30，用于将待处理数据集经过所述数据预处理模块后得到三组数据集，将所述三组数据集输入至所述网络训练模块中预测如股票等未来的趋势，本发明不但可以克服过拟合现象，而且可以判断出股票短期未来的走势，为辅助参与金融市场投资的人进行交易决策，使投资者可以将宏观金融环境、投资标的价值分析等指标与该模型预测的短期趋势结合分析，使预测更加精确，避免使用真金不断的试错而造成财产损失。

所述数据预处理模块10中，所述训练数据集包括限价委托单数据以及由限价委托单得到的特征变量数据。所述特征变量数据包括时间不敏感数据和时间敏感数据。

具体地，输入

设每个时间点t包含前n档行情，第i档行情包含预买入价格

x

其中

对输入的训练数据集作归一化处理时，使用z-score标准化方法将数据归一化，具体地，采用标准化公式：

将以上数据集进行归一化后，使得经过处理后的数据的均值为0，标准差为1，其标准化公式为：

其中

归一化的数据集被分为三组子集：限价委托单数据集、时间不敏感数据集和时间敏感数据集，均处理为类图像的数据集。

其中限价委托单数据集

时间不敏感特征数据集

时间敏感特征数据集

所述网络训练模块20中，使用处理好的训练集U＝U

所述第一子模型为卷积神经网络模型，所述卷积神经网络模型包括上采样层、第一二维卷积层模块、第二二维卷积层模块、Dropout层以及第一全连接层。

具体地，处理数据集U

第1层为上采样层，通过上采样层将原始特征复制一倍，将原始特征图的长和宽分别扩大两倍，从而扩大特征图信息。

第2层是一个二维卷积层模块，称为第一二维卷积层模块，包含3个二维卷积层和1个池化层：第一个二维卷积层的卷积核大小为1×40，步长为1×8，通过该卷积核能够学习每一个时间序列的相邻5档限价委托单的关系(每一档包含8个特征，相邻5档共包含20个特征，因第一层将特征图扩大了两倍，所以包含40个特征)；第二个二维卷积层和第三个二维卷积层的卷积核大小均为8×1，步长均为1×1，填充参数为“same”，即该层的输出与上一层的输出相同，通过这两个卷积层学习8个步长的数据之间的局部关系；最后一层为最大池化层，通过该池化层对特征进行压缩，简化网络复杂度，若采样核的尺寸过大，则会损失更多的隐藏特征信息，所以该发明不减少每个限价单的特征信息，而是仅压缩时间序列的窗口长度，既能防止过拟合，又可提高网络性能，采样核大小为2×1，步长为2×1。

第3层也是一个二维卷积层模块，称为第二二维卷积层模块，包含2个二维卷积层和1个池化层：第一个二维卷积层的卷积核大小为4×1，步长为1×1，填充参数为“same”，通过该层学习压缩后的4个步长的数据之间的局部关系；第二层为最大池化层，通过该池化层对特征图进行压缩，防止模型产生过拟合，从而提高网络性能，采样核大小为2，步长为2；第三层为二维卷积层，结构与所述第一个卷积层的结构相同，通过该层学习固定时间步长的数据之间的局部关系。

第4层为Dropout层，通过随机删掉部分神经元来减少参数的数量，减少计算量，防止过拟合现象，随机采样概率设置为0.5。

第5层为第一全连接层，该层的神经元的个数为3，用于实现预测结果的分类。

所述第二子模型为长短期记忆模型，通过第一LSTM层寻找时间序列的时间关系，通过第二全连接层得到每一类别的概率值。

具体地，处理数据集U

所述第三子模型为长短期记忆模型，通过第二LSTM层学习时间序列的时间关系，通过第三全连接层得到每一类别的概率值。

具体地，处理数据集U

所述多层神经网络还包括加权平均模块，所述加权平均模块分别与第一子模型、第二子模型以及第三子模型相连。

具体地，模型的最后一部分使用了集成思想，通过在三个不同的子模型之间建立桥梁，加强子模型彼此的信息交流，并使用加权融合法的集成策略，因此所述集成算法是加权平均算法，即通过所述第一子模型、第二子模型以及第三子模型的输出作为所述加权平均模块的输入，并将每个子模型赋予设定的权重，通过所述加权平均模块与对应的权重得到每一类别的最终输出值。

所述第一子模型、第二子模型以及第三子模型分别输入到对应的子模型中正向传递，采用交叉熵损失函数进行反向更新优化更新多层神经网络模型的所有参数。

具体地，将训练集U的三个子集U

所述交叉熵损失函数为：

对多层神经网络进行训练时，在训练过程的反向更新中，通过Adam优化算法计算并反向更新多层神经网络的权重和偏置值。

将三个子模型的输出作为集成算法的输入，并将每个子模型赋予设定的权重，最终通过该算法得到每一类别的最终输出值。

本发明在卷积神经网络方面，使用上采样的思想放大特征图，扩大特征信息，使卷积神经网络充分的学习其特征信息，并将卷积核的设计与限价委托单的实际意义相结合，提高了模型的可解释性；本发明还通过池化层和Dropout层等方法防止过拟合现象的发生，可以进一步提高网络梯度下降的计算性能以及预测结果的精确度。另外，相比以往只使用限价委托单信息的模型，本发明扩展了限价单的特征，将其分为时间不敏感特征和时间敏感特征，通过LSTM层充分利用了这两部分特征，能够将提取的特征信息和模型的功能结合起来，得到更好的结果。同时，本发明使用集成思想结合了三个模型的优点，获得比单一模型的更好的预测效果。

所述限价委托单趋势预测模块30中，现在要在时间点T预测时间点T+m时刻的情况。设在时间点T包含前n档行情，依据所述数据预处理模块进行处理，得到三组特征数据，分别由时间点T-Δt

下面结合股票限价单的公开数据集进行具体论述：

本实施例采用股票限价单的公开数据集FI-2010数据集(数据来源：Ntakaris A,Magris M,Kanniainen J,et al.Benchmark dataset for mid-price forecasting oflimit order book data with machine learning methods[J].Journal ofForecasting,2018,37(8):852-866)。该数据集包含纳斯达克北欧集团的五只芬兰股票，一共包含45万个样本，每一笔限价单的标签都根据预测的区间大小不同分为5类(H＝10,20,30,50,100)，H表示预测的区间大小，数据集分为两个部分，一部分包含竞价时期，另一部分不包含竞价时期，每个样本有144个特征。本实施例对每一类均进行预测，输入数据不包含竞价数据，并将144个特征分为3类：一是原始限价委托单数据，包含40个特征；二是时间不敏感数据，包含48个特征；三是时间不敏感数据，包含56个特征。其中原始限价委托单数据是限价单中前十档的预买入价格和预买入成交量，以及预卖出价格和预卖出成交量。

所述数据预处理模块10中，将股票的限价单数据以及由限价单得到的特征变量数据作为本系统的训练集，其中特征变量数据包括了时间不敏感数据和时间敏感数据。输入

设每个时间点t包含前10档行情，第i档行情包含预买入价格

将以上数据集进行归一化，使得经过处理后的数据的均值为0，标准差为1，其标准化公式为：

其中

归一化的数据集被分为三组子集：限价委托单数据集、时间不敏感数据集和时间敏感数据集，均处理为类图像的数据集

所述网络训练模块20中，使用处理好的训练集U＝U

处理数据集U

第1层为上采样层，将原始特征图的长和宽分别扩大两倍。第2层是一个二维卷积层模块，称为第一二维卷积层模块，包含3个二维卷积层和1个池化层：第一个二维卷积层的卷积核大小为1×40，步长为1×8；第二个二维卷积层和第三个二维卷积层的卷积核大小均为8×1，步长均为1×1，填充参数为“same”；最后一层为最大池化层，采样核大小为2×1，步长为2×1。第3层也是一个二维卷积层模块，称为第二二维卷积层模块，包含2个二维卷积层和1个池化层：第一个二维卷积层的卷积核大小为4×1，步长为1×1，填充参数为“same”；第二层为最大池化层，采样核大小为2，步长为2；另一个二维卷积层与第一个二维卷积层的结构相同。第4层为Dropout层，随机采样概率设置为0.5。第5层为全连接层，该层的神经元的个数为3，用于实现预测结果的分类。

处理数据集U

处理数据集U

模型的最后一部分使用了集成思想，通过在三个不同的子模型之间建立桥梁，加强子模型彼此的信息交流，并使用加权融合法的集成策略。将训练集U的三个子集U

其中是Θ表示网络参数，

所述限价委托单趋势预测模块30中，现在要在时间点T预测时间点T+m时刻的情况。设在时间点T包含前n档行情，依据所述数据预处理模块进行处理，得到三组特征数据，分别由时间点T-Δt

本发明在卷积神经网络方面，使用上采样的思想放大特征图，增加特征信息，使卷积神经网络充分的学习其特征信息，并将卷积核的设计与限价委托单的实际意义相结合，提高了模型的可解释性；本发明还通过池化层和Dropout层等方法防止过拟合现象的发生，可以进一步提高网络梯度下降的计算性能以及预测结果的精确度。另外，相比以往只使用限价委托单信息的模型，本发明扩展了限价单的特征，将其分为时间不敏感特征和时间敏感特征，通过LSTM层充分利用了这两部分特征，能够将提取的特征信息和模型的功能结合起来，得到更好的结果。同时，本发明使用集成思想结合了三个模型的优点，获得比单一模型的更好的预测效果。

本发明的实验结果如图3所示，对比方法包括DeepLOB模型，卷积神经网络(子模型1)，LSTMI模型(子模型2)，LSTMII(子模型3)，以及本发明。从表中可以看出，本发明在准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1分数(F1-Score)上均优于DeepLOB模型，同时，本发明比三个子模型获得了更好的性能。

实施例二

基于同一发明构思，本实施例提供了面向限价委托单趋势预测的多层神经网络集成方法，其解决问题的原理与所述面向限价委托单趋势预测的多层神经网络集成系统类似，重复之处不再赘述。

本实施例提供一种面向限价委托单趋势预测的多层神经网络集成方法，包括：

步骤S1：对输入的训练数据集作归一化处理；

步骤S2：利用归一化处理后的训练集对多层神经网络进行训练，其中所述多层神经网络包括第一子模型、第二子模型以及第三子模型，且将所述第一子模型、第二子模型以及第三子模型的输出作为集成算法的输入，并将每个子模型赋予设定的权重，通过所述集成算法得到每一类别的最终输出值；

步骤S3：将待处理数据集经过所述步骤S1后得到三组数据集，将所述三组数据集输入至所述步骤S2中预测股票未来的趋势。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。