基于深度强化学习和深度残差收缩网络的投资方法及智能体

摘要

本发明揭示了一种基于深度强化学习和深度残差收缩网络的投资方法及智能体，通过构建策略神经网络，以实现下一个交易周期的收益率最高；用训练完的策略函数获取下一个交易周期的资产分配权重，并调整资产在加密货币市场中的分配，以此实现最优策略。本发明强化学习的策略函数在使用资产价格输入神经网络的基础上，通过引入额外的特征，帮助策略神经网络完善了对市场环境的分析，并采用了深度的残差收缩结构，极大的提高的智能体的学习能力和对于最优投资组合策略的探索能力，并且避免了训练时候的梯度消失问题的出现，使得策略网络可以进行有效的训练，并找出每一个状态下的最有效动作。

说明书

技术领域

本发明涉及人工智能技术领域，尤其是机器学习中的基于深度强化学习和运用深度残差收缩网络来构建策略神经网络的投资方法和智能体。

背景技术

随着人工智能技术的发展，强化学习算法已经被广泛运用于金融领域。目前，通过搭建适合的交互环境，基于强化学习的投资组合管理模型已经被初步地应用于资产管理，例如申请号为201810030006.1所示方法，运用Q Learning的强化学习Deep Q-network(DQN)模型进行投资组合的管理。

由于Deep Q-network只适用于离散的行动空间，需要对于投资组合的动作空间进行离散化处理，这会导致智能体在随机动作探索阶段无法对每个动作进行充分探索，并且使Deep Q-network的全连接层出现大量神经元。这样一来，不仅对于动作空间的探索效率很低，而且神经网络的训练也会变得非常困难。并且，对于行动空间进行离散化处理通常需要限制投资标的的个数，并且忽略手续费，以此来减少权重向量的个数。这严重影响了该模型的应用价值和泛化能力。

发明内容

本发明的目的就是为了解决上述技术问题，提供一种适用于多个投资标的且效率较高的基于深度强化学习和深度残差策略网络的投资方法及智能体。

本发明的目的通过以下技术方法来实现：

一种基于深度强化学习和深度残差收缩网络的投资方法，包括如下步骤：

S1，构建加密货币交易场景的基于深度强化学习的策略神经网络；

所述策略神经网络分为两个部分，策略神经网络的输入为第t个交易周期的价格张量和上一个交易周期的资金分配权重，其中t为在样本中交易周期按照时间序列排序的序号，策略神经网络的第一部分将输入的第t个交易周期的价格张量和上一个交易周期的资金分配权重转为了投资组合中各个加密货币在下一个交易周期中的价格增长潜力的打分；策略神经网络的第二部分将策略神经网络的第一部分输出的各个加密货币的打分转化为各个加密货币在下一个交易周期中资金分配的权重，以此实现下一个交易周期中的所述加密货币投资组合的最高收益；每个策略神经网络的决策对应一个马尔科夫决策过程，每个马尔科夫决策过程的动作空间是一个连续空间，每个策略神经网络的输入为状态空间{S

r＝ln(所负责资产经过一个交易周期的资产总额/上一时期所负责资产的资产总额)；

S2，训练所述的策略神经网络使得其参数最优化；

S3，加载训练好的策略神经网络，接收实时的加密货币数据，通过策略神经网络获得下一个交易周期的资金分配权重，并根据资金分配的权重来调整资金在加密货币市场中各个投资标的间的分配，从而实现最优的投资策略。

优选的，所述基于深度强化学习和深度残差收缩网络的投资方法中，所述S1中，每个策略神经网络的输入为第t个交易周期的价格张量，其通过如下方法得到：

S11，以三十分钟为一个交易周期，分别提取所要管理的加密货币的前0.5N小时中每个交易周期的收盘价、最高价和最低价并计算出过去六期收盘价的移动平均，形成四个(N*M)的矩阵，N为矩阵中所包含的过去的交易周期的数量，M为该马尔可夫决策所管理的投资组合中的加密货币的数量，对收盘价矩阵进行运算得到一个描述移动平均的(M*N)特征矩阵，将特征矩阵与原数据矩阵合并得到四个(M*N)的矩阵；

S12，将S11中得到的四个矩阵分别除以上一个交易周期的收盘价，使每个矩阵都标准化；

S13，将S12中，对于价格张量中由于价格数据缺失无法计算得到数据的位置，用相对价格1进行填充；

S14，将经过S13得到的四个矩阵组合成的一个(N*M*4)维的价格张量，即为第t个交易周期的价格张量。

优选的，所述基于深度强化学习和深度残差收缩网络的投资方法中，所述S2中，策略神经网络的训练过程如下：

S21，提取记忆批次

S22，计算该批次对应时间内的累计收益

S23，对于累计收益函数

从而找到最优参数θ

S24，将最优参数赋值给策略神经网络π

S25，重复上述步骤直到训练集的累计收益率最大化。

优选的，所述基于深度强化学习和深度残差收缩网络的投资方法中，所述策略神经网络包括第一部分和第二部分，策略神经网络的第一部分将价格张量转化为衡量投资组合中加密货币下一个交易周期中各个投资标的增长潜力的分数向量，策略神经网络的第二部分将衡量加密货币增长潜力的分数向量转为了下一个交易周期中分配给各个加密货币、现金、或现金等价物的权重。

优选的，所述基于深度强化学习和深度残差收缩网络的投资方法中，所述S3的过程如下：

S31，接受(M,N,4)维的价格张量，所述N为矩阵中所包含的过去的交易周期的数量，所述M为投资组合中投资标的的个数；

S32，通过基于深度残差收缩网络拓扑结构所构造的神经网路进行特征提取，形成一个

S33，将S32中得到的

S34，将S33得到的(M,1,10)的张量输入一层卷积规模为1*1的卷积层输出一个(M,1)的向量，该(M,1)向量中的数值是对于投资组合中M个投资标的在下一个交易周期中的增长潜力的打分；

S35，将在S34得到的(M,1)的向量插入现金偏置项，形成一个(M+1,1)的向量。

S36，将S35形成的(M+1,1)的向量通过Softmax激活函数得到投资权重向量，根据投资权重向量中各个投资标的的资金分配的权重，在下一个交易周期开始的时候对于投资组合中各个投资标的、现金或现金等价物分配的资金进行调整。

优选的，所述基于深度强化学习和深度残差收缩网络的投资方法中，所述S32包括：

S321，对S31得到的(M,N,4)价格张量，通过一层卷积规模为1*3的卷积层得到16个

S322，将S321得到的16个特征矩阵输入到一层池化核规模为1*3的平均池化层输出16个

S323，将S322得到的16个

S324，将S323得到的16个

S325，将S324得到的16个

S326，计算S325得到的

S327，计算S326得到的

S328，将S327得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Softmax函数作为神经元的激活函数；

S329，将S328得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Sigmoid函数作为神经元的激活函数；

S3210，对S329得到的(M,1)向量和S327得到的(M，1)向量对位相乘得到一个(M，1)的向量；

S3211，将S325得到的

S3212,将S3211得到的

S3213，将31212得到的

S3214,将S325得到的

S3215,将S3213得到的

S3216，将S322得到的16个

S3217，将S3215得到的

S3218，将S3217得到的

S3219，将S3218得到的32个

S3220，将S3219得到的32个

S3221，计算S3220得到的

S3222，计算S3221得到的

S3223，将S3222得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Softmax函数作为神经元的激活函数；

S3224，将S3223得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Sigmoid函数作为神经元的激活函数；

S3225，对S3222得到的(M,1)向量和S3224得到的(M，1)向量对位相乘得到一个(M，1)的向量；

S3226，将S3220得到的

S3227,将S3226得到的

S3228，将31227得到的

S3229,将S3220得到的

S3230,将S3228得到的

S3231，将S3217得到的

S3232，将S3230得到的

S3233，将S3232得到的

S3234，将S3233得到的64个

S3235，将S3234得到的64个

S3236，计算S3235得到的

S3237，计算S3236得到的

S3238，将S3237得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Softmax函数作为神经元的激活函数；

S3239，将S3238得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Sigmoid函数作为神经元的激活函数；

S3240，对S3239得到的(M,1)向量和S3237得到的(M,1)向量对位相乘得到一个(M,1)的向量；

S3241，将S3235得到的

S3242,将S3241得到的

S3243，将S3242得到的

S3244,将S3235得到的

S3245,将S3244得到的

S3246，将S3232得到的一个

S3247，将S3245得到的

S3248，将S3247得到的

S3249，将S3248得到的128个

S3250，将S3249得到的128个

S3251，计算S3250得到的

S3252，计算S3251得到的

S3253，将S3252得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Softmax函数作为神经元的激活函数；

S3254，将S3253得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Sigmoid函数作为神经元的激活函数；

S3255，对S3254得到的(M,1)向量和S3252得到的(M，1)向量对位相乘得到一个(M，1)的向量；

S3256，将S3250得到的

S3257,将S3256得到的

S3258，将S3257得到的

S3259,将S3250得到的

S3260,将S3259得到的

S3261，将S3247得到的一个

S3262，将S3261得到的

优选的，所述基于深度强化学习和深度残差收缩网络的投资方法中，还包括S4，定期或不定期使用不同的数据对所述基于深度强化学习的策略神经网络模型进行叠加训练及参数微调。

一种智能体，所述智能体包括如上所述的基于深度强化学习的策略神经网络模型，所述策略神经网络的输入为第t个交易周期的价格张量，其中t为在样本中交易周期按照时间序列排序的序号，价格张量由第t个交易周期的收盘价，最高价,最低价和过去六期收盘价的移动平均值组成；所述策略神经网络采用深度残差收缩网络拓扑结构，包括两个部分，第一部分将输入价格张量和上一个交易周期的资金分配权重转为投资组合中各个加密货币在下一个交易周期中的价格增长潜力的打分向量，第二部分将第一部分输出的各个加密货币的打分向量转化为各个加密货币在下一个交易周期中资金分配的权重，以此实现下一个交易周期中的所述加密货币投资组合的最高收益。

本发明技术方案的有点主要体现在：

本发明所述基于深度强化学习和深度残差收缩网络的投资方法及智能体，采用基于深度强化学习的策略函数，策略函数直接输出下一个投资周期的资金分配策略，避免了采用Deep Q-network所需要的动作空间离散化处理。同时，策略神经网络在使用资产价格输入神经网络的基础上，通过引入额外的特征，帮助策略神经网络完善了对市场环境的分析，并采用深度残差收缩网络结构，使智能体具有较强的学习能力，避免了智能体训练的时候出现梯度消失的问题。

附图说明

图1是本发明所述基于深度强化学习和深度残差收缩网络的投资方法的流程示意图；

图2是本发明所述基于深度强化学习和深度残差收缩网络的投资方法的策略神经网络模型框架结构的结构示意图；

图3是基于深度强化学习策略神经网络中的阈值计算模块；

图4是基于深度强化学习的策略神经网络中如何将上一个交易周期的资金分配权重向量输入到策略神经网络中；

图5是本发明的基于深度强化学习策略神经网络模型第一部分的结构示意图；

图6是本发明的基于深度强化学习策略神经网络模型第二部分的结构示意图；

图7是时间范围为2018年5月1日到2020年5月1日的测试数据集进行的模型测试的结果对比图。

具体实施方式

本发明的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本发明技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范围之内。

在方案的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。并且，在方案的描述中，以操作人员为参照，靠近操作者的方向为近端，远离操作者的方向为远端。

下面

请同时参见如附图1和附图2所示，本发明所述的基于深度强化学习和深度残差收缩网络的投资方法包括如下步骤：

S1，构建加密货币交易场景的基于强化学习的策略神经网络；

所述策略神经网络分为两个部分，策略神经网络的输入为第t个交易周期的价格张量和上一个交易周期的资金分配权重，其中t为在样本中交易周期按照时间序列排序的序号，策略神经网络的第一部分将输入的第t个交易周期的价格张量和上一个交易周期的资金分配权重转为了投资组合中各个加密货币在下一个交易周期中的价格增长潜力的打分；策略神经网络的第二部分将策略神经网络的第一部分输出的各个加密货币的打分转化为各个加密货币在下一个交易周期中资金分配的权重，以此实现下一个交易周期中的所述加密货币投资组合的最高收益；

每个策略神经网络的决策对应一个马尔可夫决策过程；每个马尔科夫决策过程的动作空间是一个连续空间，每个策略神经网络的输入为状态空间{S

＝ln(所负责资产经过一个交易周期的资产总额/上一时期所负责资产的资产总额)。

具体的，通过深度神经网络构建智能代理，所述智能代理与使用加密货币收盘价，最高价,最低价和过去六期收盘价的移动平均值的时间的序列数据构建的环境进行交互，环境会产生状态转移和即时回报，通过状态转移和即时回报的数据，训练策略神经网络，再次采取动作，依照上述过程循环，使智能代理每次采取动作的累计折扣即时回报最大化。

其中，智能代理的状态空间{S

每个策略神经网络的输入为第t个交易周期的价格张量，其通过如下方法得到：

S11，以三十分钟为一个交易周期，分别提取所要管理加密货币的前0.5N小时中每个交易周期的收盘价，最高价，最低价并根据收盘价计算出过去六期收盘价的移动平均值，形成四个(N*M)的矩阵，N为矩阵中所包含的过去的交易周期的数量，M为该马尔可夫决策所管理的投资组合中的加密货币的数量；

S12，将S11中得到的四个矩阵分别处以上一个交易周期的收盘价，使每个矩阵都标准化；

S13，将S12中，由于价格张量中由于价格数据缺失无法计算得到的位置，用相对价格1进行填充；

S14，将经过S13得到的四个矩阵组合成的一个(N*M*4)维的价格张量，即为第t个交易周期的价格张量。

此时，每个策略神经网络的决策对应一个马尔科夫决策过程，每个马尔科夫决策过程的动作空间是一个连续空间，每个策略神经网络对应的马尔科夫决策的奖励r如下：

r＝ln(所负责资产经过一个交易周期的资产总额/上一时期所负责资产的资产总额)。

S2，训练所述策略神经网络使其参数最优化；

具体训练时，每层策略神经网络的训练过程如下：

S21，提取记忆批次

S22，计算该批次对应时间内的累计收益

S23，对于累计收益函数

从而找到最优参数θ

S24，将最优参数赋给策略神经网络π

S25，重复上述步骤直到训练集的累计收益率最大化。

训练好的模型能够直接用于投资标的的交易，即根据不同的实时投资标的的价格，输出对应的资金分配情况。

S3，加载训练好的策略神经网络，接收实时的投资标的的数据，通过策略神经网络获得下一个交易周期的资产分配权重，并根据资产分配权重调整资产在加密货币市场中的分配，从而实现最优的投资策略。

如附图5所示，所述S3的过程中，所述策略神经网络模型的第一部分如下(其中阈值计算模块如附图3所示，将上一个投资周期中各投资标的的资金分配权重向量输入策略神经网络的具体实施方式如附图4所示)：

S31，接受(M,N,4)维的价格张量，所述N为矩阵中所包含的过去的交易周期的数量，所述M为投资组合中投资标的的个数；

S32，通过基于深度残差收缩网络拓扑结构构造的神经网路进行特征提取，形成一个

S33，将S32中得到的

S34，将S33得到的(M,1,10)的张量输入一层卷积规模为1*1的卷积层输出一个(M,1)的向量，该(M,1)向量中的数值是对于投资组合中M个投资标的在下一个交易周期中的成长潜力的打分；

如附图6所示，所述S3的过程中，所述策略神经网络模型第二部分如下：

S35在S34得到的(M,1)的向量插入现金偏置项，形成一个(M+1,1)的向量；

S36，将S35形成的(M+1,1)的向量通过Softmax激活函数得到投资权重向量，智能体根据投资权重向量中各个资产的资金分配权重，在下一个交易周期开始的时候对于投资组合中各个投资标的、现金或现金等价物分配的资金进行调整。

具体的，所述S32包括：

S321，对S31得到的(M,N,4)价格张量，通过一层卷积规模为1*3的卷积层得到16个

S322，将S321得到的16个特征矩阵输入到一层池化核规模为1*3的平均池化层输出16个

S323，将S322得到的16个

S324，将S323得到的16个

S325，将S324得到的16个

S326，计算S325得到的

S327，计算S326得到的

S328，将S327得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Softmax函数作为神经元的激活函数；

S329，将S328得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Sigmoid函数作为神经元的激活函数；

S3210，对S329得到的(M,1)向量和S327得到的(M，1)向量对位相乘得到一个(M，1)的向量；

S3211，将S325得到的

S3212,将S3211得到的

S3213，将31212得到的

S3214,将S325得到的

S3215,将S3213得到的

S3216，将S322得到的16个

S3217，将S3215得到的

S3218，将S3217得到的

S3219，将S3218得到的32个

S3220，将S3219得到的32个

S3221，计算S3220得到的

S3222，计算S3221得到的

S3223，将S3222得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Softmax函数作为神经元的激活函数；

S3224，将S3223得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Sigmoid函数作为神经元的激活函数；

S3225，对S3222得到的(M,1)向量和S3224得到的(M，1)向量对位相乘得到一个(M，1)的向量；

S3226，将S3220得到的

S3227,将S3226得到的

S3228，将31227得到的

S3229,将S3220得到的

S3230,将S3228得到的

S3231，将S3217得到的

S3232，将S3230得到的

S3233，将S3232得到的

S3234，将S3233得到的64个

S3235，将S3234得到的64个

S3236，计算S3235得到的

S3237，计算S3236得到的

S3238，将S3237得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Softmax函数作为神经元的激活函数；

S3239，将S3238得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Sigmoid函数作为神经元的激活函数；

S3240，对S3239得到的(M,1)向量和S3237得到的(M,1)向量对位相乘得到一个(M,1)的向量；

S3241，将S3235得到的

S3242,将S3241得到的

S3243，将S3242得到的

S3244,将S3235得到的

S3245,将S3244得到的

S3246，将S3232得到的一个

S3247，将S3245得到的

S3248，将S3247得到的

S3249，将S3248得到的128个

S3250，将S3249得到的128个

S3251，计算S3250得到的

S3252，计算S3251得到的

S3253，将S3252得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Softmax函数作为神经元的激活函数；

S3254，将S3253得到的(M,1)向量输入全连接神经网络层，得到一个(M,1)的向量，其中选用Sigmoid函数作为神经元的激活函数；

S3255，对S3254得到的(M,1)向量和S3252得到的(M，1)向量对位相乘得到一个(M，1)的向量；

S3256，将S3250得到的

S3257,将S3256得到的

S3258，将S3257得到的

S3259,将S3250得到的

S3260,将S3259得到的

S3261，将S3247得到的一个

S3262，将S3261得到的

在模型训练完成后，投入使用前，可以采用测试数据集进行模型的性能检测，具体的，以加密货币市场中，市场占有率最高的12个加密货币为例构成测试数据集，12个价格货币分别是：reversed_USDT、reversed_USDC、ETH、XRP、LTC、XMR、BCHSV、ATOM、DASH、ETC和ZEC，BTC作为现金等价位并用来对于另外的11个价格货币进行标价。具体是通过Polonix.com下载的11个加密货币的时间序列。分别提取所选的11个加密货币前N个交易周期的收盘价，最高价，最低价和收盘价的移动平均值，形成四个11*N的价格矩阵。并且通过四个矩阵分别除以上一交易日的收盘价，使每个矩阵都标准化。对于标准化后的数据矩阵，由于数据缺失导致数据无法计算的，用相对价格1进行填充。实际将2018/5/1-2020/1/14的加密货币时间序列数据分别设定为测试数据集，并将2020/1/14-2020/5/1的加密货币时间序列数据分别设定为回测数据集。

将测试数据集输入本方案的模型(residual shirinkage network basedreinforcement learning model(简写为RENET))后所得的结果和传统资产管理方法结果的对比呈现如附图7所示，其中涉及的传统方法如下：

Best Stock(best)

Online Newton Step(ons)

Universal Portfolios(up)

Exponential Gradient(eg)

Uniform Constant Rebalanced Portfolios(crp)。

从比对图可以看出，本发明的方案相对其他方法，其获得的收益水平最佳，取得了更好的效果。

最后，本发明所述基于深度强化学习和深度残差收缩网络的组合投资方法，还包括S4，定期或不定期使用不同的数据对策略神经网络模型进行叠加训练及参数微调。智能体基于策略神经网络进行决策，用价格张量描述当前状态，并作为策略神经网络的输入值；并且策略神经网络直接输出投资于各个加密货币和保留为现金(或现金等价物)的权重，以使得下一个交易周期所述投资组合的收益率最高。此处具体的训练过程与上述S21-S25的过程相同，在此不作赘述。

本发明还提供了一种智能体，包括上述的基于深度强化学习的策略神经网络模型。所述策略神经网络的输入为第t个交易周期的价格张量，其中t为在样本中交易周期按照时间序列排序的序号，价格张量由第n个交易周期的收盘价，最高价,最低价和过去六期收盘价的移动平均值组成。所述策略神经网络采用了深度残差收缩网络拓扑结构，该策略神经网络结构包括两个部分，第一部分的策略神经网络将输入价格张量和上一个交易周期的资金分配权重转为了投资组合中各个加密货币在下一个交易周期中的价格增长潜力的打分。策略神经网络的第二部分，将第一部分输出的各个加密货币的打分转化为各个加密货币在下一个交易周期中资金分配的权重，以此实现下一个交易周期中的所述加密货币投资组合的最高收益。当然，所述智能体还包括其他各种已知智能体所具有的通用结构，例如数据采集模块、执行器等，此处为已知技术，不作赘述。

本发明所述基于深度强化学习和深度残差收缩网络的投资方法及智能体，采用基于深度强化学习的策略函数，策略函数直接输出下一个投资周期的资金分配策略，避免了采用Deep Q-network所需要的动作空间离散化处理。同时，策略神经网络在使用资产价格输入神经网络的基础上，通过引入额外的特征，帮助策略神经网络完善了对市场环境的分析，并采用深度残差收缩网络结构，使智能体具有较强的学习能力，避免了智能体训练的时候出现梯度消失的问题。

本发明尚有多种实施方式，凡采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。