一种基于Rainbow算法的负荷侧竞价智能体及竞价方法

摘要

本发明公开了一种基于Rainbow算法的负荷侧竞价智能体及竞价方法，在现有的DQN算法上提出3种网络改进方法，显著减少算法训练所需迭代次数，并提升算法收敛性能，在负荷侧竞价行为，将其建模为智能体，通过Rainbow算法根据历史报价数据进行学习，并且由于市场主体建模基于非完全信息，在学习时仅需要知道自身的成本，无需获取其他主体的成本信息及市场出清规则等外部信息。通过对现有的基于DQN算法的市场主体报价方法进行改进，显著提升算法在训练阶段所需的迭代次数以及增强算法的收敛稳定性。

说明书

技术领域

本发明涉及电力市场技术领域，尤其涉及一种基于Rainbow算法的负荷侧竞价智能体及竞价方法。

背景技术

随着电力市场改革的推进，负荷侧与发电侧一起参与市场竞价，市场最终形成双侧竞价的局面。在发电单侧参与竞价，负荷采用预测进行处理的市场模式中，负荷侧的意愿在市场出清中得不到体现，负荷侧的弹性几乎没有。在双侧竞价市场机制中，负荷侧也可以在市场中提交报价充分体现了负荷侧的市场行为。因此，双侧竞价的模式对比单侧竞价模式具有一定的优越性。

在现有的研究中，主要针对发电侧市场主体的竞价方式以及竞价策略进行研究，对负荷侧报价方式、报价策略的研究相对较少。目前对于市场主体竞价策略的研究主要分为：基于预测电价方式、基于博弈论方式、基于优化模型的方式以及基于智能代理方式。其中基于博弈论和基于优化方式的竞价策略研究一般假设市场主体可以获取全局市场信息，即了解市场中所有成员的成本、容量信息以及市场出清所需要的网络拓扑、负荷分布等信息。这类完全信息下的竞价策略分析主要应用在理论研究方向，在实际的电力市场竞价环境中，市场主体只能获得自身的成本信息，其他市场成员的成本信息、市场出清所需的网络拓扑、负荷分布等信息的获取都无法直接获取，只能通过历史数据对其进行估计。

为了对非完全信息环境下，负荷侧市场成员的报价行为进行模拟，基于预测电价和基于智能代理的方式被提出。基于预测电价的方式假设市场主体为价格接受者，认为其报价行为对市场出清没有影响，根据智能算法预测的电价推算出最优报价策略，因此仅适用于市场主体规模较小的情况。为了研究市场主体作为价格制定者的竞价行为，将市场主体建模为智能体，并将其参与市场的竞价行为建模为马尔可夫决策过程，使用以RE和Q-Learning为主的传统强化学习算法依据历史出清结果迭代寻找市场主体最优竞价策略的方法被广泛使用。但是传统的强化学习由于算法的限制，需要将状态量和决策动作离散化，这种离散过程会导致信息的丢失。近些年，出现了基于深度强化学习算法的市场主体报价方法，通过引入神经网络使算法可以处理连续的输入，减少了信息的丢失。

中国专利文献CN108122171A公开了一种“电力需求侧竞价策略确定方法及系统”。该方法包括：根据需求侧负荷调整功率的成本曲线确定各负荷数据子类对应的调整功率分段的成本价格，并根据所述成本价格及利润比例确定负荷数据子类对应的申报价格；根据当前需求侧负荷以其所属的负荷数据子类对应的申报价格为报价方案的历史中标次数确定该报价方案中标概率函数；根据优化后的所述中标概率函数确定最优利润比例。上述技术方案将状态量和决策动作离散化的过程导致信息的丢失，影响计算结果的准确性。

发明内容

本发明主要解决原有的技术方案将状态量和决策动作离散化的过程导致信息的丢失，影响计算结果的准确性的技术问题，提供一种基于Rainbow算法的负荷侧竞价智能体及竞价方法，在现有的DQN算法上提出3种网络改进方法，显著减少算法训练所需迭代次数，并提升算法收敛性能，在负荷侧竞价行为，将其建模为智能体，通过Rainbow算法根据历史报价数据进行学习，并且由于市场主体建模基于非完全信息，在学习时仅需要知道自身的成本，无需获取其他主体的成本信息及市场出清规则等外部信息。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于Rainbow算法的负荷侧竞价智能体，包括：

Rainbow算法网络构建模块，用于建立由Current Q Network、Target Q Network和Prioritized Experience Replay Memory构成的Rainbow算法网络；

策略性竞价动作生成模块，用于建立负荷侧参与电能市场的竞价模型，根据用户的用电效用确定负荷侧竞价的基准报价曲线；构建动作转化算法，将Rainbow算法给出的离散动作转换为负荷侧参与市场竞价的报价曲线；

Rainbow算法迭代训练模块，基于优先经验回放机制从历史经验回放库中抽取算法训练所需的数据，对算法中所构建的Current Q Network网络进行梯度下降训练，通过Soft Update的方法对Target Q Network网络进行软更新。

建立负荷侧成员在电能的市场竞价模型，并根据建立的市场竞价模型基于Current Q Network计算的结果选择报价动作，将负荷侧成员的报价提交给ISO进行出清，将本次出清对应的负荷侧成员报价时所面对的当前市场状态、报价系数、奖励和新的市场状态储存到Prioritized Experience Replay Memory中。

作为优选，所述的Rainbow算法网络构建模块具体包括：

深度Q网络构建模块，用于建立Current Q Network和Target Q Network两个深度神经网络，所述Current Q Network和Target Q Network的网络参数分别记为θ和θ’，Current Q Network网络的输入是市场状态量，输出该状态下不同动作Q值所对应的动作价值，Current Q Network和Target Q Network两个网络的网络结构一致；即两个网络的输入、输出、网络层数以及每层神经元数量完全相同。

Prioritized Experience Replay Memory模块，用于存储发电商智能体报价以后得到的样本数据并根据样本的重要程度对样本进行排序。该模块将负荷侧竞价智能体参与市场竞价的历史数据作为样本存储起来，每条样本数据记录发电商智能体的当前状态、报价系数、奖励、新的状态以及样本重要性五个信息。

作为优选，所述的策略性竞价动作生成模块具体包括：

负荷侧效用模型建立单元，用于对负荷侧参与电能市场报价的成本及效用进行建模；

竞价模型建立单元，用于根据用户侧成员的用电效用以及报价模型建立负荷侧成员在电能的市场中的竞价模型；

动作选择单元，用于基于Rainbow算法选择报价动作；

报价提交单元，用于将报价提交给ISO进行出清；

收益计算单元，用于根据ISO反馈的节点电价以及中标电量，计算收益r。

作为优选，所述的负荷侧效用模型建立单元对负荷侧参与电能市场报价的成本及效用进行建模具体包括：

式中：C

竞价模型建立单元建立竞价模型具体包括：

式中：f

动作选择单元，用于基于Rainbow算法选择报价动作，具体选择方法为：

基于正态分布噪声算法，使用Current Actor Network计算出当前状态下的报价系数a

报价提交单元将报价提交给ISO进行出清，其中，ISO市场出清模型为：

式中：goal为ISO的出清目标函数，即最大化社会福利；L、branch、G、D分别为节点、支路、发电商、售电商集合；θ

收益计算单元中用户的购电收益为用电效用减去购电费用，具体计算方式如下：

式中，λ

作为优选，所述的Rainbow算法训练模块具体包括：

Current Q Network更新单元，用于根据从Prioritized Experience ReplayMemory中抽取的样本数据以及相应的样本重要性权重来更新Current Q Network的参数θ：

Target Q Network更新单元，用于提供对下一个状态下算法所选择的报价动作的收益进行估计。Target Q Network不通过迭代训练来更新网络参数θ’，而是通过软更新(Soft Update)的方式来更新网络参数。

作为优选，所述的Current Q Network的损失函数定义如下：

y

式中：L(θ)为损失函数，N为算法每批次从优先经验回放库中抽取的样本数量；w

对于不同样本训练时的权重计算方法如下：

式中：w

Target Q Network更新单元的具体更新方式如下：

θ'

式中：θ'

一种基于Rainbow算法的负荷侧竞价智能体的竞价方法，包括以下步骤：

S1建立Rainbow算法网络，并对网络参数进行初始化；

S2建立负荷侧成员在电能的市场竞价模型；

S3根据建立的市场竞价模型基于Rainbow算法计算的结果选择报价动作；

S4将负荷侧成员的报价提交给ISO进行出清并存储；

S5 ISO反馈负荷侧成员所在节点的节点电价以及中标电量；

S6存储数据达到阈值后对网络参数进行更新。

基于Rainbow算法选择报价动作，具体选择方法为：基于ε-greedy算法，决定本次动作是选择随机动作还是贪婪动作。首先生成一个介于0～1之间的随机数，如果该随机数小于ε，那么本次动作将在所有报价动作集中随机挑选；如果随机数大于ε，那么使用Current Q Network估计当前状态下所有动作的动作价值，基于所有动作价值挑选Q值最大的动作作为本次报价选择的动作。其中用来区分随机和贪婪动作选择的变量ε会随着算法训练次数的增加而逐渐减小，即算法学习时间越长，选择动作时越会根据已有的经验进行选择。

作为优选，所述的步骤S1中建立的Rainbow算法网络包括Current Q Network、Target Q Network和Prioritized Experience Replay Memory，具体包括：

S1.1建立Current Q Network和Target Q Network神经网络，其网络参数分别记为θ和θ’；

S1.2建立Prioritized Experience Replay Memory，用于存储负荷侧成员智能体报价以后得到的样本数据；

S1.3设置负荷侧成员智能体的输入状态向量为市场出清价格，根据负荷侧成员报价系数的上限，形成负荷侧成员的报价动作集；

S1.4将网络参数θ和θ’随机初始化。

建立负荷侧成员的报价模型：

式中：C

作为优选，所述的步骤S4将本次报价对应的负荷侧成员智能体的当前市场状态、报价系数、奖励、新的市场状态以及样本重要性五个信息作为一条数据储存到PrioritizedExperience Replay Memory中，并更新当前状态。对于未经过训练的样本，其样本重要性默认赋值为1.0。

作为优选，所述的步骤S6当Prioritized Experience Replay Memory中储存的数据达到设定阈值数量后，从优先经验回放库中按照样本的重要性随机抽取批量的样本数据对Current Q Network的网络参数进行更新，将抽取的样本数据送入优化器，优化器按照损失函数最小化的原则，对Current Q Network的网络参数进行梯度下降训练，训练结束后对Current Q Network的网络参数更新。

具体包括：

(3-1)当Prioritized Experience Replay Memory存储数据超过一定数量后，从Prioritized Experience Replay Memory中随机抽取批量的样本数据用于Current QNetwork和Current Q Network的网络参数更新。其中区分优先经验回放库中数据量是否足够进行训练的变量称为训练开始时间，需要认为给定，一般取单批训练数量的10倍以上，以保证算法以及获得足够的数据量。优先经验回放机制在抽取样本时会根据样本的重要性计算更新迭代时不同样本的权重，计算方式如下：

式中：w

(3-2)将抽取的样本数据送入优化器，优化器按照损失函数最小化的原则，自动对Current Critic Network和Current Actor Network的网络参数进行梯度下降训练：

对于Current Q Network，它的损失函数定义如下：

y

式中：L(θ)为损失函数，N为算法每批次从优先经验回放库中抽取的样本数量；w

对于Current Q Network，它的训练目标是最小化损失函数L(θ)，以此为目标对网络参数θ进行梯度下降训练。

(3-3)在更新完Current Q Network的参数后，需要使用训练后的CurrentQNetwork重新对相应市场状态下对应动作的Q值进行估计，进而对样本的学习效果进行评估以此来确定不同样本的重要性。样本重要性根据样本奖励值与Current Q Network估计值的差距确定，具体计算公式如下：

P

式中：P

(3-4)在对Current Q Network进行一次训练后，需要通过软更新的方式更新Target Q Network的网络参数，具体更新方式如下：

θ'

式中：θ'

(3-5)判定网络更新次数是否达到预设最大次数；若是，则结束训练，若没有达到，则从步骤(2)开始继续迭代更新Rainbow算法网络。

本发明的有益效果是：将市场主体作为价格制定者，研究在不完全信息的市场竞价过程中，基于智能体建模的市场主体竞价方法。通过对现有的基于DQN算法的市场主体报价方法进行改进，显著提升算法在训练阶段所需的迭代次数以及增强算法的收敛稳定性。

附图说明

图1是本发明的一种流程图。

图2是本发明的一种负荷侧竞价智能体的模块示意图。

图3是本发明的一种五节点网络拓扑图。

图4是本发明的一种负荷侧成员报价策略学习过程中负荷侧成员收益与迭代周期数的关系示意图。

图5是本发明的一种负荷侧成员报价策略学习过程中负荷侧成员报价系数与迭代周期数的关系示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种基于Rainbow算法的负荷侧竞价智能体及竞价方法，如图1、图2所示，包括

Rainbow算法是一种在DQN算法上的综合改进算法，该算法结合了深度双Q神经网络(Double Deep Q Network)中的双网络思想以及对偶Q网络(Duel Q Network)中对状态估计的方法，实现了对DQN算法的综合改进，对于原始算法有较大的性能提升。原始DQN算法虽然基本实现了根据历史经验改进自身策略的功能，但是算法本身存在对动作状态过估计、无法对状态价值进行评价、训练迭代次数多以及收敛稳定性较差的问题。本发明中所提出的基于Rainbow算法的负荷侧竞价智能体以及竞价方法通过前文所述的两点改进，可以降低迭代过程中对动作价值的过估计问题，也可以实现依靠某一状态下单一动作的历史数据对该状态下所有的动作价值进行更新，显著提升算法训练速度以及训练所需迭代次数。在大型电力市场运营模拟推演中，减少单个市场中主体训练迭代次数，提升收敛的稳定性，可以显著减少整体模拟推演所需时间，具有相当重要的意义。

实施例1

如图2所示，本实施例提供一种基于Rainbow算法的负荷侧竞价智能体，包括：Rainbow算法网络构建模块、策略性竞价动作生成模块和Rainbow算法迭代训练模块。

Rainbow算法网络构建模块，用于建立Current Q Network和Target Q Network来组成深度双Q网络、状态价值计算网络和优势函数计算网络构成的动作计算模块以及由优先经验回放机制构建的历史经验回放库。

策略性竞价动作生成模块，用于建立负荷侧参与电能市场的竞价模型，根据用户的用电效用确定负荷侧竞价的基准报价曲线；构建动作转化算法，将Rainbow算法给出的离散动作转换为负荷侧参与市场竞价的报价曲线。

Rainbow算法迭代训练模块，基于优先经验回放机制从历史经验回放库中抽取算法训练所需的数据，对算法中所构建的Current Q Network网络进行梯度下降训练，通过Soft Update的方法对Target Q Network网络进行软更新。

Rainbow算法网络构建模块具体包括：

深度Q网络构建模块，用于建立Current Q Network和Target Q Network两个深度神经网络，其中Current Q Network和Target Q Network的网络参数分别记为θ和θ’。Current Q Network网络的输入是市场状态量，输出该状态下不同动作Q值所对应的动作价值。Current Q Network和Target Q Network两个网络的网络结构一致，即两个网络的输入、输出、网络层数以及每层神经元数量完全相同。

Prioritized Experience Replay Memory模块，用于存储发电商智能体报价以后得到的样本数据并根据样本的重要程度对样本进行排序。该模块将负荷侧竞价智能体参与市场竞价的历史数据作为样本存储起来，每条样本数据记录发电商智能体的当前状态、报价系数、奖励、新的状态以及样本重要性五个信息。其中前4个信息由真实历史数据获取，样本重要性根据样本奖励值与Current Q Network估计值的差距确定，具体计算公式如下：

P

式中：P

所述策略性竞价动作生成模块具体包括：负荷侧效用模型建立单元、竞价模型建立单元、动作选择单元、报价提交单元和收益计算单元。

负荷侧效用模型建立单元，用于对负荷侧参与电能市场报价的成本及效用进行建模：

式中：C

竞价模型建立单元，用于根据用户侧成员的用电效用以及报价模型负荷侧成员在电能的市场中的竞价模型：

式中：f

动作选择单元，用于基于Rainbow算法选择报价动作，具体选择方法为：

基于正态分布噪声算法，使用Current Actor Network计算出当前状态下的报价系数a

报价提交单元，用于将报价提交给ISO进行出清，其中，ISO市场出清模型为：

式中：goal为ISO的出清目标函数，即最大化社会福利；L、branch、G、D分别为节点、支路、发电商、售电商集合；θ

收益计算单元，用于根据ISO反馈的节点电价以及中标电量，计算收益r。用户的购电收益为用电效用减去购电费用，具体计算方式如下：

式中，λ

Rainbow算法迭代训练模块具体包括：Current Q Network更新单元和Target QNetwork软更新单元。

Current Q Network更新单元，用于根据从Prioritized Experience ReplayMemory中抽取的样本数据以及相应的样本重要性权重更新Current Q Network的参数θ：

对于Current Q Network，它的损失函数定义如下：

y

式中：L(θ)为损失函数，N为算法每批次从优先经验回放库中抽取的样本数量；w

对于上述内容中，不同样本训练时的权重计算方法如下：

式中：w

对于Current Q Network，它的训练目标是最小化损失函数L(θ)，以此为目标对网络参数θ进行梯度下降训练。

Target Q Network更新单元，用于提供对下一个状态下算法所选择的报价动作的收益进行估计。Target Q Network不通过迭代训练来更新网络参数θ’，而是通过软更新(Soft Update)的方式来更新网络参数。具体更新方式如下：

θ'

式中：θ'

实施例2

本实施例还提供了一种基于Rainbow算法的负荷侧报价方法，包括：

(1)建立由Current Q Network、Target Q Network和Prioritized ExperienceReplay Memory构成的Rainbow算法网络，并对网络参数进行初始化；

(2)建立负荷侧智能体在电能市场的竞价模型，并根据建立的市场竞价模型基于Current Q Network计算的结果选择报价动作，将负荷侧智能体的报价提交给ISO进行出清，最终得到负荷侧智能体的出清结果。上述过程为一个完整负荷侧智能体参与市场出清的流程。将该流程中负荷智能体所能获取到的当前市场状态、选择的报价系数、市场出清收益和新的市场状态储存到Prioritized Experience Replay Memory中；

(3)当Prioritized Experience Replay Memory中储存的数据超过一定数量后，随机抽取批量的样本数据进行Rainbow算法网络的训练。

步骤(1)具体包括：

(1-1)建立Current Q Network和Target Q Network神经网络，其网络参数分别记为θ和θ’，建立Prioritized Experience Replay Memory，用于存储负荷侧报价智能体报价以后得到的样本数据；

(1-2)设置负荷侧智能体的输入状态向量为市场出清价格，根据负荷侧报价系数的限制，设置Rainbow算法输出动作对应的报价动作集，建立相应的报价动作转换算法；

(1-3)将(1-1)所述2个网络参数随机初始化。

步骤(2)具体包括：

(2-1)建立负荷侧成员的报价模型：

式中：C

(2-2)根据用户侧成员的用电效用以及报价模型建立负荷侧成员在电能的市场中的竞价模型：

式中：f

(2-3)基于Rainbow算法选择报价动作，具体选择方法为：

基于ε-greedy算法，决定本次动作是选择随机动作还是贪婪动作。首先生成一个介于0～1之间的随机数，如果该随机数小于ε，那么本次动作将在所有报价动作集中随机挑选；如果随机数大于ε，那么使用Current Q Network估计当前状态下所有动作的动作价值，基于所有动作价值挑选Q值最大的动作作为本次报价选择的动作。其中用来区分随机和贪婪动作选择的变量ε会随着算法训练次数的增加而逐渐减小，即算法学习时间越长，选择动作时越会根据已有的经验进行选择。

(2-4)将负荷侧智能体的报价提交给ISO进行出清，其中，ISO市场出清模型为：

式中：goal为ISO的出清目标函数，即最大化社会福利；L、branch、G、D分别为节点、支路、发电商、售电商集合；θ

(2-5)根据ISO反馈的节点电价以及中标电量，计算收益r，具体计算方式如下：

式中，λ

(2-6)将本次报价对应的负荷侧竞价智能体的当前市场状态、报价系数、奖励、新的市场状态以及样本重要性五条信息作为一条数据储存到Experience Replay memory中，并更新当前状态。对于未经过训练的样本，其样本重要性默认赋值为1.0。

步骤(3)具体包括：

(3-1)当Prioritized Experience Replay Memory存储数据超过一定数量后，从Prioritized Experience Replay Memory中随机抽取批量的样本数据用于Current QNetwork和Current Q Network的网络参数更新。其中区分优先经验回放库中数据量是否足够进行训练的变量称为训练开始时间，需要认为给定，一般取单批训练数量的10倍以上，以保证算法以及获得足够的数据量。优先经验回放机制在抽取样本时会根据样本的重要性计算更新迭代时不同样本的权重，计算方式如下：

式中：w

(3-2)将抽取的样本数据送入优化器，优化器按照损失函数最小化的原则，自动对Current Critic Network和Current Actor Network的网络参数进行梯度下降训练：

对于Current Q Network，它的损失函数定义如下：

y

式中：L(θ)为损失函数，N为算法每批次从优先经验回放库中抽取的样本数量；w

对于Current Q Network，它的训练目标是最小化损失函数L(θ)，以此为目标对网络参数θ进行梯度下降训练。

(3-3)在更新完Current Q Network的参数后，需要使用训练后的Current QNetwork重新对相应市场状态下对应动作的Q值进行估计，进而对样本的学习效果进行评估以此来确定不同样本的重要性。样本重要性根据样本奖励值与Current Q Network估计值的差距确定，具体计算公式如下：

P

式中：P

(3-4)在对Current Q Network进行一次训练后，需要通过软更新的方式更新Target Q Network的网络参数，具体更新方式如下：

θ'

式中：θ'

(3-5)判定网络更新次数是否达到预设最大次数；若是，则结束训练，若没有达到，则从步骤(2)开始继续迭代更新Rainbow算法网络。

实施例3

本实施例还提供了一种基于Rainbow算法的负荷侧竞价系统，应用于电力系统，所述系统包括：处理器以及与所述处理器耦合的存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如实施例2所述的方法步骤。

下面基于5节点测试系统，如图3所示，对电力市场中的负荷侧成员的报价行为进行仿真分析。5节点测试系统包含4个发电商以及2个负荷侧成员。发电商和负荷侧成员的基本信息如表1、表2所示。

表1发电商基本信息

表2负荷侧成员的用电效用

案例设置仿真参数为：Prioritized Experience Replay Memory的大小是6 000，训练开始阶段随机的概率为1.0，随着训练的进行最终下降到0.1。

图4和图5展示了发电商G1智能体采用Rainbow算法训练的收益曲线和报价动作训练情况。由图中可知，采用Rainbow算法可以收敛并获得比较高的收益。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。