一种肾小球肾炎的免疫荧光分类方法及装置

摘要

本申请公开一种肾小球肾炎的免疫荧光分类方法以及装置。所述肾小球肾炎的免疫荧光分类方法包括：获取待分类肾小球肾炎的免疫荧光病理图像作为原始图像；分割所述原始图像，从而获取多个局部区域图像；根据原始图像获取原始图像浅层特征图；根据每个局部区域图像分别获取对应的局部区域图像浅层特征图；将原始图像浅层特征图与各个所述局部区域图像浅层特征图合并，从而形成合并特征图；根据合并特征图获取分类器输入特征图；将所述分类器输入特征图输入至训练好的分类器，从而经过分类器计算以获取分类结果。本申请的肾小球肾炎的免疫荧光分类方法得到了多个沉积物最集中的局部区域，为卷积神经网络提供了候选的区分性区域。

说明书

技术领域

本发明涉及免疫荧光分类技术领域，具体涉及一种肾小球肾炎的免疫荧光分类方法以及肾小球肾炎的免疫荧光分类装置。

背景技术

免疫荧光技术(Immunofluorescence，IF)是一种通过抗原抗体反应进行组织或细胞内抗原物质定位的技术。在临床肾病诊断中，免疫荧光病理研究可以提供肾组织中免疫球蛋白、轻链和抗体的沉积信息，经过有经验的肾脏病理医师判读，能够为肾脏疾病诊断提供关键依据。我国的慢性肾脏病患者已超过10％，其中有数百万乃至千万的肾小球疾病患者。相对于巨大的患者人群，肾脏病理学家的数量严重不足，且主要集中在大型医院。此外，人工的病理诊断存在相当的观察者间差异，重复性亦欠佳。因此，实现一种高效、准确和稳定的肾脏免疫荧光病理诊断方法和系统具有重要的临床意义。

因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。

发明内容

本发明的目的在于提供一种肾小球肾炎的免疫荧光分类方法来克服或至少减轻现有技术的至少一个上述缺陷。

本发明的一个方面，提供一种肾小球肾炎的免疫荧光分类方法，所述肾小球肾炎的免疫荧光分类方法包括：

获取待分类肾小球肾炎的免疫荧光病理图像作为原始图像；

分割所述原始图像，从而获取多个局部区域图像；

根据所述原始图像获取原始图像浅层特征图；

根据每个所述局部区域图像分别获取对应的局部区域图像浅层特征图；

将所述原始图像浅层特征图与各个所述局部区域图像浅层特征图合并，从而形成合并特征图；

根据所述合并特征图获取分类器输入特征图；

将所述分类器输入特征图输入至训练好的分类器，从而经过所述分类器计算以获取分类结果。

可选地，所述分割所述原始图像，从而获取多个局部区域图像包括：

将原始图像的尺寸调整为480×480；

对经过尺寸调整的原始图像进行二值化处理；

对经过二值化处理的原始图像进行距离变换，从而获取距离变换图像，所述距离变换图像中每个像素点的值是该像素点到其最近的零像素点的距离；

根据第一预设条件分割所述距离变换图像，以获取三个尺寸为120×120的局部区域图像。

可选地，所述第一预设条件为：定位像素点的值所对应的坐标，以最大像素点的值为中心，依次选择局部区域。

可选地，所述根据所述原始图像获取原始图像特征图包括：

生成第一卷积核；

通过所述第一卷积核以及所述原始图像获取所述原始图像浅层特征图。

可选地，所述第一卷积核尺寸包括一个卷积核尺寸为5×5步长为2的卷积块和一个卷积核尺寸为3×3步长为2的卷积块；所述原始图像浅层特征图为120×120×64。

可选地，根据每个所述局部区域图像分别获取对应的局部区域图像特征图包括：

生成第二卷积核；

通过所述第二卷积核以及每个所述局部区域图像分别获取对应的局部区域图像浅层特征图。

可选地，所述第二卷积核尺寸包括一个卷积核尺寸为3×3步长为1的卷积块；每个所述局部区域图像特征图的尺寸均为120×120×64。

可选地，将所述原始图像特征图与各个所述局部区域图像特征图合并，从而形成合并特征图包括：

将原始图像浅层特征图和各个局部图像的局部区域图像浅层特征图在通道维度上堆叠从而合并为合并特征图。

可选地，根据所述合并特征图获取分类器输入特征图包括：

对所述合并特征图进行池化处理，从而获得分类器输入特征图。

本申请还提供了一种肾小球肾炎的免疫荧光分类装置，所述肾小球肾炎的免疫荧光分类装置包括：

原始图像获取模块，所述原始图像获取模块用于获取待分类肾小球肾炎的免疫荧光病理图像作为原始图像；

候选区域定位模块，所述候选区域定位模块用于分割所述原始图像，从而获取多个局部区域图像；

原始图像浅层特征图获取模块，所述原始图像浅层特征图获取模块用于根据所述原始图像获取原始图像浅层特征图；

局部区域图像浅层特征图获取模块，所述局部区域图像浅层特征图获取模块用于根据每个所述局部区域图像分别获取对应的局部区域图像浅层特征图；

合并特征图生成模块，所述合并特征图生成模块用于将所述原始图像浅层特征图与各个所述局部区域图像浅层特征图合并，从而形成合并特征图；

分类器输入特征图获取模块，所述分类器输入特征图获取模块用于根据所述合并特征图获取分类器输入特征图；

输入模块，所述输入模块用于将所述分类器输入特征图输入至训练好的分类器；

分类器，所述分类器用于对所述分类器输入特征图进行计算以获取分类结果。

有益效果

本申请公开了一种肾小球肾炎的免疫荧光分类方法，该方法具有以下有益效果：

(1)得到了多个沉积物最集中的局部区域，为卷积神经网络提供了候选的区分性区域；

(2)采用卷积核尺寸不同的卷积块，分别对原始图像和局部图像进行浅层特征提取然后进行合并，为主干模块同时提供了全局特征图和局部特征图；

(3)通过多个卷积残差稠密连接块提升了模型的深度和卷积层的宽度，有利于充分的深层特征提取。

附图说明

图1为本发明的肾小球肾炎的免疫荧光分类方法的流程示意图；

图2是图1所示的肾小球肾炎的免疫荧光分类方法的神经网络结构图。

图3是一种电子设备，用于实现图1所示的肾小球肾炎的免疫荧光分类方法。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。若未特别指明，实施例中所用的技术手段为本领域技术人员所熟知的常规手段。

本实施例中所述的“前”、“前端”“前部”均指使用时靠近病灶或手术操作部位的一端或一部分，所述的“后”“后端”“后部”均指使用时远离病灶或手术操作部位的一端或一部分。

如图1所示的肾小球肾炎的免疫荧光分类方法包括：

步骤1：获取待分类肾小球肾炎的免疫荧光病理图像作为原始图像；

步骤2：分割原始图像，从而获取多个局部区域图像；

步骤3：根据原始图像获取原始图像浅层特征图；

步骤4：根据每个局部区域图像分别获取对应的局部区域图像浅层特征图；

步骤5：将原始图像浅层特征图与各个局部区域图像浅层特征图合并，从而形成合并特征图；

步骤6：根据合并特征图获取分类器输入特征图；

步骤7：将分类器输入特征图输入至训练好的分类器，从而经过分类器计算以获取分类结果，即分类器输出一个分类标签。

在本实施例中，分类结果包括的含义为，对待分类肾小球肾炎的免疫荧光病理图像给出沉积区域信息，在本实施例中，分类标签包括系膜区沉积、基底膜区沉积以及系膜区+基底膜区沉积。

本发明公开了一种肾小球肾炎的免疫荧光分类方法，该方法具有以下有益效果：

(1)得到了多个沉积物最集中的局部区域，为卷积神经网络提供了候选的区分性区域；

(2)采用卷积核尺寸不同的卷积块，分别对原始图像和局部图像进行浅层特征提取然后进行合并，为主干模块同时提供了全局特征图和局部特征图；

(3)通过多个卷积残差稠密连接块提升了模型的深度和卷积层的宽度，有利于充分的深层特征提取。

在本实施例中，步骤2：分割原始图像，从而获取多个局部区域图像包括：

步骤21：将原始图像的尺寸调整为480×480；

步骤22：对经过尺寸调整的原始图像进行二值化处理；

步骤23：对经过二值化处理的原始图像进行距离变换，从而获取距离变换图像，距离变换图像中每个像素点的值是该像素点到其最近的零像素点的距离；

步骤24：根据第一预设条件分割所述距离变换图像，以获取不少于三个尺寸为120×120的局部区域图像。

在本实施例中，获取三个尺寸为120×120的局部区域图像。

在本实施例中，第一预设条件为：定位像素点的值所对应的坐标，以最大像素点的值为中心，依次选择局部区域。

在本实施例中，步骤3：根据所述原始图像获取原始图像浅层特征图包括：

步骤31：生成第一卷积核；

步骤32：通过所第一卷积核以及原始图像获取原始图像浅层特征图。

在本实施例中，所述第一卷积核尺寸包括一个卷积核尺寸为5×5步长为2的卷积块和一个卷积核尺寸为3×3步长为2的卷积块；

所述原始图像浅层特征图为120×120×64。

在本实施例中，步骤4：根据每个局部区域图像分别获取对应的局部区域图像浅层特征图包括：

步骤41：生成第二卷积核；

步骤42：通过第二卷积核以及每个局部区域图像分别获取对应的局部区域图像浅层特征图。

在本实施例中，第二卷积核尺寸包括一个卷积核尺寸为3×3步长为1的卷积块；每个局部区域图像特征图的尺寸均为120×120×64。

在本实施例中，步骤5：将原始图像特征图与各个局部区域图像特征图合并，从而形成合并特征图包括：将原始图像浅层特征图和各个局部图像的局部区域图像浅层特征图在通道维度上堆叠从而合并为合并特征图。合并的合并特征图为维度120×120×128的特征图。

在本实施例中，步骤6：根据合并特征图获取分类器输入特征图包括对合并特征图进行池化处理，从而获得分类器输入特征图。

具体地，在本实施例中，合并特征图经过由5个卷积残差稠密连接块构成的主干特征提取模块，每个卷积残差稠密连接块包含一个多层稠密连接卷积块和一个卷积残差连接层，且每经过一个卷积残差稠密连接块，特征图的尺寸会缩小为原来的一半，最终输出4×4×512的分类器输入特征图；

再经过一个尺寸为1×1步长为1的卷积块，得到4×4×256的特征图，通过两个全连接层，再应用softmax函数计算分类概率，得到最终的分类结果。

在本实施例中，上述的5个卷积残差稠密连接块具体为：

第一个卷积残差稠密连接块，包括：稠密连接卷积块由4组卷积核尺寸为1×1的卷积块和卷积核尺寸为3×3卷积块，以及一个采样核为2×2步长为1的最大池化层组成的；卷积残差连接层由一个卷积核尺寸为3×3的卷积块和采样核为2×2步长为1的最大池化层组成；

第二个卷积残差稠密连接块，包括：稠密连接卷积块由8组卷积核尺寸为1×1的卷积块和卷积核尺寸为3×3卷积块，以及一个采样核为2×2步长为1的最大池化层组成的；卷积残差连接层由一个卷积核尺寸为3×3的卷积块和采样核为2×2步长为1的最大池化层组成；

第三个卷积残差稠密连接块，包括：稠密连接卷积块由16组卷积核尺寸为1×1的卷积块和卷积核尺寸为3×3卷积块，以及一个采样核为2×2步长为1的最大池化层组成的；卷积残差连接层由一个卷积核尺寸为3×3的卷积块和采样核为3×3步长为2的最大池化层组成；

第四个卷积残差稠密连接块，包括：稠密连接卷积块由32组卷积核尺寸为1×1的卷积块和卷积核尺寸为3×3卷积块，以及一个采样核为2×2步长为1的最大池化层组成的；卷积残差连接层由一个卷积核尺寸为3×3的卷积块和采样核为3×3步长为2的最大池化层组成；

第五个卷积残差稠密连接块，包括：稠密连接卷积块由16组卷积核尺寸为1×1的卷积块和卷积核尺寸为3×3卷积块，以及一个采样核为2×2步长为1的最大池化层组成的；卷积残差连接层由一个卷积核尺寸为3×3的卷积块和采样核为3×3步长为2的最大池化层组成。

在本实施例中，各个卷积块均是由卷积层、批归一化层以及Relu激活函数层构成。

下面以举例的方式对本申请进行进一步详细阐述，可以理解的是，该举例并不构成对本申请的任何限制。

步骤1：获取待分类肾小球肾炎的免疫荧光病理图像作为原始图像，具体地，将获得的待分类肾小球肾炎的免疫荧光病理图像的尺寸调整为480×480，作为原始图像；

步骤2：分割所述原始图像，从而获取多个局部区域图像；

具体地，将原始图像输入候选区域定位模块，首先采用Ostu算法对原始图像进行二值化，之后对二值化图像进行距离变换，得到的距离变换图像中每个像素点的值是该像素点到其最近的零像素点的距离，选取以像素值最大点为中心的局部区域作为沉积物集中的区域，得到区分性的局部图像。

将原始图像和分割得到的局部图像分别输入CR-DenseNet神经网络架构进行特征学习和分类，CR-DenseNet结构图如图2所示：

原始图像经过一个卷积核尺寸为5×5步长为2的卷积块和一个卷积核尺寸为3×3步长为2的卷积块，生成维度为120×120×64的原始图像浅层特征图；

每个局部区域图像经过一个卷积核尺寸为3×3步长为1的卷积块，产生了维度为120×120×64的局部区域图像浅层特征图。

将原始图像浅层特征图和局部区域图像浅层特征图在通道维度上堆叠，合并为维度120×120×128的特征图；

合并后的合并特征图经过由5个卷积残差稠密连接块构成的主干特征提取模块，在进入每个卷积残差稠密连接块时，特征学习分支为稠密连接卷积路径和卷积残差连接路径，不同路径得到的特征图在卷积残差稠密连接块末端在通道维度方向进行合并。

经过这5个卷积残差稠密连接块后的特征图维度依次为：60×60×256，30×30×512，16×16×1024，8×8×1024和4×4×512；再经过一个尺寸为1×1步长为1的卷积块，得到4×4×256的分类器输入特征图。

通过两个全连接层对深度特征进行分类，再应用softmax函数将结果输入映射到0-1之间，作为每个类别的概率，再从中选择概率最大值对应的类别作为最终的分类结果。

可以理解的是，本申请还包括前序的数据处理和模型训练及评估的步骤。

在本实施例中所提出的算法模型，本申请使用了北京协和医院测试集提供的肾组织免疫荧光病理图像数据集，共682张，包括常见的3种肾小球肾炎类型：IgAN，IMN和SMN。在本发明中，按照80％和20％的比例将数据集分为训练集和测试集，数量分别为614张和68张。为了进一步证明本发明的有效性，采用了来自中国医科大学附属第一医院测试集作为新的测试集，共包含76张免疫荧光病理图像。

选定训练时用于优化地损失函数。在训练整个网络时，利用交叉熵损失函数优化CR-DenseNet网络：

其中,N

步骤303：神经网络模型的训练。本申请提出的CR-DenseNet基于深度学习框架PyTorch实现；在训练过程中，采用随机梯度下降(SGD)优化算法，在重量衰减设定为0.0001，以批大小为16对网络训练2000轮；初始学习率设置为0.01，在迭代轮次为1000和1600时，学习率以0.1的衰减率进行衰减。

对模型进行测试评估。将本申请提出的算法与其他几个经典的基于卷积神经网络的分类算法分别在协和医院测试集和中国医科大学附属第一医院测试集上进行性能对比：结果如下：

表1在验证集上进行不同模型的分类结果对比

从表1中可以看出，本申请所提出的方法在两个测试集上的分类性能都优于其他几个经典的卷积神经网络模型。针对免疫荧光病理图像的特征，设置候选区域定位模块进行细粒度特征提取，是本申请提出的肾小球肾炎的免疫荧光分类方法取得好的分类结果的关键。

本申请的关键点主要包括：

(1)根据肾组织免疫荧光病理图像的特征设置候选区域定位模块，对经过二值化的原始图像进行距离变化，选取其中像素值最大点为中心的局部区域作为沉积物最集中的区分性区域，将原始图像和分割得到的局部区域图像共同作为卷积神经网络的输入；

(2)采用卷积核尺寸不同的卷积块，分别对输入的原始图像和局部图像进行浅层特征提取，之后将两部分特征图合并作为主干特征提取模块的输入；

(3)提出了由多个卷积残差稠密连接块构成的主干特征提取模块，每个卷积残差稠密连接块包含一个多层稠密连接卷积块和一个卷积残差连接层，稠密连接卷积块提升了特征学习的宽度，卷积残差连接层提升了特征学习的深度，有利于充分的深层特征提取。

本申请提出了一种基于卷积神经网络的肾小球肾炎的免疫荧光自动分类方法。在采用原始图像作为网络输入的基础上，增加了由候选区域定位模块分割得到候选的区分性区域作为网络的另一输入部分；同时提出了卷积残差稠密连接块，结合了残差网络和稠密连接网络的从而提升了模型的深度和卷积层的宽度。通过在来自不同医院的肾组织免疫荧光数据集上的对比实验，验证了所设计的方法和系统的优越性。

本申请还提供了一种肾小球肾炎的免疫荧光分类装置，所述肾小球肾炎的免疫荧光分类装置包括原始图像获取模块，局部区域图像获取模块，原始图像浅层特征图获取模块，局部区域图像浅层特征图获取模块，合并特征图生成模块，分类器输入特征图获取模块，输入模块以及分类器；其中，

原始图像获取模块用于获取待分类肾小球肾炎的免疫荧光病理图像作为原始图像；

局部区域图像获取模块用于分割所述原始图像，从而获取多个局部区域图像；

原始图像浅层特征图获取模块用于根据所述原始图像获取原始图像浅层特征图；

局部区域图像浅层特征图获取模块用于根据每个局部区域图像分别获取对应的局部区域图像浅层特征图；

合并特征图生成模块用于将原始图像浅层特征图与各个局部区域图像浅层特征图合并，从而形成合并特征图；

分类器输入特征图获取模块用于根据合并特征图获取分类器输入特征图；

输入模块用于将分类器输入特征图输入至训练好的分类器；

分类器用于对分类器输入特征图进行计算以获取分类结果。

在本实施例中，原始图像浅层特征图获取模块包括一个卷积核尺寸为5×5步长为2的卷积块以及一个卷积核尺寸为3×3步长为2的卷积块，输出的浅层特征图维度为120×120×64；

在本实施例中，局部区域图像浅层特征图获取模块包括一个卷积核尺寸为3×3步长为1的卷积块，输出的对应浅层特征图维度为120×120×64。

需要说明的是，前述对方法实施例的解释说明也适用于本实施例的装置，此处不再赘述。

本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的T2DM引起冠心病风险的预测方法。

如图3所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。

也就是说，图3所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的T2DM引起冠心病风险的预测方法。

在一个实施例中，图3所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的T2DM引起冠心病风险的预测方法。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的T2DM引起冠心病风险的预测方法。

本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。第一、第二等词语用来标识名称，而不标识任何特定的顺序。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。