语义分割模型的训练方法、语意分割方法及装置

摘要

本申请实施例提供一种语义分割模型的训练方法、语意分割方法及装置方法和装置，涉及图像处理技术领域，包括：通过将获取的多个样本图像输入至语意分割模型中，获得目标特征图像，对目标特征图像采用交叉熵损失函数进行损失值计算，根据损失值对模型进行训练，其中，语义分割模型包括多个注意力模型。由于注意力模型可以充分对样本图像的特征信息进行提取，使用训练后的语意分割模型对图像进行分割，可以有效提高对图像分割的准确度。

说明书

技术领域

本申请涉及图像处理技术领域，特别涉及一种语义分割模型的训练方法、语意分割方法及装置。

背景技术

目前，越来越多的应用场景需要对视频图像进行语义分割，如自动驾驶、室内导航、虚拟现实、图像识别等。

UNet又称为U-Net卷积神经网络是一种常用的语义分割模型，该模型基于全卷积网络，可以对任意形状大小的图片进行卷积操作，在面对复杂的图像分割取得了不错的效果。

但是，UNet在图像特征的提取方面直接采用卷积网络，因此，在特征提取时的精度会有所下降，一定程度上会降低图像分割的准确度。

发明内容

本申请实施例提供一种语义分割模型的训练方法、语意分割方法及装置，以提高对图像分割的准确度。

第一方面，本申请实施例提供一种语义分割模型的训练方法，包括：

获取多个样本图像；将样本图像输入至语义分割模型中，获得样本图像对应的目标特征图像；其中，语义分割模型包括多个注意力模型，每个注意力模型包括左右分支，左分支用于获取样本图像层数维度的特征参数，右分支用于获取样本图像宽度和高度维度的特征参数；对目标特征图像采用交叉熵损失函数计算损失值；根据损失值，对所述语义分割模型进行训练。

可选的，获取多个样本图像，包括：

获取不同用户在不同拍摄场景下拍摄的多个原始图像；对原始图像进行随机旋转，获得多个样本图像，其中，样本图像的数量大于所述原始图像的数量。

可选的，语义分割模型包括：特征提取层、下采样处理层以及上采样处理层；下采样处理层包括下采样层和第一注意力模型；上采样处理层包括上采样层和第二注意力模型，第一注意力模型和所述第二注意力模型结构相同；

将所述样本图像输入至语义分割模型中，获得样本图像对应的目标特征图像，包括：

将样本图像输入至所述特征提取层，获得第一特征图像；将第一特征图像输入至第一注意力模型，得到第二特征图像，并将第二特征图像输入至下采样层，获得第三特征图像；将第三特征图像输入至上采样层，得到第四特征图像，并将第四特征图像输入至第二注意力模型中，获得所述目标特征图像。

可选的，将第一特征图像输入至第一注意力模型，得到第二特征图像，包括：

将第一特征图像输入至第一注意力模型中的左分支，获得左分支输出的左特征图像；将第一特征图像输入至第一注意力模型中的右分支，获得右分支输出的右特征图像；将左特征图像和右特征图像进行点乘，获得第二特征图像。

可选的，注意力模型的左分支包括：左1分支、左2分支、左3分支；左1分支包括第一处理层和第二处理层，左2分支包括第三处理层；

将第一特征图像输入至第一注意力模型中的左分支，获得左分支输出的左特征图像，包括：

将第一特征图像输入至第一处理层，获得第一降维特征图像；将第一特征图像输入至第三处理层，获得第二降维特征图像；将第一降维特征图像与第二降维特征图像进行矩阵相乘，并输入至第二处理层中，获得第五特征图像；将第五特征图像与左3分支的第一特征图像进行点乘，获得左特征图像。

可选的，注意力模型的右分支包括：右1分支、右2分支、右3分支；右1分支包括第四处理层和第五处理层，右2分支包括第六处理层；

将第一特征图像输入至第一注意力模型中的右分支，获得右分支输出的右特征图像，包括：

将第一特征图像输入至第四处理层，获得第三降维特征图像；将第一特征图像输入至第六处理层，获得第四降维特征图像；将第三降维特征图像与第四降维特征图像进行矩阵相乘，并输入述第五处理层中，获得第六特征图像；将第六特征图像与右3分支的第一特征图像进行点乘，获得右特征图像。

第二方面，本申请实施例提供一种分割方法，包括：

获取待处理图像；将待处理图像输入至语义分割模型中，获得语义分割模型输出的语义分割结果。

第三方面，本申请实施例提供一种语义分割模型的训练装置，包括：

获取模块，用于获取多个样本图像；第一训练模块，用于将样本图像，输入至语义分割模型中，获得样本图像对应的特征图像；计算模块，用于对特征图像采用交叉熵损失函数计算损失值；第二训练模块，用于根据损失值，对语义分割模型进行训练。

第四方面，本申请实施例提供一种语义分割装置，包括：

获取模块，用于获取待处理图像；处理模块，用于将待处理图像输入至语义分割模型中，获得语义分割模型输出的语义分割结果。

第五方面，本申请实施例提供一种终端设备，包括：存储器和处理器；

存储器用于存储计算机指令；处理器用于运行存储器存储的计算机指令实现第一方面或者第二方面中任一项的方法。

第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现第一方面或者第二方面中任一项的方法。

第七方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或者第二方面中任一项的方法。

附图说明

图1为本申请实施例提供的场景示意图；

图2为本申请实施例提供的语义分割模型的训练方法的流程示意图；

图3为本申请实施例提供的语意分割模型的结构示意图；

图4为本申请实施例提供的注意力模型的结构示意图；

图5为本申请实施例提供的语义分割方法流程示意图；

图6为本申请实施例提供的语义分割模型的训练装置的结构示意图；

图7为本申请实施例提供的语义分割装置的结构示意图；

图8为本申请实施例提供的电子设备的结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，以下，对本申请实施例中所涉及的部分术语和技术进行简单介绍：

1)语义分割是指对图像进行像素级别上的分类，将属于同一类的像素归为一类。

2)U-Net卷积神经网络是一种经典的全卷积网络，网络中没有全连接操作，主要分为上采样和下采样两个过程，整个网络形似一个“U”，所以称为U-net。网络中除了最后的输出层，其余所有卷积层均为3*3卷积。

3)注意力模型可以有选择从图片中提取出一系列区域，每次只对提取的区域进行处理，在将处理后的信息结合起来，建立对应的场景信息。

4)其他术语

在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

下面结合附图对本申请实施例提供的语义分割模型的训练方法进行详细地介绍。需要说明的是，本申请实施例中的“在……时”，可以为在某种情况发生的瞬时，也可以为在某种情况发生后的一段时间内，本申请实施例对此不作具体限定。

目前，越来越多的应用场景需要对视频图像进行语义分割，如自动驾驶、室内导航、虚拟现实、图像识别等。

UNet又称为U-Net卷积神经网络是一种常用的语义分割模型，该模型基于全卷积网络，可以对任意形状大小的图片进行卷积操作，在面对复杂的图像分割取得了不错的效果。

但是，UNet在图像特征的提取方面直接采用卷积网络，因此，在特征提取时的精度会有所下降，一定程度上会降低图像分割的准确度。

有鉴于此，本申请提出一种语义分割模型的训练方法以及语意分割方法，以U-net模型为基础，引入注意力模型，重新设计模型结构，可以对需要进行分割的图像的特征参数进行更加全面的提取和处理，获得更加准确的分割结果。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述，为便于描述，本申请实施例以人脸识别为例进行说明，该示例并不构成对本申请应用场景的限定。

图1为本申请实施例的场景示意图，如图1所示，包括服务器和终端设备，终端设备通过网络与服务器连接，以进行数据传输。终端设备上设置有用于采集用户人脸图像的客户端，服务器上设置有用于对用户人脸图像进行语义分割的模型，终端设备将采集的用户人脸图像发送至服务器，服务器对该人脸图像进行分割并返回分割结果。

可以理解的是，服务器也可以将获取到多个人脸图像作为样本图像，对该语义分割模型进行训练，以获得预期的输出结果。

上面对本申请实施例提供的应用场景进行了简单说明，下面以应用于图1中的服务器为例，来详细说明本申请实施例提供的语义分割模型的训练方法。

图2为本申请实施例提供的语义分割模型的训练方法的流程示意图，包括以下步骤：

S201、获取多个样本图像。

服务器通过与终端设备的交互，可以获得多个用户在不同拍摄场景下拍摄人脸图像，将该人脸图像作为训练语义分割模型的样本图像。

可选的，为进一步丰富训练所需的样本图像，可以将获取的不同用户在不同拍摄场景下拍摄的多个人脸图像，进行随机旋转，获得更加丰富样本图像。

示例性的，可以对获得的用户人脸图像进行随机90度旋转，水平翻转，上下翻转，获得多个样本图像。

S202、将样本图像输入至语义分割模型中，获得样本图像对应的目标特征图像。

本申请实施例的语义分割模型采用U-net模型作为基本结构，在U-net模型中引入注意力模型，对应的，该语义分割模型包括多个注意力模型，每个注意力模型包括左右分支，左分支用于获取样本图像层数维度的特征参数，右分支用于获取样本图像宽度和高度维度的特征参数。

图像通常是由三维数组构成，分别为高度、宽度和层数。层数为图像像素的红绿蓝值。图像的三维数组又可以称为图像的特征参数。通过注意力模型不同的分支处理，可以更好的提取出样本图像中的特征参数。

可选的，语义分割模型还可以包括特征提取层，用于提取样本图像的特征参数，获得对应的特征图像。

S203、对目标特征图像采用交叉熵损失函数计算交叉熵损失值。

具体的，交叉熵损失值可以根据样本图像像素的真实值和模型输出的样本图像的像素值获得。

示例性的，交叉熵损失值的计算方法可以参照下述公式：

其中，ytrue为样本图像像素的真实值，i表示第i个样本图像，n表示样本图像的数量，ypred为模型输出的样本图像的像素值。

S204、根据损失值，对语义分割模型进行训练。

获得交叉熵损失值后，判断交叉熵损失值是否满足预设值，若交叉熵损失值不满足预设值，可以基于交叉熵损失值调整语义分割模型的参数，重复执行S201-S203所示过程，直至交叉熵损失值满足预设值。

示例性的，交叉熵损失值的预设值可以为0.2，当服务器计算的目标特征图像的损失值大于0.2时，对语义分割模型各层的参数进行调整，例如可以调整卷积核的大小。多次重复S201至S203的过程，直至目标特征图像的损失值小于等于预设值。

本申请实施例提供的语意分割模型的训练方法，通过将获取的多个样本图像输入至语意分割模型中，获得目标特征图像，对目标特征图像采用交叉熵损失函数进行损失值计算，根据损失值对模型进行训练，其中，语义分割模型包括多个注意力模型。由于注意力模型可以充分对样本图像的特征信息进行提取，使用训练后的语意分割模型对图像进行分割，可以有效提高对图像分割的准确度。

下面将在图2所示实施例的基础上，以将样本图像输入至语义分割模型中为例，对语意分割模型的结构进行详细说明。

如图3所示，语意分割模型包括特征提取层、下采样处理层、上采样处理层以及卷积层。

其中，下采样处理层包括第一下采样处理层、第二下采样处理层以及第三下采样处理，每个下采样处理层包括一个注意力模型和一个下采样层，每个下采样层包括一个卷积层(conv)、一个激活层(relu)和一个池化层(maxpool)，每个卷积层的卷积核大小为3*3，每个池化层的卷积核大小为2*2。

上采样处理层包括第一上采样处理层、第二上采样处理层以及第三上采样处理，每个上采样处理层包括一个注意力模型和一个上采样层，每个上采样层包括一个卷积层、一个激活层和一个上采样操作层，每个卷积层的卷积核大小为3*3，每个上采样操作层的卷积核大小为2*2。

对应的，将样本图像输入至语义分割模型中，获得样本图像对应的目标特征图像包括如下步骤。

S301、将样本图像输入至特征提取层，获得第一特征图像。

特征提取层用于对样本图像的特征参数进行提取，包括层数、高度、宽度三个维度的特征参数。

示例性的，特征提取层输出的第一特征图像可以以特征参数的形式进行表示，记为C*H*W，其中C为层数、H为高度、W为宽度。

S302、将第一特征图像输入至第一注意力模型，得到第二特征图像，并第二特征图像输入至下采样层，获得第三特征图像。

语意分割模型可以包括多个下采样处理层，本申请实施例以3个下采样处理层为例进行说明，每个下采样处理层都包括第一注意力模型和下采样层，由第一特征图像获得第二特征图像，再由第二特征图像第三特征图像的详细过程如下所示，其中，由第一特征图像获得第二特征图像的过程中又会输出多个特征图像，以第N特征图像、第N+1特征图像来进行区分。

S3021、将第一特征图像输入至第一下采样处理层中，获得第N特征图像。

其中，首先将第一特征图像输入至第一下采样处理层中的第一注意力模型，第一注意力模型可以对图像的特征参数进行加权，但并不改变图像的大小，第一注意力模型输出的特征图像仍为C*H*W。将第一注意力模型输出的特征图像输入至下采样层中，获得第N特征图像，第N特征图像的特征参数为2C*H/2*W/2。

S3022、将第N特征图像输入至第二下采样处理层中，获得第N+1特征图像。

将第N特征图像输入至第二下采样处理层中的第一注意力模型，获得输出对应的特征图像，并输入至第二下采样处理层中的下采样层，获得第N+1特征图像，第N+1特征图像的特征参数可以表示为4C*H/4*W/4。

S3023、将第N+1特征图像输入至第三下采样处理层中，获得第三特征图像。

将第N+1特征图像输入至第三下采样处理层中的第一注意力模型，获得第二特征图像，将第二特征图像输入至第三下采样处理层中的下采样层，获得第三特征图像，第三特征图像的特征参数可以表示为8C*H/8*W/8。

S303、将第三特征图像输入至上采样层，得到第四特征图像，并将第四特征图像输入至第二注意力模型中，获得目标特征图像。

每个上采样处理层都包括一个第二注意力模型和上采样层，由第三特征图像获得目标图像的过程如下所示，由第三特征图像获得第四特征图像，由第四特征图像获得目标特征图像的过程中，也会输出多个其他特征图像，命名方式延续S302中所示的方式。

S3031、将第三特征图像输入至第三上采样处理层中，获得第N+2特征图像。

将第三特征图像输入至第三上采样处理层中的上采样层，获得对应的特征图像，并将该特征图像输入至第三上采样处理层中的第二注意力模型，获得第N+2特征图像，第N+2特征图像的特征参数可以表示为8C*H/4*W/4。

S3032、将第N+2特征图像输入至第二上采样处理层中，获得第N+3特征图像。

将第N+2特征图像输入至第二上采样处理层中的上采样层，获得对应的特征图像，并将该特征图像输入至第二上采样处理层中的第二注意力模型，获得第N+3特征图像，第N+3特征图像的特征参数可以表示为4C*H/2*W/2。

S3033、将第N+3特征图像输入至第一上采样处理层中，获得第N+4特征图像。

将第N+3特征图像输入至第一上采样处理层中的上采样层，获得第四特征图像，并将第四特征图像输入至第一上采样处理层中的第二注意力模型，获得第N+4特征图像，第N+4特征图像的特征参数可以表示为2C*H*W。

S3034、将第N+4特征图像输入至卷积层中，获得目标特征图像。

卷积层用于将第N+4特征图像的特征参数处理成与第一特征图像具有相同尺度的特征参数。

示例性的，第N+4特征图像的特征参数为2C*H*W，将第N+4图像输入至卷积层中，获得目标特征图像，目标图像的特征参数为C*H*W。

上面对语意分割模型的结构进行了说明，下面在图2实施例的基础上对语意分割模型中的注意力模型的结构进行说明。

图4为本申请实施例提供的注意力模型的结构示意图，如图4所示，注意力模型包括左右两个分支。

其中，左分支包括：左1分支、左2分支、左3分支；左1分支包括第一处理层和第二处理层，左2分支包括第三处理层。右分支包括：右1分支、右2分支、右3分支；右1分支包括第四处理层和第五处理层，右2分支包括第六处理层。

第一处理层包括卷积层和重构层(reshape)；第二处理层包括卷积层、重构层和分类层(softmax)；第三处理层包括卷积层、标准化层(layernorm)和激活层(sigmod)；第四处理层包括卷积层和重构层；重构层和激活层；第六处理层包括卷积层、全局池化层(globelpooling)、重构层和分类层。每个卷积层的卷积核大小为1*1

对应的，将第一特征图像输入至第一注意力模型中，获得第二的特征图像包括：

S401、将第一特征图像输入至第一注意力模型中的左分支，获得左分支输出的左特征图像。

在具体实现过程中，将第一特征图像输入至第一处理层，获得第一降维特征图像；将第一特征图像输入至第三处理层，获得第二降维特征图像；将第一降维特征图像与第二降维特征图像进行矩阵相乘，并输入至第二处理层中，获得第五特征图像；将第五特征图像与左3分支的第一特征图像进行点乘，获得左特征图像。

示例性的，第一特征图的特征参数为C*H*W，输入至第一处理层中，经过卷积层处理后，特征参数为C/2*H*W，再输入重构层中进行处理，获得第一降维特征图像，其特征参数为C/2*HW。其中，重构层用于对特征图象的形状进行重构。

第一特征图输入至第三处理层中，经过卷积层处理后，特征参数为1*H*W，再输入至重构层与分类层进行处理，获得第二降维特征图像，其特征参数为HW*1*1。

第一降维特征图像与第二降维特征图像进行矩阵相乘处理，其特征参数为C/2*1*1，再输入至第二处理层中，经过卷积层、标准化层以及激活层处理，获得第五特征图像，其特征参数为C*1*1。其中，标准化层处理是指对图像特征进行标准化，将数据分布拉到激活函数的非饱和区，具有权重/数据伸缩不变性的特点。起到缓解梯度消失/爆炸、加速训练、正则化的效果。

将第五特征图像与第一特征图像进行点乘，获得左特征图像，其特征参数为C*H*W。

S402、将第一特征图像输入至第一注意力模型中的右分支，获得右分支输出的右特征图像。

在具体实现中，将第一特征图像输入至第四处理层，获得第三降维特征图像；将第一特征图像输入至第六处理层，获得第四降维特征图像；将第三降维特征图像与第二四降维特征图像进行矩阵相乘，并输入至第五处理层中，获得第六特征图像；将第六特征图像与右3分支的第一特征图像进行点乘，获得右特征图像。

示例性的，第一特征图输入至第四处理层中，经过卷积层处理后，特征参数为C/2*H*W，再输入重构层中进行处理，获得第三降维特征图像，其特征参数为C/2*HW。

第一特征图输入至第六处理层中，经过卷积层处理后，特征参数为C/2*H*W，再输入全局池化层中进行处理，特征参数为C/2*1*1，最后输入至重构层与分类层进行处理，获得第四降维特征图像，其特征参数为1*C/2。

第三降维特征图像与第四降维特征图像进行矩阵相乘处理，其特征参数变为1*HW，再输入至第五处理层中，经过重构层以及激活层处理，获得第六特征图像，其特征参数为1*H*W。

将第六特征图像与第一特征图像进行点乘，获得右特征图像，其特征参数为C*H*W。

S403、将左特征图像和右特征图像进行点乘，获得第二特征图像。

上述方法中，注意力模型的左分支通过对第一特征图像进行降维处理，获得两个不同降维的特征图像，再进行矩阵相乘处理，最后与第一特征图像进行点乘处理，不仅可以对第一特征图像中的层数维度信息进行更好的提取，还保留了高度和宽度两个维度的信息。右分支也通过类似的方法对对第一特征图像中的高度和宽度两个维度信息进行更好的提取，还保留了层数维度的信息。最后对左右分支输出的特征图像进行点乘处理，充分提取了第一特征图像中三个维度的信息。从而提高了模型的输出结果。

本申请实施例还提供一种于语义分割方法，如图5所示，包括如下步骤：

S501、获取待处理图像。

S502、将待处理图像输入至语义分割模型中，获得语义分割模型输出的语义分割结果。

其中，语义分割模型为通过图2所示的语意分割模型训练方法得到的。

上述方法中，在语意分割模型中引入了注意力模型，使用注意力模型可以对图像特征信息进行加权处理的优点，充分对样本图像的特征信息进行提取和处理，提高了语意分割模型对图像分割的准确度。

本申请实施例还提供一种语义分割模型的训练装置，如图6所示，包括：获取模块601、第一训练模块602、计算模块603以及第二训练模块604。

获取模块601，用于获取多个样本图像。

第一训练模块602，用于将样本图像，输入至语义分割模型中，获得样本图像对应的特征图像。

计算模块603，用于对特征图像采用交叉熵损失函数计算损失值。

第二训练模块604，用于根据损失值，对所义分割模型进行训练。

本实施例提供的语义分割模型的训练装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

进一步的，在图6所示实施例的基础上，本申请提供的语义分割模型的训练装置还包括，预处理模块605。

获取模块601，还用于获取不同用户在不同拍摄场景下拍摄的多个原始图像。

预处理模块605，用于对原始图像进行随机旋转，获得多个样本图像。

第一训练模块602，还用于将样本图像输入至特征提取层，获得第一特征图像；将第一特征图像输入至第一注意力模型，得到第二特征图像，并第二特征图像输入至下采样层，获得第三特征图像；将第三特征图像输入至上采样层，得到第四特征图像，并将第四特征图像输入至第二注意力模型中，获得目标特征图像。

本申请实施例还提供一种语义分割装置70，如图7所示，包括：获取模块701、处理模块702。

获取模块，用于获取待处理图像；

处理模块，用于将待处理图像输入至语义分割模型中，获得语义分割模型输出的语义分割结果。

本实施例提供的语义分割模型装置可以执行图5所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8为本申请实施例提供的电子设备的结构示意图。如图8所示，本实施例提供的设备80可以包括：

处理器801。

存储器802，用于存储电子设备的可执行指令。

其中，处理器配置为经由执行可执行指令来执行上述语义分割模型训练方法或者语意分割方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述语义分割模型训练方法或者语意分割方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

一种可能的实现方式中，计算机可读介质可以包括随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read-Only Memory，ROM)，只读光盘(compact discread-only memory，CD-ROM)或其它光盘存储器，磁盘存储器或其它磁存储设备，或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码，并且可由计算机访问。而且，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，数字用户线(Digital Subscriber Line，DSL)或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘，激光盘，光盘，数字通用光盘(Digital Versatile Disc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。

本申请实施例中还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述语义分割模型训练方法或者语意分割方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在上述终端设备或者服务器的具体实现中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本领域技术人员可以理解，上述任一方法实施例的全部或部分步骤可以通过与程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中，该程序被执行时，执行上述方法实施例的全部或部分的步骤。

本申请技术方案如果以软件的形式实现并作为产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本申请的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括计算机程序或者若干指令。该计算机软件产品使得计算机设备(可以是个人计算机、服务器、网络设备或者类似的电子设备)执行本申请实施例所述方法的全部或部分步骤。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。