基于单目图像的眼镜检测方法、装置、存储介质及设备

摘要

本发明公开了一种基于单目图像的眼镜检测方法、装置、存储介质及设备，属于模式识别领域。该方法包括：通过包括左眼图像样本和右眼图像样本的训练集训练CNN，该CNN包括若干卷积层、池化层、全连接层和Softmax层；从人脸图像上获取左眼区域或右眼区域，得到单目图像；将单目图像输入训练好的CNN，在最后一个全连接层得到眼部特征，Softmax层对眼部特征进行分类，得到戴眼镜和不戴眼镜的概率。本发明利用人脸图像的高度对称性，只是用一只眼睛图像完成眼镜检测，保证眼镜检测准确的同时加快了算法的判断效率。

说明书

技术领域

本发明涉及模式识别领域，特别是指一种基于单目图像的眼镜检测方法、装置、计算机可读存储介质及设备。

背景技术

深度学习的兴起为生物特征识别带来了巨大的发展，尤其是人脸识别，图像理解等方向的研究。随着人脸比对算法精度的不断提高，越来越多的研究人员开始关注人的行为属性方面的研究。在人脸识别领域，针对人行为的研究，包括了人本身属性的研究，例如表情，姿态等，也包括了外部属性的研究，如是否戴眼镜或是否戴墨镜等。

目前，针对是否戴眼镜的研究主要使用的图像处理的方法，基于眼部图像边缘的信息投影定位眼镜架横梁，从而进行人脸图像眼镜检测。该方法首先需要根据人脸图像定位眼部区域，以眼部区域确定眼镜架的大约范围，并且此时需要根据两只眼睛中心位置对图像进行水平较正。以眼部区域确定镜架横梁中心的x方向位置，以人脸图像的边缘信息图的像素横向投影来确定镜架中心的y方向位置，然后投影区域搜索和线段匹配，进而判断是否佩戴眼镜。

该方法存在以下缺陷：

首先，基于图像处理的方法容易受到光照等外界环境的干扰，当出现局部光照过强时，图像的梯度等会发生突变，不利于基于图像边缘的眼镜检测。此外，基于眼镜边缘检测的方法只是利用了图像的边、角等简单的信息，没有使用到图像的纹理特征，判断不稳定，效果较差。

发明内容

为解决上述技术问题，本发明提供一种基于单目图像的眼镜检测方法、装置、存储介质及设备，利用人脸图像的高度对称性，只是用一只眼睛图像完成眼镜检测，保证眼镜检测准确的同时加快了算法的判断效率。

本发明提供技术方案如下：

第一方面，本发明提供一种基于单目图像的眼镜检测方法，所述方法包括：

从人脸图像上获取左眼区域或右眼区域，得到单目图像；

将单目图像输入训练好的卷积神经网络，得到戴眼镜和不戴眼镜的概率，其中：

所述卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一全连接层、第二全连接层、第三全连接层和Softmax层；

所述卷积神经网络通过训练集训练得到，所述训练集的样本包括左眼图像样本和右眼图像样本；

所述单目图像依次经过卷积神经网络的各个层，在第三全连接层得到眼部特征，Softmax层对眼部特征进行分类，得到戴眼镜和不戴眼镜的概率。

进一步的，所述从人脸图像上获取左眼区域或右眼区域，得到单目图像，包括：

使用人脸检测和关键点定位方法，获得人脸图像的关键点；所述关键点包括左眼的两个眼角点和中心点，或者所述关键点包括右眼的两个眼角点和中心点；

根据所述关键点对所述人脸图像进行剪裁，得到左眼区域或右眼区域。

进一步的，在训练卷积神经网络时，对训练集的样本进行数据扩充，所述数据扩充包括对样本进行缩放、平移、旋转或颜色变化。

进一步的，所述训练集中，睁眼戴眼镜的样本为正样本，其余为负样本。

第二方面，本发明提供一种基于单目图像的眼镜检测装置，所述装置包括：

预处理模块，用于从人脸图像上获取左眼区域或右眼区域，得到单目图像；

检测模块，用于将单目图像输入训练好的卷积神经网络，得到戴眼镜和不戴眼镜的概率，其中：

所述卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一全连接层、第二全连接层、第三全连接层和Softmax层；

所述卷积神经网络通过训练集训练得到，所述训练集的样本包括左眼图像样本和右眼图像样本；

所述单目图像依次经过卷积神经网络的各个层，在第三全连接层得到眼部特征，Softmax层对眼部特征进行分类，得到戴眼镜和不戴眼镜的概率。

进一步的，所述预处理模块包括：

人脸检测和关键点定位单元，用于使用人脸检测和关键点定位方法，获得人脸图像的关键点；所述关键点包括左眼的两个眼角点和中心点，或者所述关键点包括右眼的两个眼角点和中心点；

获取单元，用于根据所述关键点对所述人脸图像进行剪裁，得到左眼区域或右眼区域。

进一步的，在训练卷积神经网络时，对训练集的样本进行数据扩充，所述数据扩充包括对样本进行缩放、平移、旋转或颜色变化。

进一步的，所述训练集中，睁眼戴眼镜的样本为正样本，其余为负样本。

第三方面，本发明提供一种用于眼镜检测的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现第一方面所述的基于单目图像的眼镜检测方法的步骤。

第四方面，本发明提供一种用于眼镜检测的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的基于单目图像的眼镜检测方法的步骤。

本发明具有以下有益效果：

本发明提出了一种基于单目图像的眼镜检测方法，对单目图像结合深度卷积神经网络进行眼镜检测，该方法使用一个轻量级的卷积神经网络对获取的一只眼睛的区域进行二分类，即可判断人像是否戴眼镜。该方法可以有效且快速地解决眼镜检测的问题，利用人脸图像的高度对称性，只是用一只眼睛图像完成眼镜检测，具有较低的时间复杂度。并且使用轻量级的网络结构，保证了分类的准确性的同时，减小了时间复杂度，加速计算。此外，本发明使用卷积神经网络进行眼镜检测的方法与现有技术相比，不容易受到光照等外界环境的干扰，能够使用到图像的纹理特征，判断稳定，效果好。

附图说明

图1为本发明的基于单目图像的眼镜检测方法流程图；

图2为本发明的卷积神经网络的训练和测试示意图；

图3为左眼区域获取方法示意图；

图4为本发明的基于单目图像的眼镜检测装置示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施提供了一种基于单目图像的眼镜检测方法，需要说明的是，本发明的眼镜检测指的是对透明眼镜的检测，包括近视镜、远视镜、透明平光眼镜等，墨镜不属于本发明检测的范围。

如图1所示，该方法包括：

步骤S100：从人脸图像上获取左眼区域或右眼区域，得到单目图像。

本步骤可以使用各种人脸检测和定位方法从人脸图像上获取左眼区域或右眼区域。

步骤S200：将单目图像输入训练好的卷积神经网络，得到戴眼镜和不戴眼镜的概率，其中：

为了减小算法的时间复杂度，本发明中使用了剪枝后的轻量级的卷积神经网络，卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一全连接层、第二全连接层、第三全连接层和Softmax层，该网络的训练采用SoftMax做二分类。

单目图像依次经过卷积神经网络的各个层，在第三全连接层得到眼部特征，Softmax层对眼部特征进行分类，得到戴眼镜和不戴眼镜的概率。

卷积神经网络通过训练集训练得到，训练集的样本包括左眼图像样本和右眼图像样本。

本发明分为训练和检测(测试)两个阶段，如图2所示。

在训练阶段，需要指出的是，虽然人脸具有高度的相似性，但左右眼图像并非完全相同，所以训练网络时需要同时获得左右眼的区域图像，并对该图像进行标注，确定是否有戴眼镜，作为训练集的样本。使用标注的数据训练深度卷积神经网络，训练时使用反向传播调整参数，为检测阶段提供网络参数，训练好卷积神经网络。

测试的阶段主要包括获取人眼单目图像(左眼区域或右眼区域)和网络推理两个步骤。由于人脸具有高度对称性，左眼和右眼极为相似，眼镜的结构也是如此，所以只需要用一只眼睛的图像即可进行眼镜检测。该步骤主要有两个优点，一是可以减小图像的输入区域，减小算法的时间复杂度，另一个是图像的纹理特征更加简单，判断较为容易。

所以，在测试时，本发明只使用单目图像，将该单目图像作为网络的输入，使用训练得到的卷积神经网络进行前馈推理，最后经过多元回归即可判断人眼是否戴眼镜。

本发明提出了一种基于单目图像的眼镜检测方法，对单目图像结合深度卷积神经网络进行眼镜检测，该方法使用一个轻量级的卷积神经网络对获取的一只眼睛的区域进行二分类，即可判断人像是否戴眼镜。该方法可以有效且快速地解决眼镜检测的问题，利用人脸图像的高度对称性，只是用一只眼睛图像完成眼镜检测，具有较低的时间复杂度。并且使用轻量级的网络结构，保证了分类的准确性的同时，减小了时间复杂度，加速计算。此外，本发明使用卷积神经网络进行眼镜检测的方法与现有技术相比，不容易受到光照等外界环境的干扰，能够使用到图像的纹理特征，判断稳定，效果好。

本发明的步骤S100是图像预处理阶段，该预处理阶段包括：

步骤S110：使用人脸检测和关键点定位方法，获得人脸图像的关键点；关键点包括左眼的两个眼角点和中心点，或者关键点包括右眼的两个眼角点和中心点。

左眼区域或右眼区域剪裁是在经过人脸检测和特征点定位步骤以后进行的操作，在本发明的一个示例中，经过TDCNN人脸特征点定位后可以获得106个人脸关键点，其包括了左眼和右眼的两个眼角点和中心点。为了消除定位的误差以及获得完整的眼部图像，需要对关键点定位后的结果做较小的坐标平移。

步骤S120：根据关键点对人脸图像进行剪裁，得到左眼区域或右眼区域。

在一个示例中，如图3所示，由特征点定位获得左眼的左右眼角点坐标分别为(x1,y1)和(x2,y2)，左眼中心点坐标为(x3,y3)。首先对左右眼角点坐标进行扩充保证人眼区域的完整性，获得新的左右眼角边缘坐标点(x1–5,y1)和(x2+5，y2)，然后计算左右边缘的横向距离L＝x2–x1+10，最后计算眼部上下边缘的坐标为(x3,y3–L/2)和(x3,y3+L/2)。根据人眼区域的左右边缘以及上下边缘即可得到左眼区域的范围。

以上是在检测过程中的预处理过程，在训练过程中，预处理过程包括眼部图像获取，数据扩充和数据标注等。训练过程中，需要获取左眼图像样本和右眼图像样本构建训练集，经过TDCNN人脸特征点定位后可以获得106个人脸关键点，使用每个眼睛的两个眼角点和眼部中心进行剪裁获取左眼图像和右眼图像，具体的过程与检测过程中获取左眼区域或右眼区域的方法相同，可参照上文所述内容进行理解，此处不再进行赘述。

获取训练用的左右眼部图像后，需要对该图像进行标注，在数据标注的过程中，需要明确样本的标签以及任务，由于本发明是对眼镜进行检测，所以除了睁眼戴眼镜(指透明眼镜)的样本为正样本外，其余均为负样本，例如戴墨镜，眼部被遮挡，睁眼未佩戴眼镜，闭眼佩戴眼镜等均为负样本。

在训练卷积神经网络时，为了增大训练的数据量，增加数据的多样性，需要进行数据扩充，数据扩充包括对样本进行缩放、平移、旋转或颜色变化等，从而获得多样性的人眼训练数据。

本发明对单目图像结合深度卷积神经网络进行眼镜检测，对输入的图像进行人脸检测和特征点定位，获取单目图像区域，对该图像区域使用CNN进行二分类，即可人像是否佩戴眼镜。该方法具有以下几个优势：

1、该方法可以有效且快速地解决眼镜检测的问题。

2、使用轻量级的网络结构，加速计算。

3、利用人脸图像的高度对称性，提出只是用一只眼睛图像完成眼镜检测，减小输入图像的宽和高，降低算法的时间复杂度。

实施例2：

本发明实施例提供了一种基于单目图像的眼镜检测装置，如图4所示，该装置包括：

预处理模块10，用于从人脸图像上获取左眼区域或右眼区域，得到单目图像。

检测模块20，用于将单目图像输入训练好的卷积神经网络，得到戴眼镜和不戴眼镜的概率，其中：

卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第一全连接层、第二全连接层、第三全连接层和Softmax层。

卷积神经网络通过训练集训练得到，训练集的样本包括左眼图像样本和右眼图像样本。

所述单目图像依次经过卷积神经网络的各个层，在第三全连接层得到眼部特征，Softmax层对眼部特征进行分类，得到戴眼镜和不戴眼镜的概率。

本发明提出了一种基于单目图像的眼镜检测装置，对单目图像结合深度卷积神经网络进行眼镜检测，该装置使用一个轻量级的卷积神经网络对获取的一只眼睛的区域进行二分类，即可判断人像是否戴眼镜。该装置可以有效且快速地解决眼镜检测的问题，利用人脸图像的高度对称性，只是用一只眼睛图像完成眼镜检测，具有较低的时间复杂度。并且使用轻量级的网络结构，保证了分类的准确性的同时，减小了时间复杂度，加速计算。此外，本发明使用卷积神经网络进行眼镜检测的方法与现有技术相比，不容易受到光照等外界环境的干扰，能够使用到图像的纹理特征，判断稳定，效果好。

本发明中，预处理模块包括：

人脸检测和关键点定位单元，用于使用人脸检测和关键点定位方法，获得人脸图像的关键点；关键点包括左眼的两个眼角点和中心点，或者关键点包括右眼的两个眼角点和中心点。

左眼区域或右眼区域剪裁是在经过人脸检测和特征点定位步骤以后进行的操作，在本发明的一个示例中，经过TDCNN人脸特征点定位后可以获得106个人脸关键点，其包括了左眼和右眼的两个眼角点和中心点。为了消除定位的误差以及获得完整的眼部图像，需要对关键点定位后的结果做较小的坐标平移。

获取单元，用于根据关键点对人脸图像进行剪裁，得到左眼区域或右眼区域。

在一个示例中，如图3所示，由特征点定位获得左眼的左右眼角点坐标分别为(x1,y1)和(x2,y2)，左眼中心点坐标为(x3,y3)。首先对左右眼角点坐标进行扩充保证人眼区域的完整性，获得新的左右眼角边缘坐标点(x1–5,y1)和(x2+5，y2)，然后计算左右边缘的横向距离L＝x2–x1+10，最后计算眼部上下边缘的坐标为(x3,y3–L/2)和(x3,y3+L/2)。根据人眼区域的左右边缘以及上下边缘即可得到左眼区域的范围。

以上的预处理模块是检测过程中的预处理过程，在训练过程中，需要获取左眼图像样本和右眼图像样本构建训练集，经过TDCNN人脸特征点定位后可以获得106个人脸关键点，使用每个眼睛的两个眼角点和眼部中心进行剪裁获取左眼图像和右眼图像，具体的过程与检测过程中获取左眼区域或右眼区域的方法相同，可参照上文所述内容进行理解，此处不再进行赘述。

获取训练用的左右眼部图像后，需要对该图像进行标注，在数据标注的过程中，需要明确样本的标签以及任务，由于本发明是对眼镜进行检测，所以除了睁眼戴眼镜(指透明眼镜)的样本为正样本外，其余均为负样本，例如戴墨镜，眼部被遮挡，睁眼未佩戴眼镜，闭眼佩戴眼镜等均为负样本。

在训练卷积神经网络时，为了增大训练的数据量，增加数据的多样性，需要进行数据扩充，数据扩充包括对样本进行缩放、平移、旋转或颜色变化等，从而获得多样性的人眼训练数据。

本发明对单目图像结合深度卷积神经网络进行眼镜检测，对输入的图像进行人脸检测和特征点定位，获取单目图像区域，对该图像区域使用CNN进行二分类，即可人像是否佩戴眼镜。该装置具有以下几个优势：

1、该装置可以有效且快速地解决眼镜检测的问题。

2、使用轻量级的网络结构，加速计算。

3、利用人脸图像的高度对称性，提出只是用一只眼睛图像完成眼镜检测，减小输入图像的宽和高，降低算法的时间复杂度。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

实施例3：

本说明书提供的上述实施例所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于眼镜检测的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的基于单目图像的眼镜检测方法的步骤。

本发明对单目图像结合深度卷积神经网络进行眼镜检测，使用一个轻量级的卷积神经网络对获取的一只眼睛的区域进行二分类，即可判断人像是否戴眼镜，可以有效且快速地解决眼镜检测的问题，利用人脸图像的高度对称性，只是用一只眼睛图像完成眼镜检测，具有较低的时间复杂度。并且使用轻量级的网络结构，保证了分类的准确性的同时，减小了时间复杂度，加速计算。此外，本发明使用卷积神经网络进行眼镜检测的方法与现有技术相比，不容易受到光照等外界环境的干扰，能够使用到图像的纹理特征，判断稳定，效果好。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

上述所述的存储介质根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

实施例4：

本发明还提供一种用于眼镜检测的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于眼镜检测的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述基于单目图像的眼镜检测方法的步骤。

本发明对单目图像结合深度卷积神经网络进行眼镜检测，使用一个轻量级的卷积神经网络对获取的一只眼睛的区域进行二分类，即可判断人像是否戴眼镜，可以有效且快速地解决眼镜检测的问题，利用人脸图像的高度对称性，只是用一只眼睛图像完成眼镜检测，具有较低的时间复杂度。并且使用轻量级的网络结构，保证了分类的准确性的同时，减小了时间复杂度，加速计算。此外，本发明使用卷积神经网络进行眼镜检测的方法与现有技术相比，不容易受到光照等外界环境的干扰，能够使用到图像的纹理特征，判断稳定，效果好。

上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。