一种基于2D Marker的视觉定位方法和系统、复合机器人

摘要

本发明提供了一种基于2D Marker的视觉定位方法和系统、复合机器人，其中该方法步骤包括：将2D Marker固定在目标物所在位置旁；经手眼标定后的相机采集2D Marker图像，以进行阈值分割获取二值图后进行轮廓查找，以获取图中所有轮廓，来分别进行角点检测及圆形基准检测，以识别边框特征的内外角点坐标及各圆形特征的对应半径及圆心点坐标，并将离各圆心点最近的角点作为起始点进行点位排序；将各点位进行亚像素化处理后，计算2D Marker平面位姿；而后根据获取的平面位姿，示教目标物与2D Marker的转换关系，以供获取目标物在基坐标系下的位姿，籍此以提高2D Marker的位姿计算精度。

说明书

技术领域

本发明设计视觉定位技术，尤其涉及一种基于2D Marker的视觉定位方法和系统、复合机器人。

背景技术

随着仓储物流行业的智能化、数字化发展，用于搬运的AMR（Automated MobileRobot，自主移动机器人）和用于抓取的机械臂被广泛应用于各个领域的工业生产过程中。近几年，智能化工厂的蓬勃发展对智慧物流领域的技术要求不断提升，单纯的搬运AMR和固定式的机械臂已经无法满足复杂产线之间零部件自动化转运的需求，因此，AMR与机械臂组合的复合机器人应运而生。受定位导航技术、工厂环境等因素的影响，复合机器人的定位精度无法实现机械臂对货物的精确抓取或放置，所以需要在复合机器人手臂末端搭载视觉系统，对机器人定位误差进行补偿和纠正，实现复合机器人的准确抓取和放置。

复合机器人末端视觉系统分为3D方案和2D方案两种，3D方案搭载3D相机，采集点云数据进行识别，虽然可以对目标物体进行直接识别，但是受3D相机成像精度的影响，其识别误差通常较大，且3D相机具有价格高、体积大、质量重、识别节拍较慢等缺点，制约其在复合机器人中的应用。2D方案搭载2D相机，其具有价格低、体积小、重量轻、识别节拍快、精度高等优点，在复合机器人中具有更加广泛的应用场景。

通常2D相机无法直接识别目标物体的三维空间位姿，需要借助特定的Marker进行识别，利用Marker与抓取目标关系空间位置关系固定的特点，实现复合机器人的精确抓取和放置。

如中国专利公布号为CN111516006B的专利公布了一种基于特定标记的复合机器人作业方法，其利用ArUco标签或者自定义的简单标签进行定位，以得到标签在机械臂坐标系下的坐标，然而该技术通过识别标签只能得到标签在机械臂坐标系的坐标，意味着机械臂只能到标签所在位置抓取，因此当标签位置与抓取位置会存在较大距离时，则无法直接进行抓取。

可见该技术方案受使用场景的限制较大，必须限制标签位姿为抓取位姿，否则无法抓取。其次，该技术使用的标签仅用4个控制点计算位姿，且识别的控制点没有达到亚像素化，因此总体位姿计算误差较大，难以实现复合机器人精确抓取。

发明内容

本发明的主要目的在于提供一种基于2D Marker的视觉定位方法和系统、复合机器人，以提高2D Marker的位姿计算精度。

为了实现上述目的，根据本发明的第一个方面，提供了一种基于2D Marker的视觉定位方法，其步骤包括：

步骤S100 将2D Marker固定在目标物所在位置旁，其中所述2D Marker的标记特征包括：具有明显颜色区分度的矩形边框特征、若干半径不同的圆形特征，其中各圆形特征聚集在边框特征框内靠近同一角点处；

步骤S200 经手眼标定后的相机采集2D Marker 图像，以进行阈值分割获取二值图后进行轮廓查找，以获取图中所有轮廓，来分别进行角点检测及圆形基准检测，以识别边框特征的内外角点坐标及各圆形特征的对应半径及圆心点坐标，并将离各圆心点最近的角点作为起始点进行点位排序；

步骤S300 将各点位进行亚像素化处理后，计算 2D Marker 平面位姿，其步骤包括：根据2D Marker已知物理尺寸，以2D Marker为XOY平面建立空间坐标系Ow，将步骤S200获取的各角点及圆心点与Ow坐标系上的三维空间建立匹配的关键点，在已知相机内参的情况下，通过PnP算法计算出2D Marker的平面位姿；

步骤S400 根据步骤S300获取的平面位姿，示教目标物与2D Marker的转换关系，以供获取目标物在基坐标系下的位姿。

在可能的优选实施方式中，步骤S200中还包括图像去噪步骤：采用高斯平滑算法对采集的2D Marker 图像进行降噪处理。

在可能的优选实施方式中，所述步骤S200中使用最大类间方差法对采集的2DMarker 图像进行自适应阈值分割，获取二值图像。

在可能的优选实施方式中，步骤S200中获取图中所有轮廓，来分别进行角点检测的检测步骤包括：对轮廓进行多边形拟合，将轮廓曲线上的首末点连接成一条直线，求轮廓上所有点到该直线的距离，并找出最大距离值

在可能的优选实施方式中，所述圆形基准检测步骤包括：对多边形进行凸度判断、概率性判断、圆度判断计算，以定位图中对应轮廓，据此获取各圆形特征的对应半径及圆心点坐标。

在可能的优选实施方式中，所述亚像素化处理步骤包括：

设q点为亚像素点，

将方程展开并移项：

在各角点附近收集多个

为了实现上述目的，根据本发明的第二个方面，还提供了一种基于2D Marker的视觉定位系统，用于识别如上所述的2D Marker，其中该视觉定位系统包括：

存储单元，用于存储包括如权利要求1至6中任一所述基于2D Marker的视觉定位方法步骤的程序，以供控制单元，相机，机械臂，处理单元，信息输出单元，适时调取执行；

其中相机设置在机械臂末端，所述控制单元，用于协调：

相机经手眼标定后，在机械臂的带动下用于采集2D Marker 图像；

处理单元，用于将2D Marker 图像进行图像去噪处理后，进行阈值分割获取二值图后进行轮廓查找，以获取图中所有轮廓，来分别进行角点检测及圆形基准检测，以识别边框特征的内外角点坐标及各圆形特征的对应半径及圆心点坐标，并将离各圆心点最近的角点作为起始点进行点位排序；而后将各点位进行亚像素化处理后，计算 2D Marker 平面位姿，其步骤包括：根据2D Marker已知物理尺寸，以2D Marker为XOY平面建立空间坐标系Ow，将之前获取的各角点及圆心点与Ow坐标系上的三维空间建立匹配的关键点，在已知相机内参的情况下，通过PnP算法计算出2D Marker的平面位姿，以供示教目标物与2D Marker的转换关系，获取目标物在机械臂基坐标系下的位姿；

信息输出单元，用于输出目标物在机械臂基坐标系下的位姿。

在可能的优选实施方式中，步骤S200中获取图中所有轮廓，来分别进行角点检测的步骤包括：对轮廓进行多边形拟合，将轮廓曲线上的首末点连接成一条直线，求轮廓上所有点到该直线的距离，并找出最大距离值

在可能的优选实施方式中，所述圆形基准检测步骤包括：对多边形进行凸度判断、概率性判断、圆度判断计算，以定位图中对应轮廓，据此获取各圆形特征的对应半径及圆心点坐标。

为了实现上述目的，根据本发明的第三个方面，还提供了一种复合机器人，其包括：视觉抓取单元，自主移动机器人，其中，所述视觉抓取单元为上述任一所述的基于2DMarker的视觉定位系统。

通过本发明提供的该基于2D Marker的视觉定位方法和系统、复合机器人，经过特殊设计的2D Marker标记特征及其对应的识别方法，能够显著提高2D Marker的位姿计算精度，进而提高复合机器人抓取/放置目标物的精度；此外，通过示教的方式，计算2D Marker与待抓取物体之间的转换关系，使得2D Marker可以在待抓取物体附近任意位置和角度安装，解决了传统2D Marker安装位置受场景限制较大的问题。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的第一实施例的方法步骤图；

图2为本发明的第一实施例的逻辑示意图；

图3为本发明的第一实施例中2D Marker位姿识别流程示意图；

图4为本发明的第一实施例中2D Marker结构示意图；

图5为本发明的第一实施例中2D Marker角点顺序示意图；

图6为本发明的第一实施例中复合机器人基于2D Marker的视觉定位方法执行抓取任务的形态示意图；

图7为本发明的第二实施例的基于2D Marker的视觉定位系统的结构示意图。

具体实施方式

为了使本领域的技术人员能够更好的理解本发明的技术方案，下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本发明。显然，本案所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思及相互不冲突的前提下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的揭露及保护范围。

此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“S100”、“S200”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时本发明中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有明确的规定和限定，术语“设置”、“布设”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。

以下将以复合机器人的视觉定位及抓取目标物体为例进行示例说明，其中本示例中的复合机器人包括由：AMR（Autonomous Mobile Robot自主移动机器人）、机械臂及计算机视觉系统构成，其中AMR负责移动，机械臂负责取放货物，计算机视觉系统相当于机械臂的眼，以调整机械臂精准取放，可见相比于单一功能的搬运机器人，复合机器人能完成货运、货物取放等复杂的协同任务。

（一）

如图1至图6所示，本发明的第一个方面，提供的该基于2D Marker的视觉定位方法的步骤包括：

步骤S100 将2D Marker固定在目标物所在位置旁，如保持2D Marker（以下简称Marker/mark）与目标物的相对位置关系不变。

步骤S200 经手眼标定后的相机采集2D Marker 图像，以进行阈值分割获取二值图后进行轮廓查找，以获取图中所有轮廓，来分别进行角点检测及圆形基准检测，以识别边框特征的内外角点坐标及各圆形特征的对应半径及圆心点坐标，并将离各圆心点最近的角点作为起始点进行点位排序。

步骤S300 将各点位进行亚像素化处理后，计算 2D Marker 平面位姿，其步骤包括：根据2D Marker已知物理尺寸，以2D Marker为XOY平面建立空间坐标系Ow，将步骤S200获取的各角点及圆心点与Ow坐标系上的三维空间建立匹配的关键点，在已知相机内参的情况下，通过PnP算法计算出2D Marker的平面位姿。

步骤S400 根据步骤S300获取的平面位姿，示教目标物与2D Marker的转换关系，以供获取目标物在基坐标系下的位姿。

具体来说，复合机器人的视觉抓取的目标，就是得到目标物体在机械臂基座标系下的位姿，而该位姿由两部分组成：三维空间坐标

其中，

从上述公式可看出，要得到目标物体在基座标下的位姿

而

如，本技术方案涉及的复合机器人采用的是“眼在手上”的方式，即相机安装在机械臂末端。手眼系统的标定是视觉识别抓取的前提，其标定精度对抓取精度起决定性作用。针对2D相机手眼系统的标定分为两个步骤：内参标定和外参标定。

1.内参标定

相机内参是相机的固有属性，由

其中，

2.外参标定

外参标定即计算相机在机械臂末端的位置关系，称为手眼矩阵，当相机安装在手抓末端时，称为“眼在手上”。这种关系下，标定板放置固定位置，

将其转化为

另一方，

其中发明人认为Marker识别过程就是计算Marker到相机坐标系的转换关系

其中棋盘格由于具有中心对称的属性，在棋盘格Marker上建立的坐标系方向不唯一，因此无法用在复合机器人的识别当中，而ArUco和Apriltag均为具有特定图案的二维码，其定位依靠Marker边框的四个角点，但由于角点个数较少，因此其定位误差较大。此外2016年Alberto等人证明了单个Apriltag Marker的定位误差会随着Maker离相机的距离、Marker与相机平面的角度的变化而增大，所以前述采用ArUco的方案才会无法将标签位置远离抓取位置。

由此可见上述现有技术种种缺点皆基于现有2D Marker方案的位姿计算精度不高的问题，从而采用现有的此类ArUco与Apriltag标签方案无法满足复合机器人精确抓取的需求。

为此，本发明设计了一种2D Marker及对应的识别方法，其能够有效的增加识别率、提高位姿计算精度。其中该2D Marker的标记特征包括：具有明显颜色区分度的矩形边框特征、若干半径不同的圆形特征，其中各圆形特征聚集在边框特征框内靠近同一角点处，如图4至图5所示，在本示例中，该边框特征为矩形黑色边框，而圆形特征为两个半径不同的圆形设置在靠近边框右下角处，且两个圆形互不重叠，明显相隔。

其中值得一提的是，本案该2D Marker的设计构思源于，AprilTag和ArUco都是通过码中特定的黑白编码来确定唯一的Marker，（类似于二维码里的黑白块），这种黑白编码表示唯一的ID，编码的黑白方块的提取和解码都是耗时的操作，而在复合机器人应用中，这个ID信息是不需要的，只需要Marker角点坐标来计算位姿，所以现有此类Marker有信息冗余。

而本方案用黑色边框和圆形基准既可以很快的定位Marker，同时又没有解码步骤，实验数据表明，同一个设备，同样的像素尺寸，AprilTag和AurCo识别速率在200-300毫秒，本方案Marker检测速度可达40-50毫秒。

进一步的，将该2D Marker固定在目标物所在位置旁后，经手眼标定后的相机采集2D Marker 图像后便进入对应的识别方法步骤中，该步骤包括：

步骤S210图像去噪：

对于采集到的Marker图像，由于环境光源、杂物等噪声的影响，对原图直接进行图像处理会产生误差，所以需要先进行降噪处理，针对噪声的类型符合高斯噪声的特点，本技术方案使用高斯平滑对图像进行降噪处理，二维高斯平滑函数如下：

其中，

步骤S220阈值分割：

使用最大类间方差法对图像进行自适应阈值分割。首先根据最大类间方差

其中：

求得阈值

步骤S230轮廓查找：

对于阈值分割得到的二值图像，首先进行筛选，将一些面积较小的噪声连通域取出，然后对剩余的连通域进行轮廓查找。例如：对于一个像素值为1的像素点而言，如果该像素的4-邻域或者8邻域内找到一个像素值为0的像素，在该像素定义为一个轮廓点，遍历图像，查找到所有轮廓。

步骤S240角点检测：

Marker所在的黑色边框的内外角点是计算位姿的关键点，在轮廓查找的基础上查找黑色边框的内外角点。

首先使用道格拉斯-普克（Douglas-Peucker）算法对轮廓进行多边形拟合：

对轮廓曲线上的首末点连接成一条直线，求轮廓上所有点到该直线的距离，并找出最大距离值

然后对拟合得到的多边形进行筛选，由于示例黑色边框的内外轮廓均为正方形，所以首先从多边形中筛选出四边形，其次，正方形的每个角均为90°，因此计算四边形每个角的余弦值

步骤S250圆形基准检测：

Marker中除了黑色边框，右下角的两个圆形基准也至关重要，对于检测到的多边形，首先判断其凸度（Convexity），凸度定义为多边形接近凸多边形的程度，凸多边形的凸度为1，凸度计算公式如下：

其中S表示轮廓围成的区域的面积，H表示对应的轮廓多边形的所有顶点围成的最小凸多边形的面积。当convex=1时，该轮廓为凸多边形。

惯性率（InertiaRatio），惯性率表示某一个椭圆轨道与理想圆形的偏离程度，其范围为

其中，c表示椭圆的半焦距，a表示椭圆的半长轴，

圆度（Circularity）,圆度表示图形接近于圆的饱满程度，其范围为

其中，S表示图形的面积，C表示图形的周长。

通过凸度、惯性率、圆度三个参数的判断，便能够准确定位圆形基准的位置，得到基准所在圆心点坐标和半径。

步骤S260点位规划：

在得到黑色边框内外角点以及两个圆形基准的圆心点坐标后，需要对点位进行排序，如图5所示，首先是半径较大的圆形基准圆形，然后是半径较小的圆形基准圆心坐标，最后是内外边框的角点坐标，其中以离两个圆形基准最近的角点位作为起始点，然后顺时针排列，得到十个点位在图像上的有序坐标序列，从而可标记出角点的坐标系方向。

步骤S310亚像素化：

进一步的，角点检测只能得到像素级别的坐标，获取的角点坐标值是整数，对于复合机器人高精度的定位来说，像素级别的角点带来的误差较大，因此，为了获取更高精度的角点位置坐标，需要对角点坐标进行亚像素化。

假设q点为真正的亚像素点，其坐标值未知，

将方程展开并移项：

在初始角点附近可以收集很多个

通过经过亚像素化处理，可有效提高Marker的位姿计算精度，甚至使复合机器人的作业精度达到毫米级别。

步骤S320求解位姿：

假设Marker的物理尺寸已知，将Marker看作一个空间平面，以Marker为XOY平面建立空间坐标系

PnP算法的求解方式有多种，常见的有直接线性变换法（Direct LinearTransform， DLT），EPnP，最小化重投影误差法，本方案示例以最小化重投影误差法为例，求解Marker位姿。

例如，根据小孔成像原理，世界坐标系到像素坐标系的投影关系

其中

通过最小化重投影误差求解最优的外参

从而获得Marker平面的位姿。

步骤S410示教目标物与2D Marker的转换关系：

通过识别只能得到Marker在机械臂基座标系下的位姿

当识别到Mark之后，可得到Mark到基座标的转换关系

然后通过移动机械臂末端位姿到目标物的抓取位姿，此时机械臂末端的位置即为目标点target到机械臂基座标的转换关系

籍此便可获取目标物在基坐标系下的位姿。

在实际使用该技术过程中，如图6所示，当复合机器人执行抓取任务时，首先调度复合机器人到达指定站点，然后控制机械臂移动到识别位置，确保Marker在相机视野下。根据识别到的Marker得到

籍此以供复合机器人的机械臂精确的抓取目标物体。

由此可见，本案通过提出用示教的方法来计算Marker与待抓取目标之间的变换关系，这便不需要手动测量或特制的加工件来确保偏移关系，使得Marker的安装不受物料、机台等环境的限制，籍此增加了复合机器人的部署的灵活性，有效的缩短了部署周期和部署难度。

另一方面，AMR在自主移动过程中也会逐渐存在一定的定位误差，因此通过上述方案还能够有效的补偿AMR定位带来的误差，极大的提高了复合机器人取放货物的精度。

此外相比于3D Marker识别方案，2D Marker识别方案的复合机器人具有节拍快、精度高、成本低等优点。如值得一提的是，AprilTag和ArUco都是通过码中特定的黑白编码来确定唯一的Marker，（类似于二维码里的黑白块），这种黑白编码表示唯一的ID，编码的黑白方块的提取和解码都是耗时的操作，而在复合机器人应用中，这个ID信息是不需要的，只需要Marker角点坐标来计算位姿，所以有信息冗余。本发明的方案采用黑色边框和圆形基准既可以很快的定位Marker，又没有解码步骤，因此实验数据表明，同一个设备，同样的像素尺寸，AprilTag和AurCo识别速率在200-300毫秒，而本方案Marker检测速度可达40-50毫秒。

（二）

如图7所示，与实施例一相对应的，本发明第二个方面，还提供了一种基于2DMarker的视觉定位系统，用于识别如上所述的2D Marker，其中该视觉定位系统包括：

存储单元，用于存储包括如实施例一所述基于2D Marker的视觉定位方法步骤的程序，以供控制单元，相机，机械臂，处理单元，信息输出单元，适时调取执行；

其中相机设置在机械臂末端，所述控制单元，用于协调：

相机经手眼标定后，在机械臂的带动下用于采集2D Marker 图像；

处理单元，用于将2D Marker 图像进行图像去噪处理后，进行阈值分割获取二值图后进行轮廓查找，以获取图中所有轮廓，来分别进行角点检测及圆形基准检测，以识别边框特征的内外角点坐标及各圆形特征的对应半径及圆心点坐标，并将离各圆心点最近的角点作为起始点进行点位排序；而后将各点位进行亚像素化处理后，计算 2D Marker 平面位姿，其步骤包括：根据2D Marker已知物理尺寸，以2D Marker为XOY平面建立空间坐标系Ow，将之前获取的各角点及圆心点与Ow坐标系上的三维空间建立匹配的关键点，在已知相机内参的情况下，通过PnP算法计算出2D Marker的平面位姿，以供示教目标物与2D Marker的转换关系，获取目标物在机械臂基坐标系下的位姿；

信息输出单元，用于输出目标物在机械臂基坐标系下的位姿。

其中在优选实施方式中，处理单元采用高斯平滑算法对采集的2D Marker 图像进行降噪处理，及采用最大类间方差法对采集的2D Marker 图像进行自适应阈值分割，以获取二值图像。

其中在优选实施方式中，所述亚像素化处理步骤包括：

设q点为亚像素点，

将方程展开并移项：

在各角点附近收集多个

其中在优选实施方式中，所述角点检测步骤包括：对轮廓进行多边形拟合，将轮廓曲线上的首末点连接成一条直线，求轮廓上所有点到该直线的距离，并找出最大距离值

其中在优选实施方式中，所述圆形基准检测步骤包括：对多边形进行凸度判断、概率性判断、圆度判断计算，以定位图中对应轮廓，据此获取各圆形特征的对应半径及圆心点坐标。

籍此通过该基于2D Marker的视觉定位系统，采用示教的方法来获得Marker与待抓取目标之间的变换关系，这便不需要手动测量或特制的加工件来确保偏移关系，使得Marker的安装不受物料、机台等环境的限制，因此特别适合配置在复合机器人上使用，同时该系统因其部署的灵活性，能够有效的缩短了部署周期和部署难度。

另一方面，AMR在自主移动过程中也会逐渐存在一定的定位误差，因此通过该系统还能够有效的补偿AMR定位带来的误差，极大的提高了复合机器人取放货物的精度。

（三）

对上述实施例一和二，本发明的第三个方面，还提供了一种复合机器人，其包括：视觉抓取单元，自主移动机器人，其中，所述视觉抓取单元为上述实施例二中所述的基于2DMarker的视觉定位系统。

综上所述，通过本发明提供的该基于2D Marker的视觉定位方法和系统、复合机器人，经过特殊设计的2D Marker标记特征及其对应的识别方法，能够显著提高2D Marker的位姿计算精度，进而提高复合机器人抓取/放置目标物的精度；此外，通过示教的方式，计算2D Marker与待抓取物体之间的转换关系，使得2D Marker可以在待抓取物体附近任意位置和角度安装，解决了传统2D Marker安装位置受场景限制较大的问题。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本领域技术人员可以理解，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。