一种基于双目视觉的云高测量方法及设备

摘要

本申请的目的是提供一种基于双目视觉的云高测量方法及设备，本申请通过在同一时刻采集双目相机的第一图像和第二图像，对所述第一图像和第二图像进行双目对齐；检测处理后的第一图像的云特征点，根据检测到的云特征点匹配所述第二图像的云特征点；根据所述第一图像的云特征点及所述第二图像的云特征点获取视觉差；根据所述视觉差以及所述双目相机的参数获取世界坐标，根据所述世界坐标确定目标云高。从而可以对更大范围的云高进行全面观测，提供三维世界的感知，测量结果更精确以及降低测量成本。

说明书

技术领域

本申请涉及计算机领域，尤其涉及一种基于双目视觉的云高测量方法及设备。

背景技术

云高的测量对于机场、气象部门的日常工作都有重要指导意义。目前测量云高的主流方法是基于激光脉冲原理，比较有代表性的一类设备是云高仪。云高仪一般是从地面垂直向上发射激光脉冲，通过接收大气的后向散射实现云高计算。其缺点是只能探测设备正上方的云高，以点代面，容易出现大幅度波动；另一方面，云高仪价格昂贵，不适合密集部署。

发明内容

本申请的一个目的是提供一种基于双目视觉的云高测量方法及设备，解决现有技术中使用云高仪测量云高时观测范围小、易出现大幅度波动以及价格昂贵不适合密集部署的问题。

根据本申请的一个方面，提供了一种基于双目视觉的云高测量方法，该方法包括：

在同一时刻采集双目相机的第一图像和第二图像，对所述第一图像和第二图像进行双目对齐；

检测处理后的第一图像的云特征点，根据检测到的云特征点匹配所述第二图像的云特征点；

根据所述第一图像的云特征点及所述第二图像的云特征点获取视觉差；

根据所述视觉差以及所述双目相机的参数获取世界坐标，根据所述世界坐标确定目标云高。

进一步地，所述方法包括：

根据所述双目相机的仰角对所述目标云高进行几何修正，得到优化后的目标云高。

进一步地，在同一时刻采集双目相机的第一图像和第二图像，对所述第一图像和第二图像进行双目对齐，包括：

对所述双目相机以及双目相机中的每一单目相机分别进行标定，确定标定后的双目相机的内参以及畸变参数；

使用标定后的双目相机在同一时刻采集双目相机的第一图像和第二图像；根据所述双目相机的内参和畸变参数对所述第一图像和第二图像进行行对准以完成双目对齐。

进一步地，检测处理后的第一图像的云特征点，包括：

在所述处理后的第一图像中提取出天空区域；

在所述天空区域中依次按照至少一类天气状态的参数顺序进行云的边缘检测通过边缘检测获取到云特征点。

进一步地，根据检测到的云特征点匹配所述第二图像的云特征点，包括：

选取所述第一图像的云特征点周围的图块作为模板；

在所述第二图像中滑窗匹配与所述模板的相似度最大的一个图块，获取匹配云特征点。

进一步地，在所述第二图像中滑窗匹配与所述模板的相似度最大的一个图块，包括：

将所述模板在所述第二图像上每次在横向或纵向上移动一个像素时，将所述模板与移动到的位置对应的图块作一次比较定，根据每一次的比较得到结果矩阵；

按照相似度评价标准从所述结果矩阵中选取最小值或最大值作为相似度最大，确定相似度最大的一个图块。

进一步地，根据所述第一图像的云特征点及所述第二图像的云特征点获取视觉差，包括：

获取所述第一图像的云特征点的横坐标的像素值与所述第二图像的云特征点的横坐标的像素值的差值，根据所述差值获得视觉差。

进一步地，所述双目相机的参数包括：所述双目相机的内参以及畸变系数，其中，所述双目相机的内参包括焦距及光心距离。

根据本申请另一个方面，还提供了一种基于双目视觉的云高测量设备，该设备包括：

采集装置，用于在同一时刻采集双目相机的第一图像和第二图像，对所述第一图像和第二图像进行双目对齐；

检测装置，用于检测处理后的第一图像的云特征点，根据检测到的云特征点匹配所述第二图像的云特征点；

差值获取装置，用于根据所述第一图像的云特征点及所述第二图像的云特征点获取视觉差；

坐标获取装置，用于根据所述视觉差以及所述双目相机的参数获取世界坐标，根据所述世界坐标确定目标云高。

进一步地，所述设备包括：

修正装置，用于根据所述双目相机的仰角对所述目标云高进行几何修正，得到优化后的目标云高。

进一步地，所述采集装置用于：

对所述双目相机以及双目相机中的每一单目相机分别进行标定，确定标定后的双目相机的内参以及畸变参数；

使用标定后的双目相机在同一时刻采集双目相机的第一图像和第二图像；根据所述双目相机的内参和畸变参数对所述第一图像和第二图像进行行对准以完成双目对齐。

进一步地，所述检测装置用于：

在所述处理后的第一图像中提取出天空区域；

在所述天空区域中依次按照至少一类天气状态的参数顺序进行云的边缘检测通过边缘检测获取到云特征点。

进一步地，所述检测装置用于：

选取所述第一图像的云特征点周围的图块作为模板；

在所述第二图像中滑窗匹配与所述模板的相似度最大的一个图块，获取匹配云特征点。

进一步地，所述检测装置用于：

将所述模板在所述第二图像上每次在横向或纵向上移动一个像素时，将所述模板与移动到的位置对应的图块作一次比较定，根据每一次的比较得到结果矩阵；

按照相似度评价标准从所述结果矩阵中选取最小值或最大值作为相似度最大，确定相似度最大的一个图块。

进一步地，所述差值获取装置用于：

获取所述第一图像的云特征点的横坐标的像素值与所述第二图像的云特征点的横坐标的像素值的差值，根据所述差值获得视觉差。

根据本申请再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。

与现有技术相比，本申请通过在同一时刻采集双目相机的第一图像和第二图像，对所述第一图像和第二图像进行双目对齐；检测处理后的第一图像的云特征点，根据检测到的云特征点匹配所述第二图像的云特征点；根据所述第一图像的云特征点及所述第二图像的云特征点获取视觉差；根据所述视觉差以及所述双目相机的参数获取世界坐标，根据所述世界坐标确定目标云高。从而可以对更大范围的云高进行全面观测，提供三维世界的感知，测量结果更精确以及降低测量成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请的一个方面提供的一种基于双目视觉的云高测量方法的流程示意图；

图2示出本申请一实施例中双目对齐的效果示意图；

图3示出本申请另一实施例中实际场景中的云检测的示意图；

图4示出本申请又一个方面提供的一种基于双目视觉的云高测量设备的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

图1示出根据本申请的一个方面提供的一种基于双目视觉的云高测量方法的流程示意图，该方法包括：步骤S11～步骤S14，其中，步骤S11，在同一时刻采集双目相机的第一图像和第二图像，对所述第一图像和第二图像进行双目对齐；步骤S12，检测处理后的第一图像的云特征点，根据检测到的云特征点匹配所述第二图像的云特征点；步骤S13，根据所述第一图像的云特征点及所述第二图像的云特征点获取视觉差；步骤S14，根据所述视觉差以及所述双目相机的参数获取世界坐标，根据所述世界坐标确定目标云高。从而可以对更大范围的云高进行全面观测，提供三维世界的感知，测量结果更精确以及降低测量成本。

具体地，在步骤S11中，在同一时刻采集双目相机的第一图像和第二图像，对所述第一图像和第二图像进行双目对齐；在此，同一时刻采集到双目相机的左右相机图像，即采集第一图像和第二图像，第一图像可以是双目相机的左相机图像，第二图像可以是双目相机的右相机图像，当然也可以右相机图像为第一图像，左相机图像为第二图像，为方便进行实施例说明，下面将以左图像作为第一图像进行说明。对获得的左右图像使用双目相机的参数进行双目对齐，从而在计算左右相机的视觉差时更加简单方便。

具体地，在步骤S12中，检测处理后的第一图像的云特征点，根据检测到的云特征点匹配所述第二图像的云特征点；在此，可以使用canny算子的边缘检测方法先检测到处理后的第一图像的云特征点，该处理后的第一图像是指进行双目对齐后的图像；利用检测到的左图的云特征点去匹配待检测图像的云特征点，此时待检测图像为右图像，从而得到双目相机的左右图像的云特征点，进而进行后续的视觉差计算。

具体地，在步骤S13中，根据所述第一图像的云特征点及所述第二图像的云特征点获取视觉差；在此，对第一图像和第二图像进行了双目对齐的处理后，进行计算两个图像之间的视觉差时，只需要利用两个图像的云特征点的单向坐标的像素值计算即可，计算更加快速，得到两个图像之间的视觉差，即左右相机之间的视觉差。

具体地，在步骤S14中，根据所述视觉差以及所述双目相机的参数获取世界坐标，根据所述世界坐标确定目标云高。在此，根据双目相机的参数以及计算得到的视觉差可以获得双目相机的世界坐标，将该世界坐标中由z轴上得到的坐标作为目标云高。

在本申请一实施例中，所述方法包括：根据所述双目相机的仰角对所述目标云高进行几何修正，得到优化后的目标云高。在此，考虑到相机仰角对测量结果也会产生影响，因此在计算得到云高后，根据双目相机的仰角对计算得到的目标云高进行几何修正，假设仰角为N°，目标云高为Z，则修正为：Z×sin(N°/180°×π)，从而实现对目标云高的优化，得到更精确的云测量结果。

在本申请一实施例中，在步骤S11中，对所述双目相机以及双目相机中的每一单目相机分别进行标定，确定标定后的双目相机的内参以及畸变系数；使用标定后的双目相机在同一时刻采集双目相机的第一图像和第二图像；根据所述双目相机的内参和畸变参数对所述第一图像和第二图像进行行对准以完成双目对齐。在此，先对相机进行标定，左右相机各自的单目标定以及双面相机的标定，根据标定获取一组相机的内外参数，如获取到双目相机的内参以及畸变系数，供算法调用；左右相机的安装应具有一定的水平距离，距离越大，视差越大，有效测量范围越大。单目畸变(也是单目标定)后图像会受到径向和切向拉伸，像素位置会发生变化，从而获取到畸变系数；双目对齐是根据摄像头定标后获得的单目内参数据(焦距、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，对左右视图进行行对准，使左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐；如图2所示，世界坐标系xyz，点P在左相机gl上的投影为Pl，在右相机gr上的投影为Pr，Ol为左相机的光心，Or为右相机的光心，进行双目对齐时是将P1所在的y轴与P2所在的y轴(图中虚线部分)进行对齐，即是将左右图中的y轴与左右相机的光心的连线OlOr平行，双目对齐后，左右图像的y轴是对齐的，影响视差的主要是水平方向像素的相对位置，此时计算视差最简单。其中，进行标定时是通过世界坐标系和像素坐标系中的对应像素点，求解从世界坐标系(世界平面)到像素坐标系(像素平面)之间的转换矩阵，进而根据一定的约束条件，通过转换矩阵分别求解相机的内外参以及畸变参数的过程。单目标定过程可以使用如下方式：让相机采集各个角度下拍摄的一张标准的盘格，提取相片中棋盘格点的像素坐标，使用极大似然估计，求解内参矩阵和外参矩阵等。双目标定过程可以使用如下方式：获取双目相机的相对位置关系，如相对旋转角、相对位移等，用于双目测距，双目安装后，不可以再更改其相对位置；具体过程为：让双目相机同时拍摄一张准备好的棋盘格，双目同时拍摄是指同时出现于双目的视野中，根据实际棋盘格上各个坐标点的实际坐标，以及其左右相机成像上对应的像素坐标，可以计算出相机之间的相对距离、相对旋转角等数据。对相机进行标定后可以获取到相机的内参数，比如焦距等，以及畸变系数，使用标定后的相机进行采集图像，得到的图像是消除畸变后的图像。

在本申请再一实施例中，在步骤S12中，在所述处理后的第一图像中提取出天空区域；在所述天空区域中按照至少一类天气状态的参数顺序进行云的边缘检测，通过边缘检测获取到云特征点。在此，考虑到不同的天气状态时，云的边缘信息会存在区别，该天气状态比如为晴天、阴天、雨天、雪天等；比如，在晴天多云的情况下，云的边缘信息较强，阴天或者无云情况下，云的边缘信息较弱，因此，在本申请实施例中，使用三套canny算子参数，分别对应晴天、阴天和雨天，对左图云特征进行检测时可以按照至少一类天气状态的参数进行检测，如按照晴天、阴天两类天气状态或按照晴天、阴天、雨天三类天气状态或者其他几类天气状态。在本申请一具体实施例中，可以依次按照晴天、阴天以及雨天的参数顺序检测，先提取出天空区域，在天空区域中搜索云的边缘，进而确定云特征点；通过将数据集分成晴天、阴天以及雨天三种环境下的图像集，来调整获得三套不同的参数阈值。如图3所示，在左图中使用上述云的边缘检测方式检测到了四个云特征点，利用左图检测到的云特征点匹配右图中的云特征点，最终得到(A，A’)、(B，B’)、(C，C’)、(D，D’)四对云特征点，根据四对云特征点计算得到四个位置的云高值。

接上述实施例，选取所述第一图像的云特征点周围的图块作为模板；在所述第二图像中滑窗匹配与所述模板的相似度最大的一个图块，获取匹配云特征点。在此，选取左图检测出来的特征点周围的一个图块作为模板，在右图中滑窗匹配与其相似度最高的一个图块。可使用OpenCV中对应的函数为模板匹配函数matchTemplate()，在输入图像中滑动窗口寻找各个位置与模板图像匹配的相似度，找到最大的一个图块，通过找到的图块得到右图的云特征点。

具体地，在本申请又一实施例中，将所述模板在所述第二图像上每次在横向或纵向上移动一个像素时，将所述模板与移动到的位置对应的图块作一次比较，根据每一次的比较得到结果矩阵；按照相似度评价标准从所述结果矩阵中选取最小值或最大值作为相似度最大，确定相似度最大的一个图块。在此，相似度的评价标准包括平方差匹配法CV_TM_SQDIFF(相似度越高，值越小)、相关系数匹配法CV_TM_CCOEFF(1表示最好的匹配，-1表示最差的匹配)等，以CV_TM_CCOEFF为例：

其中，T为将左图像中的特征点周围的一个图块作为的模板，I为待搜索匹配图(右图像)，R为结果；(x′，y′)为模板T中的坐标，范围为0≤x′≤w-1，0≤y′≤h-1，(x，y)为结果R中的坐标，范围为0≤x≤W-w，0≤y≤H-h。模板T在右图上每次在横向或纵向上移动一个像素，并作一次比较计算，假设T的尺寸为w×h，I的尺寸为W×H，则结果R的尺寸为(W-w+1)×(H-h+1)。即，横向比较W-w+1次，纵向比较H-h+1次，从而得到(W-w+1)×(H-h+1)维的结果矩阵，最后比对获得R中的最大或最小值(平均匹配法选用最小值)，具体依据相似度的评价标准，根据最大或最小值对应的图块获得右图中的匹配特征图块，进而获得匹配特征点。

在本申请另一实施例中，在步骤S13中，获取所述第一图像的云特征点的横坐标的像素值与所述第二图像的云特征点的横坐标的像素值的差值，根据所述差值获得视觉差。双目相机的参数包括：所述双目相机的内参以及畸变系数，其中，所述双目相机的内参包括焦距及光心距离。在此，根据双目参数计算世界坐标如下：

其中，Z为云高深度，d为视觉差，f为焦距，b为左右相机的光心之间的距离，X

此外，本申请实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述一种基于双目视觉的云高测量方法。

与上文所述的方法相对应的，本申请还提供一种终端，其包括能够执行上述图1或图2或或图3各个实施例所述的方法步骤的模块或单元，这些模块或单元可以通过硬件、软件或软硬结合的方式来实现，本申请并不限定。例如，在本申请一实施例中，还提供了一种基于双目视觉的云高测量设备，所述设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。

例如，计算机可读指令在被执行时使所述一个或多个处理器：

在同一时刻采集双目相机的第一图像和第二图像，使用所述双目相机的参数对所述第一图像和第二图像进行双目对齐；

检测处理后的第一图像的云特征点，根据检测到的云特征点匹配所述第二图像的云特征点；

根据所述第一图像的云特征点及所述第二图像的云特征点获取视觉差；

根据所述视觉差以及所述双目相机的参数获取世界坐标，根据所述世界坐标确定目标云高。

图4示出本申请又一个方面提供的一种基于双目视觉的云高测量设备的结构示意图，该设备包括：采集装置11、检测装置12、差值获取装置13及坐标获取装置14，其中，采集装置11用于在同一时刻采集双目相机的第一图像和第二图像，对所述第一图像和第二图像进行双目对齐；检测装置12用于检测处理后的第一图像的云特征点，根据检测到的云特征点匹配所述第二图像的云特征点；差值获取装置13用于根据所述第一图像的云特征点及所述第二图像的云特征点获取视觉差；坐标获取装置14用于根据所述视觉差以及所述双目相机的参数获取世界坐标，根据所述世界坐标确定目标云高。

需要说明的是，采集装置11、检测装置12、差值获取装置13及坐标获取装置14执行的内容分别与上述步骤S11、S12、S13和S14中的内容相同或相应相同，为简明起见，在此不再赘述。

在本申请一实施例中，所述设备包括：修正装置，用于根据所述双目相机的仰角对所述目标云高进行几何修正，得到优化后的目标云高。在此，考虑到相机仰角对测量结果也会产生影响，因此在计算得到云高后，根据双目相机的仰角对计算得到的目标云高进行几何修正，假设仰角为N°，目标云高为Z，则修正为：Z×sin(N°/180°×π)，从而实现对目标云高的优化，得到更精确的云测量结果。

在本申请一实施例中，所述采集装置11用于：对所述双目相机以及双目相机中的每一单目相机分别进行标定，确定标定后的双目相机的内参以及畸变系数；使用标定后的双目相机在同一时刻采集双目相机的第一图像和第二图像；根据所述双目相机的内参和畸变参数对所述第一图像和第二图像进行行对准以完成双目对齐。在此，先对相机进行标定，左右相机各自的单目标定以及双面相机的标定，根据标定获取一组相机的内外参数，如获取到双目相机的内参以及畸变系数，供算法调用；左右相机的安装应具有一定的水平距离，距离越大，视差越大，有效测量范围越大。单目畸变(也是单目标定)后图像会受到径向和切向拉伸，像素位置会发生变化，从而获取到畸变系数；双目对齐是根据摄像头定标后获得的单目内参数据(焦距、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，对左右视图进行行对准，使左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐；如图2所示，世界坐标系xyz，点P在左相机gl上的投影为Pl，在右相机gr上的投影为Pr，Ol为左相机的光心，Or为右相机的光心，进行双目对齐时是将P1所在的y轴与P2所在的y轴(图中虚线部分)进行对齐，即是将左右图中的y轴与左右相机的光心的连线OlOr平行，双目对齐后，左右图像的y轴是对齐的，影响视差的主要是水平方向像素的相对位置，此时计算视差最简单。其中，进行标定时是通过世界坐标系和像素坐标系中的对应像素点，求解从世界坐标系(世界平面)到像素坐标系(像素平面)之间的转换矩阵，进而根据一定的约束条件，通过转换矩阵分别求解相机的内外参以及畸变参数的过程。单目标定过程可以使用如下方式：让相机采集各个角度下拍摄的一张标准的盘格，提取相片中棋盘格点的像素坐标，使用极大似然估计，求解内参矩阵和外参矩阵等。双目标定过程可以使用如下方式：获取双目相机的相对位置关系，如相对旋转角、相对位移等，用于双目测距，双目安装后，不可以再更改其相对位置；具体过程为：让双目相机同时拍摄一张准备好的棋盘格，双目同时拍摄是指同时出现于双目的视野中，根据实际棋盘格上各个坐标点的实际坐标，以及其左右相机成像上对应的像素坐标，可以计算出相机之间的相对距离、相对旋转角等数据。对相机进行标定后可以获取到相机的内参数，比如焦距等，以及畸变系数，使用标定后的相机进行采集图像，得到的图像是消除畸变后的图像。

在本申请再一实施例中，所述检测装置12用于：在所述处理后的第一图像中提取出天空区域；在所述天空区域中依次按照至少一类天气状态的参数顺序进行云的边缘检测通过边缘检测获取到云特征点。在此，考虑到不同的天气状态时，云的边缘信息会存在区别，该天气状态比如为晴天、阴天、雨天、雪天等；比如，在晴天多云的情况下，云的边缘信息较强，阴天或者无云情况下，云的边缘信息较弱，因此，在本申请实施例中，使用三套canny算子参数，分别对应晴天、阴天和雨天，对左图云特征进行检测时可以按照至少一类天气状态的参数进行检测，如按照晴天、阴天两类天气状态或按照晴天、阴天、雨天三类天气状态或者其他几类天气状态。在本申请一具体实施例中，可以依次按照晴天、阴天以及雨天的参数顺序检测，先提取出天空区域，在天空区域中搜索云的边缘，进而确定云特征点；通过将数据集分成晴天、阴天以及雨天三种环境下的图像集，来调整获得三套不同的参数阈值。如图3所示，在左图中使用上述云的边缘检测方式检测到了四个云特征点，利用左图检测到的云特征点匹配右图中的云特征点，最终得到(A，A’)、(B，B’)、(C，C’)、(D，D’)四对云特征点，根据四对云特征点计算得到四个位置的云高值。

具体地，所述检测装置用于：选取所述第一图像的云特征点周围的图块作为模板；在所述第二图像中滑窗匹配与所述模板的相似度最大的一个图块，获取匹配云特征点。在此，进行滑窗匹配时，将所述模板在所述第二图像上每次在横向或纵向上移动一个像素时，将所述模板与移动到的位置对应的图块作一次比较定，根据每一次的比较得到结果矩阵；按照相似度评价标准从所述结果矩阵中选取最小值或最大值作为相似度最大，确定相似度最大的一个图块。

在本申请另一实施例中，所述差值获取装置13用于：获取所述第一图像的云特征点的横坐标的像素值与所述第二图像的云特征点的横坐标的像素值的差值，根据所述差值获得视觉差。在此，根据双目参数计算世界坐标如下：

其中，Z为云高深度，d为视觉差，f为焦距，b为左右相机的光心之间的距离，X

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。