来自两个相机的曲线组的结构化光匹配

摘要

本发明公开一种用于匹配两个相机获取到的同一场景的两个图像之间的点的方法，所述方法包括：从所述图像的反射中提取斑点并分别用唯一标识符标注所述斑点；选择选定外极面并在各所述图像上定义共轭极线；识别可信组合，其包括投影图案的光片标签和针对选自各所述图像的所述斑点中可信斑点的所述唯一标识符；针对每一个所述可信组合计算匹配误差；针对至少一些外极面重复所述选择、识别和计算的步骤；通过计算所述可信组合的品质因数确定最有可能的组合；从所述最有可能的组合中识别出所述帧内的匹配点。

说明书

技术领域

本发明大体上涉及物体的曲面几何形态的三维扫描领域，具体涉及结构化光立体视觉。

背景技术

物体的曲面几何形态的三维扫描和数字化常用于许多行业和服务中，其应用十分广泛。此类应用的例子包括工业生产系统中形状一致性的检查和测量、具有复杂几何形态的现有零件的逆向工程、生物统计学等等。

使用测距传感器来扫描和数字化物体的形状，所述测距传感器测量其与曲面上一组点之间的距离。距离传感器已经发展出不同的工作原理。其中，基于三角测量的距离传感器，一般适用于近距离测量，例如几米以内的距离。使用这种类型的仪器，可相隔基线距离的两个不同视角获得汇聚到物体相同特征点上的至少两条光线。从基线和两个光线方向，可以恢复观察点的相对位置。两条光线的交叉使用三角形一边的长度和两个角来确定，实际上是利用了立体视觉中三角测量的原理。立体视觉中的挑战是如何有效地识别构成帧的立体像对的每个图像中哪些像素相互对应。这个问题对于便携式或手持式扫描仪尤其重要，在最为普遍的情况下，这些设备要求所有用于匹配的必要信息都必须存在于单个帧内。

为简化匹配的问题，可以将其中一个光探测器替换为光投影器来输出一组已知方向上的光线。在这种情况下，可以利用投影光线以及反射在物体曲面上每个检测到的光线的方位来找到匹配点。于是可计算出每个观测特征点相对于三角形基准的坐标。

虽然可以采用专业光探测器，但是数字CCD相机或CMOS相机也被普遍使用。

用于投影器的光源可以为相干光源(激光)或非相干光源(例如白光)，用来投影点、光平面或许多其他可能的图案。虽然使用光投影器利于检测物体曲面上遍布的反射点，但是图案越复杂，有效识别出相应的像素和光线所面临的挑战就越大。

出于这个原因，将进一步利用投影几何理论中的属性。至少30年以来本领域众所周知的是，在两个视角的情况下，可以利用外极约束来限制仅在单一直线上搜索对应像素，而不是在整个图像中搜索。这一原则在被动和主动(使用投影器)立体视觉中广为利用。美国第8032327号专利描述了这种用法的一个实例，其中，激光投影器将两个垂直光平面投影为十字准线图案，其曲面上的反射由两个相机捕获。投影薄单色条纹有利于获得良好的信噪比并简化图像处理，从而获得每个单一帧的三维点。具有每个相机可观察到的单条纹可以确保每条外极线与所述条纹相交一次，从而避免匹配模糊。

为了减少捕获物体的曲面形状所需的时间，需要提高帧率或增加同时投影的条纹数量，或两者同时进行。先前提出过一种利用投影条纹网格的方法。投影网格是进一步强调曲面重构，原因在于投影图案可在物体曲面产生曲线网络，其中两个方向上的正切曲线可用于测量曲面法线。曲面法线信息可有效用于三维测量中的实时曲面重构，如美国第7487063号专利所述。增加条纹数量有利于提高扫描速度，但随着条纹数量的增加，应用三角测量之前匹配图像点的复杂性呈指数级增长，且在某些情况下引入了不能解决的模糊问题。

一种解决模糊的方法在于添加一个或多个相机，但硬件复杂度会增加，且针对给定带宽的帧率限制会降低。现已提出利用一个或两个相机的方法来匹配来自投影网格的点。反射曲线的交叉可以分割和识别曲线段的连接网络，从而设置额外的匹配约束。然而，两条曲线的交叉附近提取的点不太精确。"附近"意味着在一距离范围内，在此范围内来自两条曲线的像素的图像处理算子相互干扰。为了维持准确性，需要丢弃从而失去这些点。

交替产生两组不相交曲线将有助于从曲面切线提取的曲面法线方位中得益，同时避免单个帧中网格的投影。然而，所述匹配仍面临挑战。一种解决办法在于投影彩色条纹。然而，对一些材料的颜色反射率会损害匹配的质量，并且投影器需要变得更加复杂。另一种方法规定了将物体定位在平面背景中，其必须在每个帧中均可见。这显然限制了系统的灵活性，尤其是要求现场进行物体测量且同时不会干扰环境。

仍然需要一种方案来独立解决每个单一帧的匹配问题，其仅利用两个相机及可变的投影图案，且对观察到的场景没有特定约束。

发明内容

根据一个广泛的方面，提供了一种用于利用斑点连续性来匹配图像中点的方法。

根据一个广泛的方面，提供了一种用于匹配两个相机获取到的同一场景的两个图像之间的点的方法，所述方法包括：从所述图像中的反射提取斑点并分别用唯一标识符标注所述斑点；选择选定外极面并在各所述图像上定义共轭极线；识别可信组合，其包括所述投影图案的光片标签和针对选自各所述图像的所述斑点中可信斑点的所述唯一标识符；针对每一个所述可信组合计算匹配误差；针对至少一些外极面重复所述选择、识别和计算的步骤；通过计算所述可信组合的品质因数确定最有可能的组合；从所述最有可能的组合中识别出所述帧内的匹配点。

根据另一广泛的方面，提供了一种用于匹配两个相机同时获取到的同一场景的两个图像之间的点的方法，所述的两个图像形成帧，所述图像各包含所述场景的投影图案的反射，所述投影图案由光投影器单元提供，所述光投影器单元将片光投影到所述场景，所述相机和投影器单元在常用的坐标系统中标定，所述方法包括︰从所述图像中的所述反射提取斑点并分别用唯一标识符标注所述斑点；从外极面组选择选定外极面并在各所述图像上定义共轭极线；识别可信组合，所述可信组合包括所述投影图案的光片标签和针对选自各所述图像的所述斑点中可信斑点的所述唯一标识符；针对每一个所述可信组合计算匹配误差；针对所述外极面组的每个外极面重复所述选择、识别和计算的步骤；通过使用针对所述外极面组的每个外极面的匹配误差计算所述可信组合的品质因数以确定最有可能的组合；从所述最有可能的组合中识别出所述帧内的匹配点。

根据又一广泛的方面，提供了一种用于匹配同一场景的两个图像之间的点的系统，其包括︰光投影器单元，用于将片光投影到场景上从而在所述场景上提供投影图案；两个相机，用于同时获取所述场景的所述两个图像，所述两个图像形成帧，所述相机和投影器单元在常用的坐标系统中标定，所述图像各包含所述场景上所述投影图案的反射；处理器，用于从所述图像中的所述反射提取斑点并分别用唯一标识符标注所述斑点；从外极面组选择选定外极面并在各所述图像上定义共轭极线；识别可信组合，所述可信组合包括所述投影图案的光片标签和针对选自各所述图像的所述斑点中可信斑点的所述唯一标识符，所述可信斑点与所述共轭极线相交；针对每一个所述可信组合计算匹配误差；针对所述外极面组的每个外极面重复所述选择、识别和计算的步骤；通过使用针对所述外极面组的每个外极面的匹配误差计算所述可信组合的品质因数以确定最有可能的组合；从所述最有可能的组合中识别出所述帧内的匹配点。

根据另一广泛的方面，提供了一种计算机实现的方法，由至少一个计算机处理器执行以用于匹配同一场景的两个图像之间的点，所述方法包括︰检索传感器获取的两个图像，所述两个图像形成在所述场景和所述传感器间单一相对位置上捕获的帧，所述图像各包含所述场景上投影图案的反射；从所述图像中的所述反射提取斑点并分别用唯一标识符标注所述斑点；从外极面组选择选定外极面并在各所述图像上定义共轭极线；识别可信组合，所述可信组合包括所述投影图案的光片标签和针对选自各所述图像的所述斑点中可信斑点的所述唯一标识符，所述可信斑点与所述共轭极线相交；针对每一个所述可信组合计算匹配误差；针对所述外极面组的每个外极面重复所述选择、识别和计算的步骤；通过使用针对所述外极面组的每个外极面的匹配误差计算所述可信组合的品质因数以确定最有可能的组合；从所述最有可能的组合中识别出所述帧内的匹配点；生成识别所述帧中所述匹配点的输出。

根据又一广泛的方面，提供了一种计算机程序产品，其包括存储计算机可执行指令的计算机可读存储器，当所述计算机可执行指令由至少一个计算机处理器执行时，可实现上述方法步骤。

在一个实施例中，传感器具有两个相机和光投影器单元，所述投影图案由所述光投影器单元提供，所述光投影器单元将至少一个光片投影至所述场景，相机和光投影器单元在常用的坐标系统中标定。

在一个实施例中，所述方法进一步包括验证匹配点，若品质因数不能满足匹配阈值的质量，则放弃所述匹配点。

在一个实施例中，所述方法进一步包括对多个帧重复执行所述计算机实现的方法。

在一个实施例中，所述方法进一步包括使用所述帧中的匹配点计算三维点组。

在一个实施例中，所述方法进一步包括估计每帧上传感器的位置以在常用的坐标系统中集成所述三维点，其中估算传感器的位置包括使用至少一个依附场景的目标，场景的几何形态以及场景的纹理。

在一个实施例中，所述方法进一步包括利用所述图像来计算所述三维点组从而获得三维曲线的片段。

根据另一广泛的方面，提供了一种用于匹配同一场景的两个图像之间的点的系统，其包括︰传感器，包括光投影器单元，用于将至少一个光片投影到所述场景上从而在所述场景上提供投影图案；两个相机，用于获取所述场景的所述两个图像，所述两个图像形成在所述场景和所述传感器间单一相对位置上捕获的帧，所述图像各包含所述场景上投影图案的反射；其中所述相机和所述光投影器单元在常用的坐标系统中标定；以及至少一个计算机处理器，其与传感器进行电子通讯以检索所述相机获取的所述两个图像；从所述图像中的所述反射提取斑点并分别用唯一标识符标注所述斑点；从外极面组选择选定外极面并在各所述图像上定义共轭极线；识别可信组合，所述可信组合包括所述投影图案的光片标签和针对选自各所述图像的所述斑点中可信斑点的所述唯一标识符，所述可信斑点与所述共轭极线相交；针对每一个所述可信组合计算匹配误差；针对所述外极面组的每个外极面重复所述选择、识别和计算的步骤；通过使用针对所述外极面组的每个外极面的匹配误差计算所述可信组合的品质因数以确定最有可能的组合；以及从所述最有可能的组合中识别出所述帧内的匹配点；至少一个计算机输出，与所述处理器进行电子通讯以生成识别所述帧中所述匹配点的输出。

在一个实施例中，所述光投影器单元包括两个光投影器，其分别向所述场景投影至少一个光片，所述投影图案由每一帧上所述两个光投影器其中之一提供，且所述投影图案分别根据所述两个光投影器而不同。

在一个实施例中，所述至少一个光片是光平面。

根据再一个广泛的方面，提供了一种计算机可读存储器，其中记录有语句和指令，所述语句和指令由至少一个计算机处理器执行，且包括︰用于检索传感器获取的两个图像的代码工具，所述两个图像形成在所述场景和所述传感器间的单一相对位置上捕获的帧，所述图像各包含所述场景上投影图案的反射；用于从所述图像中的反射提取斑点并分别用唯一标识符标注所述斑点的代码工具；用于从外极面组选择选定外极面并在各所述图像上定义共轭极线的代码工具；用于识别可信组合代码工具，所述可信组合包括所述投影图案的光片标签和针对选自各所述图像的所述斑点中可信斑点的所述唯一标识符，所述可信斑点与所述共轭极线相交；用于针对每一个所述可信组合计算匹配误差的代码工具；用于针对所述外极面组的每个外极面重复所述选择、识别和计算的步骤的代码工具；用于通过使用针对所述外极面组的每个外极面的匹配误差计算所述可信组合的品质因数以确定最有可能的组合的代码工具；用于从所述最有可能的组合中识别所述帧内的匹配点的代码工具；用于生成识别所述帧中所述匹配点的输出的代码工具。

附图说明

本文的上述特点及目的根据以下描述结合附图将变得更加明显，其中相同元件符号指代相同元件，其中︰

图1包括图1A和图1B，其中图1A是具有光投影器单元的示例系统配置的图解，图1B是具有包括两个光投影器的光投影器单元的示例系统配置的图解；

图2是用于投影一组光平面的光投影器单元的图解；

图3是从平坦曲面反射的两个组合图案的图解；

图4是外极面覆盖场景的代表；

图5描述了图像的视角，投影图案和其在物体上的反射；

图6是来自两个相机和光投影器单元的光线交叉场的代表；

图7包括图7A和图7B，其中图7A描述了一种测量匹配质量的方法，图7B描述了另一种测量匹配质量的方法；

图8描述了针对一组斑点的匹配误差图。

图9是用于匹配和产生三维点的示例方法的流程图；

图10是用于匹配和产生三维点的系统的主要示例组件的方块图。

具体实施方式

为了有效地使用两个照相机查找每个帧中的匹配，提出了一种系统和计算机实现的方法。

图1例示了传感器100的示例实施例。一个或多个光投影器单元130安装于两个相机110之间。每个相机110具有视场120。每个光投影器单元130在各自跨度140内投影图案，标注为140a和140b。在图1A中，光投影器单元130包括单一光投影器。在图1B中，传感器102具有包括两个光投影器130a，130b的光投影器单元的不同实施例。光投影器可以是激光投影器，白光投影器等。

在一个示例实施例中，相机110之间的基线150为170毫米，且相机镜头的焦距为5毫米和7毫米。两个相机的光轴聚散度为30°左右。对于图2所示的光投影器单元130，光平面的数目是5，但可有所变化，例如1和15之间或更多。图2例示了产生5个光平面220的光投影器单元130的示例实施例200，5个光平面220分别标注为220a、220b、220c、220d、220e。

在图1B的实施例中，两个光投影器130a，130b定向为产生用于创建曲面上交叉曲线300的不同图案，如图3所示。系统会交替投影每个图案。两组曲线310和320分别通过投影器130a、130b进行投影。其标注为310a、310b、310c、310d、310e和320a、320b、320c、320d和320e。例如，在图1B的示例实施例中，光投影器130a和130b本身定向为相对于物体呈现一角度，例如+30°和-30°，以产生不同的图案。

很容易理解，投影器单元130可以包括可编程的光投影器单元，其可投影光的多个图案。例如，投影器单元130可以编程为同时或者交替投影两组相交曲线300和附加光平面。

相机110和光投影器单元130是在常用的坐标系统中进行标定的。这意味着测量的是两个相机110的包括畸变参数的内部参数，以及外部参数。每一个所投影的光片是在相同的坐标系统中进行标定的。在此示例中，光片近似于平面的。也可以在相机镜头上附属带通滤波器，以匹配投影器的波长。这将减少环境光和其他光源的干扰。

使用具有至少一个计算机处理器的这种传感器100，可以在应用以下计算机实现的方法后得到三维点。使用两个相机110来捕获同一帧的两个图像。两个图像同时捕获，意味着在获取图像的期间，场景和传感器100之间没有相对位移或者其相对位移是可以忽略不计的。使相机同步以同时捕获图像，或在传感器100对场景的相对位置保持不变或在预定的可忽略不计的范围内变化的延长时段依次捕获图像。这两种情况都可认为是传感器同时捕获图像。

一旦捕获同一帧的两个图像，则应用图像处理。两个图像包含场景中投影图案从相机110的分别两个视角的反射。所反射的图案呈现为每个图像中的一组曲线段。这些曲线段比图像中的背景更亮，且可以使用最先进的技术进行分割。一个技术在于阈值分割图像信号。因为曲线轮廓很典型，它在图像中呈现为顶部轮廓，所以可以应用分割验证。宽度也可以验证。为了减少噪音的影响，曲线段的长度也将超过设定为预定数量像素的最小阈值，例如2个像素。属于同一连通分量的像素定义了可用标签进行索引的斑点。剖面的中心位置是在加入这些中心来构成一条折线之前针对沿着斑点的每条像素线来进行最终估计的。

一旦帧的两个图像被分割，则选择一个外极面。图4展示示例外极面430，其为覆盖在场景420上的外极面430的图解400。外极面共享两个相机C1和C2的投影中心450和460之间的公共线段。线段C1-C2充当定义外极面的旋转轴。因此，外极面组可以在图像中使用参数角，或等价地使用像素坐标来进行索引。外极面与两个图像平面相交，由此定义出两条共轭极线。在不失普遍性的情况下，假设图像的校正立体对，每一图像线就是外极面的索引。在图4所示的情况下，场景420是平面的。从投影器P的投影470的中心生成的光线440以虚线表示。从场景420反射的曲线轮廓410显而易见。其标注为410a、410b、410c、410d和410e。

图5描绘了在物体上的图像、投影图案及其反射的视图500。对于每个外极面，或等效地对于图像中像素的每一行，识别与这两个图像的当前行均交叉的分段斑点以生成每个图像的斑点索引列表。第一相机C1由其投影552的中心和其图像平面540来表示。第二相机C2由其投影554的中心和其图像平面542来表示。投影器P由其投影470的中心和图像平面536来表示。投影器的投影470的中心不一定要求位于相机投影552，554的中心之间的基线上，尽管图5的示例实施例中是此情况。

图像平面和外极面之间的交叉550用虚线表示。光线522，520和524属于相同的外极面。投影器将光平面532投影到物体544，从而产生反射曲线510。然后，此反射曲线510在第一相机C1捕获的第一图像中成像(成像曲线530)，同时也在第二相机C2捕获的第二图像中成像(成像曲线534)。接着，反射曲线510上的点546呈现于成像曲线530，534上，且应在这些图像中正确识别和匹配从而允许查找其三维坐标。成像曲线530，534与所例示的外极面沿光线522和520相交于交叉550，起始于物体544上的反射曲线510。

由于光投影器单元和相机在相同的坐标系统中标定，可将索引三元组进行索引，其中三元组(I1，12，IP)由第一图像I1中曲线的索引，第二图像12中的候选对应曲线的索引以及投影器IP中光片的索引组成。可能的组合数量O(N³)是随着投影图案中光片数N增长的，组合数量的增长量级。为了限制组合的数量，可分析外极面中线光线的交叉610且为给定的交叉提供误差测量。图6是来自两个相机和投影器的光线交叉场的代表600。光线604和606分别由相机C2和C1捕获。由投影器P投影光线602。对于投影器P，使用角度630对光线进行索引。某些交叉610是更有可能的匹配，例如交叉610b，呈现为单点交叉，而其他交叉，例如交叉610a和610c，有较大误差。

图7A和7B说明适用于交叉的两个示范误差测量。在图7A中，误差测量700是点和三条光线中每一条之间的距离的最小总和。在图7B中，误差测量702是两个相机光线的交叉和投影器光线之间的距离。也可能存在其他变形。在将阈值施加给获得值后，可信组合的数量可显著减少。当投影器的光片可以近似为由夹角索引的平面，可在仅保持最靠近的平面的同时有效地计算第二误差测量。这将匹配复杂性降低到O(N²)。

完成这些操作之后，可获得潜在匹配的三元组列表，其中每组匹配归因于误差和外极面的索引。对所有与斑点段交叉的外极面重复此操作，通常(但不一定)针对校正图像中的像素的所有行。

三元组及其相关的误差和外极索引则根据外极索引来追踪。图8用曲线802、804、806、808针对四个三元组中每一个绘示了相对于外极索引的误差图表800。图表800合并所有可信三元组的信息。更重要的是，它针对一个给定的三元组集成了沿外极面的斑点的所有信息。因此，例如，在为一给定曲线计算平均误差之后，可获得用于匹配对应三元组的品质因数。在图8中，三元组的误差绘示于曲线806上，会产生本实例中的最佳品质因数。应用阈值后，可以进一步验证平均误差。也可以通过确保没有模糊来进行进一步的验证。事实上，对于短曲线段，可能不止一个三元组会呈现较低的平均误差。在这种情况下，这场匹配可能会被拒绝。值得注意的是，曲线可局部到达更低的具有最佳品质因数的曲线的最低点，例如曲线808的情况。这在以下情况下会发生，例如，当所投影的光片没有完美地标定时或当图像中曲线的峰值检测有较大的误差时。图8进一步展示所识别的曲线不一定具有相同的长度。这将取决于这两个图像中反射曲线的可见性。

完成给定帧的匹配步骤后，根据对每个三元组的观测值计算三维点。出于此目的，可将三维点与三条光线中任一条之间的空间距离降到最低。然后，假设以参数化方式或使用查找表(LUT)来对所投影的光片进行很好地标定，以最终获得更精确的测量。在实际应用中，通过商业光纤组件生产的投影光片可能不会与平面完全对应。为此，使用LUT可能更为合适。另一种可能的方法在于仅将来自两个相机的图像用于三维点的最终计算。否则可在二维图像中将三维点的重投影误差降到最低。如此，则没有必要精确标定投影的平面。此外，在这后一种情况下，三维测量受反射信号的轮廓影响较小，所述反射信号例如是物体曲面的纹理不连续性等。由此得到的三维点更加精确。计算三维点组后，便可获得三维曲线段。

匹配方法900的示例步骤如图9所示。在两个图像中提取斑点(910)。选择外极面(920)。识别沿选定外极面的所有可信三元组的组合(930)。针对每个三元组的组合计算品质因数(940)。当计算所有品质因数时，使用最可信三元组将每个图像斑点相关联(950)。验证每个匹配(960)。然后计算三维点组(970)。

所述方法得益于对多个外极面进行斑点的空间连续性的匹配而不是沿各个外极面进行独立匹配。然而，仍有可能存在一些匹配误差。例如，斑点可在一个图像中呈现“Y”型结构，因为两个曲线在特定几何形态上有偶发投影。此外，如果平面的数量增加，例如超出15个，模糊的数量也可能增加。然而，当如美国第7487063号专利中描述的曲面重建方法将三维点作为输入时，这些模糊必须从一帧持续到下一帧来影响曲面。实际上，这种方法可以较好的用于消除异常观测值，因为曲面是在已获取多个观测值的区域内重建的。

当系统集成在移动三维传感器系统中时，也就是说物体和传感器之间有相对运动时，系统估计它在每一帧的位置，从而在常用的坐标系统中集成三维点。系统可使用目标，例如，回归反射的目标，或例如当物体是刚性(或“准刚性”)时使用物体的几何形态或纹理来估计传感器在每一帧的位置。当系统进一步集成捕获纹理的相机时，也可在匹配纹理特征后计算传感器的姿势。

在图3所示的示例实施例中，这两组光片投影到平面上时产生两组曲线310和320，且在此情况下其为平行线。然后，系统以不同方向投影交替光片组。在物体曲面上捕获的三维曲线段可实现对所观测物体曲面上的局部切向量的估计。此外，交替光片组的同时，可以沿不同方向计算局部切向量，并且根据这些三维切向量，可以计算曲面上的曲面法线方向。曲面法线信息可有助于三维曲面重建的改进。

图10是展示系统980的示例主要组件的方块图。传感器982包括第一相机984和至少一个第二相机986，以及包括至少一个光投影器的光投影器单元988。帧发生器990可用于组装相机在单个帧中捕获的图像。传感器982与至少一个计算机处理器992进行通讯，用于执行处理步骤以匹配帧的图像之间的点。计算机处理器992与输出设备994进行电子通讯，以输出匹配的点和/或任何其他附加或中间输出。很容易理解的是，有必要输入数据以供处理器992和(或)传感器982使用。可以因此提供输入设备996来实现此目的。

很容易理解的是，虽然此处描述的方法以两个图像来执行，从而形成三元组组合，每帧可获得两个以上的图像，且所述组合可包含三个以上的元素。此外，如果每帧获得两个以上的图像，可以使用这些图像的其中两个的三元组组合来匹配点，且附加图像可以用于验证所述匹配。

以上所述的技术可以，例如，以硬件、有形地存储在计算机可读媒体中的软件、固件或其任一组合来实现。以上所述的技术可能以一个或多个执行于可编程计算机上的计算机程序来实现，所述可编程计算机包括处理器、处理器可读的存储介质(包括，例如，易失性和非易失性存储器和/或存储元件)、至少一个输入设备和至少一个输出设备。程序代码可用于输入使用输入设备键入的内容从而执行所描述的功能并生成输出。输出可提供给一个或多个输出设备。

以下权利要求所请求的范围内的每个计算机程序可以任何编程语言来实现，包括汇编语言、机器语言、高级程序设计语言或面向对象的编程语言。编程语言，例如，可为汇编编程语言或解释性编程语言。

每个这种计算机程序可以计算机程序产品来实现，所述计算机程序产品切实体现于机器可读的存储设备从而由计算机处理器来执行。本发明的方法步骤可由执行程序的计算机处理器来实现，所述程序切实体现于计算机可读媒体上从而通过对输入进行操作以及生成输出来实现本发明的功能。适合的处理器包括，例如，通用和专用微处理器。通常，处理器从只读存储器和随机存取存储器接收指令和数据。适用于切实体现计算机程序指令的存储设备包括，例如，所有形式的非易失性存储器，如半导体存储器装置，包括EPROM、EEPROM以及闪存设备；磁盘，如内部硬盘和可移动磁盘；磁光盘；以及CD-ROM。专门设计的专用集成电路(ASIC)或现场可编程门阵列(FPGA)可补充，或并入任何上述分类。计算机通常还可以接收来自存储介质的程序和数据，存储介质例如内部磁盘(未显示)或可移动磁盘。这些元件也会出现在传统台式计算机、便携式计算机或工作站计算机、以及适合于执行实现本文描述的方法的计算机程序的其他计算机，所述计算机程序的使用可结合任何数字打印引擎机或显像引擎，显示器，或其他能够在纸张、薄膜、显示屏幕，或者其他的输出介质上产生颜色或灰度像素的栅格输出设备。也可使用平板电脑、平板手机、智能手机、个人数字助理、便携式计算机、膝上型计算机、可穿戴计算机等其他适用于执行本文上述计算机程序的移动设备。

虽然以上描述涉及到发明人目前所设想的示例实施例，可以理解本发明其广泛的方面包括本文描述元素的等价物和变体。上文描述的实施例仅为示例性的。因此，本发明的范围仅受所附权利要求的限制。